Amazon SageMaker Canvas 最新支持 Llama 2 和 Mistral 模型及流式响应

by Davide Gallitelli 和 Dan Sinnreich 于 2024 年 2 月 5 日在 Amazon SageMaker 发布

重点摘要

最新版本的 Amazon SageMaker Canvas 现已支持 Meta 的 Llama 2 模型和 MistralAI 模型，并引入了流式响应功能。这些更新使用户无需编写代码即可利用生成性 AI，进行内容生成和摘要等任务。

2021 年推出的 Amazon SageMaker Canvas 是一个可视化的点击式服务，用户可以在不编写任何代码的情况下构建和部署机器学习ML模型。SageMaker Canvas 提供了现成的基础模型FMs，使客户能够使用生成性 AI 完成诸如内容生成和摘要的任务。

我们很高兴地宣布，Amazon SageMaker Canvas 的最新更新为平台带来了令人激动的生成性 AI 新功能。通过支持 Meta 的 Llama 2 和 MistralAI 模型，并推出流式响应，SageMaker Canvas 继续支持希望开始使用生成性 AI 的用户，且无需编写一行代码。在此文中，我们将讨论这些更新及其带来的好处。

引入 Meta Llama 2 和 Mistral 模型

Llama 2 是 Meta 推出的前沿基础模型，具有更好的可扩展性和广泛的生成 AI 任务的适用性。用户反映，Llama 2 可以进行有意义和连贯的对话，生成新内容，并从现有笔记中提取答案。Llama 2 是目前先进的大型语言模型LLMs之一。

MistralAI 是一家领先的法国人工智能初创企业，其开发的 Mistral 7B 语言模型拥有 73 亿个参数。Mistral 模型因采用分组查询注意力Groupedquery attention，GQA而在开源社区获得良好反馈，使其推理速度更快，工作效率高，性能与参数数量是其两倍或三倍的模型相当。

今天，我们高兴地宣布 SageMaker Canvas 现已支持三种 Llama 2 模型变体和两种 Mistral 7B 变体：

要测试这些模型，请访问 SageMaker Canvas 的 现成可用模型 页面，然后选择 生成、提取和摘要内容。在这里，您可以通过在模型下拉菜单中选择任何来自 Amazon Bedrock 或 SageMaker JumpStart 的模型来体验 SageMaker Canvas 的 GenAI 聊天功能。

选择一款 Llama 2 模型后，您可以提供输入或查询。逐步输入后，SageMaker Canvas 会将您的输入转发到所选模型。

选择哪个 SageMaker Canvas 中的模型最适合您的用例时，您需要考虑有关模型本身的信息：Llama270Bchat 模型是一个更大的模型参数数量为 700 亿，而 Llama213Bchat 为 130 亿，这意味着其性能通常高于较小模型，但代价是稍高的延迟和每个 Token 的成本增加。Mistral7B 的性能与 Llama27B 或 Llama213B 相当，但在 Amazon SageMaker 上托管，因此定价模型有所不同，从每个 Token 的定价转为每小时的一种定价模式。这在每小时请求量大且一致使用的情况下可能更具性价比。上述所有模型在各种用例中均有良好表现，因此我们建议您评估哪个模型最能解决您的问题，并考虑输出、吞吐量和成本的权衡。

如果您希望以简单的方式比较模型的表现，SageMaker Canvas 原生提供模型比较功能。您可以选择多达三个不同的模型，同时向它们发送相同的查询。SageMaker Canvas 将获取每个模型的响应，并在对话界面中并排显示。为此，请选择 比较 并选择其他要比较的模型，如下所示：

引入流式响应：实时互动和增强性能

本次发布的一项关键进展是引入了流式响应。流式响应为用户提供了更丰富的体验，更好地反映了对话体验。通过流式响应，用户可以即时获得反馈并实现与聊天机器人应用程序的无缝集成。这使得用户可以获得更具互动性和反应性的体验，提升整体性能和用户满意度。能够以聊天形式即时收到响应，创造了更自然的对话流，提高了用户体验。

通过此功能，您现在可以实时与 AI 模型互动，接收即时响应，使其能够无缝集成到多种应用程序和工作流中。所有可以在 SageMaker Canvas 查询的模型来自 Amazon Bedrock 和 SageMaker JumpStart 的模型都可以向用户流式传输响应。

今天开始

无论您是在构建聊天机器人、推荐系统还是虚拟助手，Llama 2 和 Mistral 模型结合流式响应都能为您的项目带来增强的性能和互动性。

要使用 SageMaker Canvas 的最新功能，请确保删除并重新创建应用。为此，通过选择 登出 退出应用，然后重新打开 SageMaker Canvas。您将看到新模型并享受最新发布。在 SageMaker Canvas 应用程序中登出将释放工作区实例使用的所有资源，从而避免产生额外的意外费用。

结论

要了解如何使用 SageMaker Canvas 中 Llama 2 和 Mistral 模型的新流式响应，请访问 SageMaker 控制台 并探索直观界面。要了解更多关于 SageMaker Canvas 和生成性 AI 如何帮助您实现业务目标的信息，请参考 利用 Amazon SageMaker Canvas 和生成性 AI 让业务用户从公司文档中提取洞察 和 通过生成性 AI 和 Amazon SageMaker Canvas 克服常见的联络中心挑战。

如果您想了解更多有关 SageMaker Canvas 的功能和其它 ML 使用案例，欢迎查看 AWS ML 博客 SageMaker Canvas 类别 中的其他文章。我们期待看到您将如何利用这些新功能创造惊人的 AI 应用程序！

关于作者

Davide Gallitelli 是一名 AI/ML 高级解决方案架构师，工作地点位于布鲁塞尔，专注于帮助全球客户采用低代码/无代码机器学习技术和生成性 AI。Davide 自幼开始编程，7 岁时便开始学习计算机编程，并在大学学习 AI/ML 后对其产生了浓厚的兴趣。

Dan Sinnreich 是 AWS 的高级产品经理，致力于普及低代码/无代码机器学习。在加入 AWS 之前，Dan 曾构建和商业化企业级 SaaS 平台和时间序列模型，帮助机构投资者管理风险和构建最佳投资组合。工作之外，他常常参加冰球比赛、潜水和阅读科幻小说。