亚马逊发布Titan大模型、AI编程助手全免费

​

在最新的公告中，AWS 介绍了一组新模型 —— 统称为「Amazon Titan」。Titan 系列模型分为两种，一种是用于内容生成的文本模型，另一种是可创建矢量嵌入的嵌入模型，用于创建高效搜索功能等。 

文本生成模型类似于 OpenAI 的 GPT-4（但在性能方面不一定相同），可以执行诸如撰写博客文章和电子邮件、总结文档和从数据库中提取信息等任务。嵌入模型将文本输入（如单词和短语）翻译成数字表示形式，称为嵌入，其中包含文本的语义。

基于 OpenAI 语言模型的 ChatGPT 和微软 Bing 聊天机器人的人有时会产出不准确的信息，这是由于一种称为「幻觉」的行为，输出看起来很有说服力，但实际上与训练数据无关。 

原文链接

https://aws.amazon.com/blogs/machine-learning/announcing-new-tools-for-building-with-generative-ai-on-aws/ 

另外，亚马逊宣布 CodeWhisperer 正式可用，免费向所有个人用户开放，不设任何资质或使用时长的限制。另外还提供引用跟踪和每个月 50 次的安全扫描服务。用户只需邮箱注册，无需亚马逊云服务账号。企业客户可以选择包含更多高级管理功能的专业版。除了适用 Python、Java、JavaScript、TypeScript 和 C# 之外，CodeWhisperer 新增了对 Go、Kotlin、Rust、PHP 和 SQL 等 10 种开发语言的支持。开发者可以通过在 VS Code、IntelliJ IDEA、Amazon Cloud9 等集成开发环境中的 Amazon Toolkit 插件访问 CodeWhisperer，也可在 Amazon Lambda 控制台中使用。

亚马逊表示，除了从数十亿行公开代码中学习之外，CodeWhisperer 也基于亚马逊的代码进行了训练。因此它是目前为亚马逊云服务（包括 Amazon EC2 等）生成代码的最准确、最快和最安全的方式。

AI 编程助手生成的代码可能包含隐藏的安全漏洞，因此 CodeWhisperer 提供了内置安全扫描功能（通过自动推理实现），这是唯一一个这样做的。该功能查找难以检测的漏洞并提出补救建议，如十大开放式 Web 应用程序安全项目（OWASP）中的漏洞以及不符合加密库最佳实践的漏洞等。

以下为全文

机器学习（ML）范式转变的种子已经存在了几十年，但随着可扩展计算能力的随时可用，数据的大量激增以及ML技术的快速发展，各行业的客户正在改变他们的业务。就在最近，像ChatGPT这样的生成性人工智能应用程序吸引了广泛的关注和想象力。在广泛采用ML时，我们确实处于一个令人兴奋的转折点，我们相信大多数客户体验和应用程序将通过生成性人工智能进行重塑。

20多年来，人工智能和机器学习一直是亚马逊的重点，客户在亚马逊上使用的许多功能都是由机器学习驱动的。我们的电子商务推荐引擎由ML驱动；优化我们履行中心机器人拣选路线的路径由ML驱动；我们的供应链、预测和容量规划由ML提供信息。Prime Air（我们的无人机）和Amazon Go中的计算机视觉技术（我们的实体零售体验，允许消费者从货架上选择物品并离开商店，而无需正式结账）使用深度学习。Alexa由30多个不同的ML系统提供支持，每周帮助客户数十亿次管理智能家居、购物、获取信息和娱乐等。我们在亚马逊有数千名工程师致力于ML，这是我们遗产、当前精神和未来的很大一部分。

在AWS，我们在实现ML民主化方面发挥了关键作用，并使任何想使用它的人都可以访问它，包括各种规模和行业的10万多名客户。AWS在堆栈的所有三层中都拥有最广泛和最深入的人工智能和机器学习服务组合。我们进行了投资和创新，为具有成本效益的ML培训和推理提供性能最高、可扩展的基础设施；开发了Amazon SageMaker，这是所有开发人员构建、培训和部署模型的最简单方法；并推出了广泛的服务，允许客户通过简单的API调用将图像识别、预测和智能搜索等人工智能功能添加到应用程序中。这就是为什么像Intuit、Thomson Reuters、AstraZeneca、Ferrari、Bundesliga、3M和BMW这样的客户，以及世界各地的数千家初创公司和政府机构，正在用ML改变自己、他们的行业和使命。我们对生成人工智能采取相同的民主化方法：我们努力将这些技术带出研究和实验领域，并使其可用性远远超过少数初创企业和资金充足的大型科技公司。这就是为什么今天我很高兴地宣布几项新的创新，这些创新将使我们的客户在业务中使用生成性人工智能变得简单实用。

生成人工智能和基础模型

生成人工智能是一种可以创建新内容和想法的人工智能，包括对话、故事、图像、视频和音乐。像所有人工智能一样，生成人工智能由ML模型提供动力——非常大的模型根据大量数据进行预训练，通常被称为基础模型（FM）。ML的最新进展（特别是基于变压器的神经网络架构的发明）导致了包含数十亿个参数或变量的模型的兴起。为了了解规模的变化，2019年最大的预训练模型是3300M参数。现在，最大的型号超过500B参数——在短短几年内，尺寸增加了1600倍。今天的FM，如大型语言模型（LLM）GPT3.5或BLOOM，以及来自Stability AI的文本到图像模型Stable Diffusion，可以执行跨越多个领域的广泛任务，如撰写博客文章、生成图像、解决数学问题、参与对话和根据文档回答问题。FM的大小和通用性质使它们与传统的ML模型不同，后者通常执行特定任务，如分析文本的情感、对图像进行分类和预测趋势。

FM可以执行更多的任务，因为它们包含如此多的参数，使它们能够学习复杂的概念。通过在训练前接触各种形式和各种模式的互联网规模数据，FM学会了在广泛的环境中应用他们的知识。虽然预训练的FM的功能和结果的可能性令人惊叹，但客户感到非常兴奋，因为这些通常有能力的模型也可以定制，以执行区别于其业务的特定领域功能，仅使用从头开始训练模型所需的一小部分数据和计算。定制的FM可以创造独特的客户体验，体现公司在银行、旅游和医疗保健等各种消费行业的声音、风格和服务。例如，一家需要使用所有相关交易自动生成用于内部流通的每日活动报告的金融公司可以使用专有数据自定义模型，其中将包括过去的报告，以便FM了解这些报告应该如何阅读以及使用哪些数据来生成这些报告。

FMs的潜力令人难以置信。但是，我们仍然处于早期。虽然ChatGPT是第一个吸引客户注意力的广泛生成人工智能体验，但大多数研究生成人工智能的人很快就意识到，几家公司多年来一直在开发FM，并且有几种不同的FM——每种都有独特的优势和特点。正如我们多年来通过快速发展的技术所看到的那样，在ML的演变中，事情发生了迅速的变化。我们预计未来会出现新的架构，这种FM的多样性将引发一波创新浪潮。我们已经看到了前所未有的新应用程序体验。AWS客户问我们，他们如何快速利用今天（以及明天可能发生的事情），并快速开始在业务和组织中使用FM和生成性人工智能，以推动新的生产力水平并转变他们的产品。

宣布Amazon Bedrock和Amazon Titan模型，这是使用FM构建和扩展生成人工智能应用程序的最简单方法

客户告诉我们，今天有一些大事阻碍了他们。首先，他们需要一种直接的方法来找到和访问高性能的调频，这些调频能提供出色的结果，并且最适合他们的目的。其次，客户希望与应用程序的集成是无缝的，而不必管理巨大的基础设施集群或产生大量成本。最后，客户希望可以轻松地使用基础FM，并使用自己的数据（少量或大量数据）构建差异化的应用程序。由于客户希望用于自定义的数据是非常有价值的IP，因此他们需要它在此过程中保持完全保护、安全和私密，并且他们希望控制其数据的共享和使用方式。

我们听取了客户的所有反馈，今天我们很高兴地宣布Amazon Bedrock，这是一项新服务，通过API可以访问来自AI21实验室、Anthropic、Stictictic和Amazon的FM。基岩是客户使用FM构建和扩展基于人工智能的生成应用程序的最简单方法，使所有构建者的访问民主化。Bedrock将通过可扩展、可靠和安全的AWS托管服务，提供访问一系列强大的文本和图像FM的能力，包括亚马逊的Titan FM，其中包括我们今天也宣布的两款新LLM。借助Bedrock的无服务器体验，客户可以轻松找到他们试图完成的工作的正确模型，快速入门，用自己的数据私下自定义FM，并使用他们熟悉的AWS工具和功能（包括与Amazon SageMaker ML功能（如实验等测试不同模型和管道以大规模管理其FM）轻松将其集成和部署到应用程序中，而无需管理任何基础设施。

基岩客户可以从当今一些最尖端的FM中进行选择。这包括来自AI21实验室的Jurassic-2系列多语种法学硕士，它们遵循自然语言说明，以西班牙语、法语、德语、葡萄牙语、意大利语和荷兰语生成文本。Anthropic的法学硕士Claude可以执行各种对话和文本处理任务，并基于Anthropic对培训诚实和负责任的人工智能系统的广泛研究。Bedrock还使您可以轻松地访问Stability AI的文本到图像基础模型套件，包括Stable Diffusion（同类中最受欢迎的），它能够生成独特、逼真、高质量的图像、艺术、徽标和设计。

Bedrock最重要的功能之一是自定义模型是多么容易。客户只需将Bedrock指向Amazon S3中的几个带标签的示例，该服务可以为特定任务微调模型，而无需注释大量数据（只需20个示例就足够了）。想象一下，一位内容营销经理在一家领先的时尚零售商工作，他需要为即将到来的新手袋系列开发新鲜的、有针对性的广告和活动副本。为此，他们为Bedrock提供了过去活动中表现最好的标语的示例，以及相关的产品描述，Bedrock将自动开始为新手袋生成有效的社交媒体、展示广告和网络副本。客户的数据都不用于训练基础模型，并且由于所有数据都是加密的，不会离开客户的虚拟私有云（VPC），因此客户可以相信他们的数据将保持私密和机密。

Bedrock现在处于有限的预览阶段，像Coda这样的客户对他们的开发团队启动和运行的速度感到兴奋。Coda的联合创始人兼首席执行官Shishir Mehrotra表示：“作为长期快乐的AWS客户，我们对Amazon Bedrock如何为Coda AI带来质量、可扩展性和性能感到兴奋。由于我们所有的数据都已经在AWS上，我们能够使用Bedrock快速整合生成性人工智能，并内置了保护数据所需的所有安全性和隐私。超过数以万计的团队在Coda上运行，包括Uber、《纽约时报》和Square等大型团队，可靠性和可扩展性非常重要。”

我们已经与一些客户一起预览亚马逊的新Titan FM，然后我们才在未来几个月更广泛地提供它们。我们最初将有两个泰坦模型。第一个是生成法学硕士，用于总结、文本生成（例如，创建博客文章）、分类、开放式问答和信息提取等任务。第二个是嵌入LLM，将文本输入（单词、短语或可能的大型文本单元）转换为包含文本语义的数值表示（称为嵌入）。虽然这个LLM不会生成文本，但它对个性化和搜索等应用程序很有用，因为通过比较嵌入，模型将产生比单词匹配更相关和上下文的响应。事实上，Amazon.com的产品搜索功能使用类似的嵌入模型来帮助客户找到他们正在寻找的产品。为了继续支持负责任地使用人工智能的最佳实践，Titan FMs旨在检测和删除数据中的有害内容，拒绝用户输入中的不适当内容，并过滤包含不适当内容（如仇恨言论、亵渎和暴力）的模型输出。

Bedrock使各种规模的公司都可以访问FM的功能，以便他们能够在整个组织中加速使用ML，并构建自己的生成性人工智能应用程序，因为这对所有开发人员来说都很容易。我们认为Bedrock将是调频民主化的一大步，我们的合作伙伴，如埃森哲、德勤、Infosys和Slalom，正在构建实践，以帮助企业更快地利用生成性人工智能。像C3 AI和Pega这样的独立软件供应商（ISV）很高兴利用Bedrock轻松访问其丰富的FM选择，以及他们期望从AWS获得的所有安全性、隐私和可靠性。

宣布由AWS Trainium提供支持的Amazon EC2 Trn1n实例和由AWS Inferentia2提供支持的Amazon EC2 Inf2实例的一般可用性，这是生成人工智能最具成本效益的云基础设施

无论客户试图用FM做什么——运行它们、构建它们、定制它们——他们都需要专为ML构建的最高性能、最具成本效益的基础设施。在过去的五年里，AWS一直在投资我们自己的硅，以推动ML培训和推理等要求苛刻工作负载的性能和价格性能，我们的AWS Trainium和AWS Inferentia芯片为云中的培训模型和运行推理提供了最低的成本。这种通过选择最佳ML基础设施来最大限度地提高性能和控制成本的能力，这就是为什么领先的人工智能初创公司，如AI21 Labs、Anthropic、Cohere、语法、Hugging Face、Runway和Stability AI在AWS上运行。

由Trainium提供支持的Trn1实例可以比任何其他EC2实例节省高达50%的培训成本，并经过优化，可以在与800 Gbps的第二代弹性结构适配器（EFA）网络连接的多个服务器上分发培训。客户可以在UltraClusters中部署Trn1实例，该实例可以扩展到30,000个Trainium芯片（超过6个计算，位于具有petabit规模网络的同一AWS可用区域）。许多AWS客户，包括Helixon、Money Forward和亚马逊搜索团队，使用Trn1实例来帮助减少培训最大规模深度学习模型所需的时间，从几个月到几周甚至几天，同时降低成本。800 Gbps是大量的带宽，但我们继续创新以提供更多，今天我们宣布新的网络优化的Trn1n实例的一般可用性，这些实例提供1600 Gbps的网络带宽，旨在为大型网络密集型模型提供比Trn1高20%的性能。

今天，花在调频上的大部分时间和金钱都用于训练它们。这是因为许多客户才刚刚开始将FM部署到生产中。然而，在未来，当大规模部署FM时，大多数成本将与运行模型和进行推理有关。虽然您通常定期训练模型，但生产应用程序可以不断生成预测，称为推断，可能每小时产生数百万。这些预测需要实时进行，这需要非常低的延迟和高吞吐量的网络。Alexa就是一个很好的例子，每分钟都会收到数百万个请求，占所有计算成本的40%。

因为我们知道未来的大多数ML成本将来自运行推断，所以几年前我们开始投资新芯片时，我们优先考虑了推理优化的硅。2018年，我们宣布了Inferentia，这是第一款专门用于推理的芯片。每年，Inferentia帮助亚马逊进行数万亿次推断，并已经为亚马逊等公司节省了超过1亿美元的资本支出。结果令人印象深刻，我们看到许多不断创新的机会，因为随着更多客户将生成性人工智能集成到他们的应用程序中，工作负载的规模和复杂性只会增加。

这就是为什么我们今天宣布由AWS Inferentia2提供支持的Inf2实例的一般可用性，这些实例专门针对包含数千亿参数的大规模生成AI应用程序进行了优化。与上一代基于Inferentia的实例相比，Inf2实例的吞吐量提高了4倍，延迟降低了10倍。它们还在加速器之间具有超高速连接，以支持大规模分布式推理。这些功能比其他可比的亚马逊EC2实例提高了40%的推理价格性能，并且是云中推理成本最低的。像Runway这样的客户看到，Inf2的一些型号的吞吐量比类似的亚马逊EC2实例高出2倍。这种高性能、低成本的推理将使Runway能够引入更多功能，部署更复杂的模型，并最终为使用Runway的数百万创作者提供更好的体验。

宣布Amazon CodeWhisperer的普遍可用性，对个人开发人员免费

我们知道，使用正确的FM构建并在性能最好的云基础设施上大规模运行生成性人工智能应用程序将对客户产生变革。新一波的体验也将对用户产生变革。有了内置的生成人工智能，用户将能够与应用程序和系统进行更自然、更无缝的交互。想一想我们如何通过查看手机来解锁手机，而无需了解使此功能成为可能的强大ML模型。

我们预见生成性人工智能使用迅速增长的一个领域是编码。如今，软件开发人员花费了大量时间编写非常简单且无差别的代码。他们还花了很多时间试图跟上复杂和不断变化的工具和技术格局。所有这些都让开发人员开发新的创新能力和服务的时间更少。开发人员试图通过从网络上复制和修改代码片段来克服这一点，这可能会导致无意中复制不起作用、包含安全漏洞或不跟踪开源软件使用情况的代码。而且，最终，搜索和复制仍然会占用好东西的时间。

生成人工智能可以通过“编写”许多未分化的代码来消除这种繁重的工作，允许开发人员更快地构建，同时让他们专注于编码的更具创造性方面。这就是为什么去年我们宣布了Amazon CodeWhisperer的预览，这是一个人工智能编码伴侣，它使用FM，根据开发人员的自然语言评论和集成开发环境（IDE）中的先前代码实时生成代码建议，从而从根本上提高开发人员的生产力。开发人员可以简单地告诉CodeWhisperer执行一项任务，例如“解析CSV歌曲字符串”，并要求它根据艺术家、标题和最高图表排名等值返回结构化列表。CodeWhisperer通过生成整个函数来解析字符串并按指定返回列表来提高生产力。开发人员对预览的反应非常积极，我们仍然相信，帮助开发人员编写代码最终可能会成为我们未来几年看到的生成性人工智能最强大的用途之一。在预览期间，我们进行了生产力挑战，使用CodeWhisperer的参与者平均完成任务的速度快57%，与不使用CodeWhisperer的参与者相比，成功完成任务的可能性高出27%。这是开发人员生产力的巨大飞跃，我们相信这只是一个开始。

今天，我们很高兴地宣布，Amazon CodeWhisperer适用于Python、Java、JavaScript、TypeScript和C#，以及十种新语言，包括Go、Kotlin、Rust、PHP和SQL。CodeWhisperer可以通过AWS Toolkit IDE扩展从VS Code、IntelliJ IDEA、AWS Cloud9等IDE访问。CodeWhisperer也可以在AWS Lambda控制台中找到。除了从数十亿行公开可用的代码中学习外，CodeWhisperer还接受了亚马逊代码方面的培训。我们认为CodeWhisperer现在是为AWS服务（包括Amazon EC2、AWS Lambda和Amazon S3）生成代码的最准确、最快和最安全的方式。

如果他们的生成人工智能工具建议的代码包含隐藏的安全漏洞或未能负责任地处理开源，开发人员就不会真正提高工作效率。CodeWhisperer是唯一具有内置安全扫描（由自动推理驱动）的人工智能编码伴侣，用于查找和建议对难以检测的漏洞进行补救，例如十大开放全球应用程序安全项目（OWASP）中的漏洞，那些不符合加密库最佳实践的漏洞等。为了帮助开发人员负责任地编写代码，CodeWhisperer过滤掉可能被认为有偏见或不公平的代码建议，CodeWhisperer是唯一可以过滤和标记类似于客户可能想要参考或许可使用的开放源代码的代码建议的编码伴侣。

我们知道生成人工智能将改变开发人员的游戏，我们希望它对尽可能多的人有用。这就是为什么CodeWhisperer对所有没有资格或时间限制生成代码的个人用户都是免费的！任何人都可以用一个电子邮件帐户注册CodeWhisperer，并在几分钟内提高工作效率。你甚至不需要拥有AWS帐户。对于商业用户，我们提供CodeWhisperer专业层，其中包括具有AWS身份和访问管理（IAM）集成的单点登录（SSO）等管理功能，以及对安全扫描的更高限制。

构建像CodeWhisperer这样的强大应用程序对开发人员和所有客户来说是变革性的。我们还有很多事情要做，我们对您将在AWS上用生成人工智能构建什么感到兴奋。我们的使命是使各种技能水平的开发人员和各种规模的组织能够使用生成性人工智能进行创新。这只是我们认为下一波ML为您带来新可能性的开始。

https://d18rn0p25nwr6d.cloudfront.net/CIK-0001018724/73ee03b0-fbbc-4d37-96a2-f405ef966bc5.pdf 

​Read More