Meta Llama 3入驻亚马逊云科技开源技术尝试降低AI准入门槛

2024-04-19 16:38 由环球网发表于 #科技

【环球网报道记者李文瑶】刚刚加入亚马逊董事会的吴恩达在社交媒体上点赞了Meta 最新发布的大语言模型 Llama 3，并称这是其收到的最好的生日礼物。

据了解，随着 Llama 3的发布，相关的应用和合作正在快速展开。亚马逊云科技方面已经宣布，Meta刚刚发布的两款Llama 3基础模型Llama 3 8B和Llama 3 70B已在Amazon SageMaker JumpStart中提供使用，客户可通过平台立即部署并使用Llama 3模型。

Llama 3的发布为何如此受到关注？

据了解，Meta Llama 3 是开放获取的Llama系列的最新版本。目前，Llama 3提供两个版本：8B版本适合在消费级GPU上高效部署和开发；70B 版本则专为大规模AI应用设计。每个版本都包括基础和指令调优两种形式。

与 Llama 2 相比，Llama 3最大的变化是采用了新的 Tokenizer，将词汇表大小扩展至128,256（前版本为 32,000 Token）。这一更大的词汇库能够更高效地编码文本（无论输入还是输出），并有可能提升模型的多语种处理能力。

不过，这也导致嵌入层的输入和输出矩阵尺寸增大，这是小型模型参数增加（从 Llama 2 的 7B 增至 Llama 3 的 8B）的主要原因之一。此外，8B版本的模型现在采用了分组查询注意力（GQA），这是一种效率更高的表达方式，有助于处理更长的上下文。

Llama 3 模型在两个拥有 24,000 GPU的集群上进行了训练，使用的是超过 15 万亿 Token的新公共在线数据。虽然，Meta没有公布训练数据具体细节，但可以推测，更大规模且更细致的数据策划是性能提升的重要因素。同时，Llama 3 Instruct 针对对话应用进行了优化，结合了超过1000万的人工标注数据，通过监督式微调（SFT）、拒绝采样、邻近策略优化（PPO）和直接策略优化（DPO）进行训练。

根据目前的测试情况，Llama 3 70B表现优异，在AI基准测试中超越了谷歌Gemini Pro1.5和Anthropic的Claude 3 Sonnet等模型。

值得关注的是，Meta Llama 3是开源模型，这意味着它允许用户免费获取和修改模型源代码，鼓励社群共同参与改进和发展。这一开放特性有助于激发开源社区活力，形成良性循环，同时也顺应了当前生成式AI领域愈发重视开源共享的趋势。

亚马逊云科技首席执行官Adam Selipsky曾在re:Invent2023大会上指出，面对快速发展的AI领域，适应能力和多元化的模型选择至关重要。因此，亚马逊云科技致力于通过JumpStart这样的服务平台，提供丰富的模型选项，简化模型迁移过程，让客户能够如同API调用般轻易在不同模型间切换，推动AI技术的普惠化进程。

Amazon SageMaker JumpStart是亚马逊云科技专门构建的一个机器学习中心，提供预训练的模型、内置算法和预构建的解决方案，帮助客户快速开始机器学习项目。

Meta Llama 3作为开源大模型的代表之一，加入亚马逊云科技的“大模型豪华套餐”，意味着亚马逊云科技的机器学习模型库得到了重要扩充，满足了不同客户群体对于先进AI模型的需求，进一步丰富了其云计算服务产品线。

企业通过Amazon SageMaker JumpStart部署Llama 3，可降低部署所需的时间，提供灵活的部署路径，支持来加速开发并提供安全的隔离环境。

行业认为，Meta Llama 3凭借其优秀的性能表现和开源特性，能够吸引众多寻求高性能、低成本AI解决方案的开发者和企业客户，从而促进亚马逊云科技用户基数的增长和市场份额的扩大。

此外，亚马逊云科技支持Meta Llama 3这类开源大模型，促进开源AI生态的发展，并向外界传达了一个信号，即亚马逊云科技不仅提供自家研发的AI模型，也积极推动和支持开源社区的发展。

今年4月，亚马逊“招揽”人工智能专家吴恩达加入亚马逊董事会，亚马逊首席执行官安迪·贾西 (Andy Jassy) 表示，生成式AI可能会成为亚马逊业务的下一个重要支柱，其重要性与营销、Prime会员业务、云计算相当。

安迪·贾西在最近发布的股东信中表示：“我们在亚马逊云科技中构建的不仅仅是一个引人注目的应用程序或基础模型。这些服务在堆栈的所有三个层次上构成了一套基础服务，从而实现下一个划时代的人工智能阶段普惠化，并将为内外部构建者赋能，以转变我们所知道的几乎每一个客户体验，或是创造全新的客户体验。我们乐观地认为，这种改变世界的人工智能大部分将建立在亚马逊云科技上。”

而Meta Llama 3在亚马逊云科技的落地，有望为用户提供了一个更加方便快捷的平台，使得先进技术能够在更大范围内得以应用和推广。

亚马逊云科技首席执行官Adam Selipsky 认为，目前，已有超过10,000家企业利用Amazon Bedrock平台所提供的丰富模型构建人工智能应用。但这仅占潜在市场份额的1%。我们看到，客户对模型的选择越来越明智。小模型速度快、成本低，客户会用他们处理一些低风险、精确度要求没那么高的任务，比如做会议总结。如果客户对准确性要求很高，他们会更倾向于选择大模型，或者用像检索增强生成（RAG）等技术来增强模型，让模型能够利用企业自身知识与资源提供更精确的答案。

Adam预测，2024年将有更多公司需要定制化的AI模型。