马斯克旗下xAI公司公开大模型Grok-1的权重与架构

3月18日消息，据腾讯科技援引国外媒体报道，埃隆·马斯克再次在人工智能领域掀起风暴，这次他选择以公开Grok背后代码的方式，进一步推进他在这场技术大战中的攻势。此前，他曾因相关议题对OpenAI提起诉讼。

周日，马斯克公开了旗下xAI公司研发的人工智能聊天机器人Grok的原始计算机代码。Grok是2023年发布的，其设计理念源于科幻小说《银河系漫游指南》（the Hitchhiker’s Guide to the Galaxy），旨在为用户提供尖刻而富有洞见的回答。

尽管xAI是一个独立于X的实体，但其技术已经被整合到社交媒体平台中，通过用户帖子的训练来不断提升其智能水平。订阅X高级功能的用户可以向Grok提问，并收到其回复。

xAI在其官方网站上宣称，它正在公开其大语言模型Grok-1的基本模型权重和网络架构。Grok-1是由该公司从头开始训练、拥有3140亿参数的混合专家模型。

xAI表示，这是Grok-1预训练阶段的原始基础模型检查点（Checkpoint，指在特定时间点保存模型状态的操作，以便在未来某个时间点恢复模型状态），该阶段于2023年10月结束。这意味着该模型没有针对任何特定的应用程序（例如对话）进行微调。

xAI正在Apache 2.0许可下发布权重和架构。该模型的细节包括：在大量文本数据上训练的基础模型，没有针对任何特定任务进行微调；3140亿参数混合专家模型，在给定Token上活动的权重为25%；2023年10月，xAI使用JAX和Rust之上的自定义训练堆栈从头开始训练。

马斯克此次选择将Grok的代码开源，即公开给所有人查看和使用，再次体现了他对开源理念的坚定支持。去年，他就曾对X的推荐算法进行同样的开源操作，尽管之后并未进行更新。

马斯克上周日在谈及开源X推荐算法时表示：“虽然还有很多工作要做，但这一平台已然成为目前最透明、最能寻求真相的平台之一，尽管它的门槛相对较低。”

开放Grok聊天机器人代码的举动是马斯克与ChatGPT的创造者OpenAI之间的最新一次交锋。马斯克曾是OpenAI的创始人，但后来离开并提起诉讼，指控其违反了开放和透明的承诺。

马斯克坚信，如此重要的技术不应该只被谷歌、微软等少数科技巨头所控制，而应该让更多的人参与进来。微软是OpenAI的亲密合作伙伴。OpenAI已表示将寻求采取行动驳回马斯克的诉讼。

在过去的一年里，随着人工智能技术的快速发展和普及，关于开源生成式人工智能的争议在科技界中愈发激烈。这一技术能够创建逼真的图像、视频，并产生类似人类的文本回复，其潜力巨大，但也伴随着一系列的安全和伦理问题。因此，在人工智能底层代码是否应该公开的问题上，硅谷内部存在着严重的分歧。

一方认为，这种强大的技术必须防范入侵者，因此应该保持代码的封闭和专有。而另一方则坚信透明的好处大于坏处。通过公开自己的人工智能代码，马斯克坚定地站在了支持开源的阵营，这一决策可能使他在开发这项技术方面超越已有的竞争对手。

代码的开放将极大地促进技术的共享和创新。其他公司和独立软件开发商可以基于马斯克的代码进行修改和重用，这将加速聊天机器人和其他人工智能系统的研发进程。

Facebook和Instagram的母公司Meta也开放了其名为LLaMA的人工智能技术。谷歌和一家著名的法国初创企业Mistral AI也做了一些开源项目。

马斯克在2023年的行动中展现出了他在人工智能领域的雄心壮志。他成立了xAI，一个以“理解现实”为使命的公司。去年11月，他表示，参与他440亿美元私有化X交易的投资者将持有xAI 25%的股份。

对于聊天机器人的态度，马斯克一直持开放和包容的立场。他反对限制聊天机器人讨论的话题，认为这种限制是对技术潜力的浪费。