千元显卡即可运营，猎户星空大模型正式发布

1月23日消息，1月21日，傅盛在猎户星空大模型发布会上，以《AI大潮下企业如何创新？从技术狂欢到企业落地-私有化大模型是王道》做主题分享，重磅发布猎户星空大模型，并带来七大场景应用微调模型聚言与大模型应用交钥匙解决方案。

会上，傅盛宣布“为企业应用而生”的开源百亿参数猎户星空大模型正式发布，他强调，在企业应用场景中，猎户星空大模型在结合企业私有数据和应用时，即可实现千亿参数级别的模型效果。

猎户星空百亿参数大模型，企业标配

猎户星空大模型（Orion-14B）是由猎户星空研发的预训练多语言大语言模型，以其140亿参数规模展现出了卓越的性能。

Orion-14B模型在一个庞大且多样化的数据集上进行训练，数据集规模达到了2.5万亿token。这一规模不仅覆盖了常见语言，还涵盖了专业术语和特定领域知识，确保模型能够理解和生成多种语境下的文本。

百亿参数大模型基座能力行业领先。Orion-14B在MMLU、C-Eval、CMMLU、GAOKAO、BBH等第三方测试集上，均为同级别模型SOTA。

（基于第三方机构OpenCompass独立评测结果）

140亿参数，以小博大。第三方OpenCompass综合测评总分中，700亿以下参数基座模型中文数据集排名第一。

实现长文本中「大海捞针」。最长可支持 320K token 超长文本，一次性读入一本小说。在三十万文字中任意位置随机隐藏关键信息，对模型进行提问，结果全部正确。

量化性能几乎无损。 通过AWQ Q4量化技术，模型大小减少70%，推理速度提升30%，性能几乎无损(损失小于1%)，可在千元级显卡可以流畅运行。在NVIDIA RTX 3060显卡实测，推理速度可达31 token/s (约每秒50汉字)

多语言能力极强。超越了市面上许多更大参数的模型，尤其日语和韩语能力表现优秀，评测全球第一。

（日文为JNLI等8项评测集平均得分；韩文为COPA等4项评测集平均得分；中文英文为OpenCompass对应语言评测集平均得分）

独家推出微调模型全家桶

为了更好地满足企业的应用需求，猎户星空独家推出了微调全家桶。在专业应用场景层面，Orion-14B也表现出了显著的可塑性和广泛的应用潜力，可以与千亿级模型媲美。

企业数字员工应用最牛套件

针对不同的应用需求，进一步扩展了猎户星空大模型（Orion-14B）的功能和实用性，着重打磨的两个方向，检索增强生成（RAG）和Agent。

所有基于大模型搭建好的应用，想要获取实时数据，都需要建立在检索增强生成（RAG）技术之上，RAG能力微调模型 （Orion-14B-RAG）使企业能够快速整合自身知识库，构建定制化的应用。猎户星空通过针对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力进行专项微调，使之成为最适合开发RAG应用的底座模型。

通过对比，可以看到猎户星空大模型RAG套件与普通RAG套件在专业领域的区别。

除了RAG，大模型应用可能拓宽的另一条重要路径，便是Agent。

插件能力微调模型（Orion-14B-Plugin）的关键在于增强模型根据用户问题调用最适配工具的能力，并将插件的结果与模型的处理相结合，以解决更复杂的问题。猎户星空通过针对意图识别、函数调用、缺槽反问、单轮抽参、多轮抽参、ReAct 等能力进行专项微调，使之成为最适合构建Agent应用的底座模型。

这里不得不说，猎户星空大模型的Agent应用所需的五项能力包括意图识别、首轮抽参、多轮抽参、缺槽反问、插件调用，都已经接近了GPT-4的水平。

数字老板：独一无二的大模型应用交钥匙解决方案

大模型浪潮中，做好应用，依然是创业者最好的机会。

猎户星空推出大模型深度应用「聚言」，面向企业客户提供大模型咨询与服务一站式解决方案。基于「聚言」打造出的 “数字老板”，可以帮助企业老板全面掌握经营细节、不留遗漏，包括人力资产，云资产，数字资产等，帮助企业运营提效，领先同行目标。

在实践中猎户星空发现，企业需要的不是「大模型」，而是能够结合业务流并解决自身痛点的大模型应用。「聚言」就是结合场景应用微调套件，通过全链条的AI大模型咨询定制，为客户提供AI辅助决策交钥匙解决方案。

谈及为何要做私有化大模型，傅盛提到了一个概念——OpenAI的阳谋。

安全性是大模型To-B企业应用的首要问题。合同、财务、业务数据等公司机密，难以作为数据集去训练通用大模型。而OpenAI发布GPTs，将大模型应用商店化，每个人可以根据自己的需求定制应用，但同时需要上传自己的数据去训练模型，这意味着有数据泄露的风险。

傅盛认为，这也是为什么企业私有大模型将成为趋势。对于企业私有大模型，服务器可放置于企业内网，所有数据不连公网。

猎豹移动高级副总裁孙明焱进一步向表示，对比目前市面上的通用大模型，私有化大模型主要有以下优势：

一方面是安全性的提升，“私有化的模型最主要就是考虑到企业的安全性，猎户为企业提供落地服务，大部分情况是在客户指定的环境、指定的数据中去完成，所以在安全合规的角度是有优势的。”

另一方面就是降低成本，“一个百亿规模左右的模型，加上企业所应用的领域，就可以达到外面迁移的水准，所以私有化模型的成本也会更低。当你拥有私有化模型，你可以通过简单的显卡在特定领域去运行，投资也会比较低。”

AI大模型创新，以终为始的思考：寻找破局点

“做出自己的千亿大模型，就一定能取得商业上的成功吗？如果技术没有和产品、应用形成闭环，再多技术投入都不能形成壁垒。”傅盛表示。现在大模型之路主流的模式，是砸钱预训练千亿级模型，微调，然后寻找应用场景。而猎户星空AI大模型创新以Think Different思维逻辑，在已知应用场景后，再微调，然后寻找合适的模型。

七年磨一剑

2016年，猎户星空成立并提出"All in AI"战略蓝图，自研AI全链条技术，并紧密跟随行业技术演进的步伐。从DNN、Attention、Bert到LLM，全面追踪ASR/TTS/NLP全栈的算法演进，不断提升技术实力。

为了实现这一目标，猎户星空投入了巨资，打造了一个博士团队，团队成员来自Meta、Yahoo、百度等全球顶级大厂，拥有数百名顶级算法科学家。这个顶级团队为猎户星空的技术研发提供了强大的支持。

猎户星空的优势不仅在于顶级团队，还在于拥有过去全球20亿用户级应用的经验和应用打磨基因。这使得其能够更好地理解和满足用户的需求，将AI技术应用于实际场景中。

此外，猎户星空在过去近7年的时间里，积累了百亿级真实用户Query数据和数十万亿级别的token数据。这些宝贵的数据为其的研究和开发提供了坚实的基础，使得能够更准确地训练和优化猎户星空的模型。

猎户星空大模型下一个里程碑

猎户星空正在基于MoE架构训练混合专家模型，百亿参数智能水平可全方位媲美千亿参数,猎户星空大模型专注百亿，敬请期待！

热门相关：拳罡   拳罡   扑倒老公大人：龙总，我爱你！   大明武夫   唐土万里