11家大模型哪家强？我们抢先评测了5家

撰文 | 王晓树

编辑 | 杨博丞

题图 | IC Photo

大模型时代，真的来了。

据贝壳财经消息，国内将有11家大模型陆续通过《生成式人工智能服务管理暂行办法》备案，首批将在8月31日起将陆续向全社会公众开放服务。其中北京5家，上海3家率先上线，广东省2家和其他省市1家也将陆续开放。

据悉，广东地区获批公司分别为华为、腾讯，科大讯飞系其他地区获批产品。

截至发稿前，可以确定已经向全社会开放的大模型有：百度的文心一言、科大讯飞的讯飞星火认知大模型、商汤科技的商量SenseChat、百川智能的百川大模型、智谱AI的智谱清言。

此前，曾横向评测过国内外大模型文心一言、ChatGPT3.5、Bard大模型。在此背景下，对上述已经开放的国内大模型进行了横向评测，分别就文学创作、创意、逻辑推理、编程等等方向出题，来看看他们的回答是什么样子的。

首先从外观界面来看，这五大模型大同小异，每一个答案生成后都会出现“赞同、不赞同、重新生成以及内容复制”的功能按钮。

唯一有所不同的是智谱清言的右边有一个界面是“灵感大全”，其中有一系列的选项，包括文章创作、热点选题、语言翻译、广告文案等等。

目前来看，智谱清言的“灵感大全”，是现阶段大模型在C端比较成熟的落地方式。目前市面上已经出现了不少以大模型为基础的应用APP，其中就分为创作、创意、对话等板块。

此外，在生成速度上，就的体验而言，商汤SenseChat大模型在新问题上的生成速度明显低于其他几家。

在具体的横向评测前，我们首先跟ChatGPT4.0聊了一下，如何看待中国11款大模型通过国家备案向公众全面开放一事，将给行业带来什么影响？

这是大模型“老大哥”的回答，接下来我们来看看文心一言、讯飞星火认知大模型、商量SenseChat、百川大模型、智谱清言的回答。

文心一言

讯飞星火大模型

商汤SenseChat

百川大模型

智谱清言

在这个回答中，这几大模型都有一个共同点，会通过几个明确的点，比较笼统的作答。这不只是国内大模型的回答模式，ChatGPT、Bard都是如此。

只不过，在这些回答中，讯飞的答案稍显突兀。和其他几家明显的“思考”相比，讯飞的答案稍有“问题检索”的意味。

接下来就看看在相同问题下，这五家大模型的回答分别是什么样的吧。

1、文学创作

问题：请用“瞒天过海”做一首藏头诗。

如果用人的思维去思考这个问题，有三个步骤。瞒天过海典故出处，是什么意思以及怎么做藏头诗。

从生成的结果来看，唯一满足“藏头诗”概念的，就只有商汤SenseChat、百川大模型做到了。其他四个大模型虽然做了诗，但都没能理解藏头诗的意思。

再来看看智谱清言答案，似乎有点“投机取巧”了。

2、创意

问题：如果要成立一家比较有中国川菜风味的中式餐厅，你可以帮忙取一下名字并且写一段广告词么？

这五大模型都精准理解了问题的两大点：取名和写广告词。但单从创意上来看，讯飞星火大模型的创意不错，还给出了多个参考。

3、逻辑推理能力

问题：请你运用逻辑推理，解决以下问题：“如果猫会爬树，那么狗也会。”

文心一言、讯飞星火以及百川大模型和智谱清言没有掉入这个逻辑陷阱里，商汤最后却被绕了进去。

4、编程能力

问题：x+2=5，y-3=7，输出x+y等于几，用java做一个简单编程，然后得出结果。

程序猿的福音来了。这几款大模型都可以快速生成简单的代码。就上述题目而言，这五款大模型给出的代码都差不多。

就问题的结果而言，讯飞星火大模型、商汤SenseChat大模型第一次都给出了正确的答案。不过，除了讯飞之外，其他几个大模型重新生成几次后，每次结果都会不同。

最后一个问题，我将“你会取代人类的岗位么？”抛给了这五个大模型。他们给出的答案都是不能完全替代。

就笔者而言，大模型的出现其实就是人类创造的一个生产工具，只是这个生产工具开始有了更多更全面的思考。

目前而言，大模型替代人类工作的可能性并不大，只是可以帮助部分岗位提高工作效率。

不过，随着大模型的广泛应用，它们在社会中的影响也逐渐扩大，涉及到隐私、安全、伦理等多方面的问题。

所以，在越来越多的大模型放开之后的背景下，更需要思考的一个问题是监管该走向何处？

首先，我们需要确保这些模型不会侵犯个人隐私，不被用于非法或不道德的目的。

其次，模型的决策透明度和可解释性也变得尤为重要，这可以帮助我们理解模型是如何做出判断的，以及它可能存在的偏见和不足。

此外，随着技术的发展，我们还需要对模型的使用进行持续的评估和监督，确保其不会带来不可预测的社会风险。

总之，监管不仅仅是限制，更多的是为了确保技术在造福社会的同时，不带来潜在的威胁。