国产大模型互评高考作文，真“学霸”竟然是它？

撰文 | 李信马

题图 | 图虫创意

人工智能又一次重量级的“破圈”，是成为了高考作文的题目。

2024年新课标 I 卷的作文题目是：

随着互联网的普及、人工智能的应用，越来越多的问题能很快得到答案。那么，我们的问题是否会越来越少？

以上材料引发了你怎样的联想和思考？请写一篇文章。

要求：选准角度，确定立意，明确文体，自拟标题；不要套作，不得抄袭；不得泄露个人信息；不少于800字。

 作为高考中最重要、分值最高的主观题，每年的高考作文都会引起全社会的广泛关注。对大模型来说，这也是它们最擅长的领域，不过，写作文容易评分难，所以决定，让目前国内五家主流的大模型分别写一篇高考作文，然后让它们作为考官，对5篇文章的合集进行评分，通过自评和互评的方式，来看看哪家大模型的综合评分最高。

以下是打分的Prompt——

假如你是一名高考阅卷老师，针对刚刚的作文题，对于下面5篇文章，满分60分的情况下，你会分别打多少分？并给出理由：

 闲话少说，我们直接来看结果。令人有些意外的是，五家大模型都将最高分（绿色）给到了通义大模型，通义也获得了53.8分的最高平均分，与其他大模型明显拉开差距；文心大模型和混元大模型都在51分的档位，几乎没有差距；而豆包大模型和星火大模型的平均分不到50分，豆包更是收获了3个最低分（黄色）。

从结果上来说，五家大模型的打分都比较“公正”，虽然可能多少有点“主观意识”，没有哪家大模型自评最低分，像是星火给了豆包最低分，而豆包也把最低分给了星火，但整体还是比较令人信服。

不过，为什么会出现这样的差别？我们摘取了五家大模型分别对五篇作文的评价进行对比。

百度文心是“老好人”，对五篇作文的打分很接近，不过对通义作文的评价是“整篇文章论据充分，论述有力”，对混元作文的评价则是“在论证过程中，部分观点略显重复，稍显遗憾”，对最低分的星火作文的评价则有“部分观点阐述不够深入，部分内容略显表面化，因此在分数上稍逊一筹”。

阿里通义对五篇作文的点评就犀利的多，文心的作文“略显保守”，混元的作文“深度和广度上略显不足，且创新点不够突出”，星火的作文缺少“论述的深度和语言的艺术性”，豆包的作文则是论述常规缺乏亮点。

通义大模型对作文的自评 图片来源：通义

腾讯混元认为除了通义，自己和文心、星火的作文都有些文采不足，而豆包的作文则是“在逻辑性和条理性方面略显不足，部分观点未能充分展开”，得分最低。 

讯飞星火则最“挑剔”，打分都偏低而且更抠细节，得分最高的通义，也有“少量语法错误需要修正”，而得分最低的豆包“论证上缺乏深度，并且有些句子表述不够清晰”。

最后，字节豆包对通义、文心和混元都是正面的评价，但认为星火的作文“结尾部分的措施略显单薄”，自己的作文“在文采方面还有提升的空间”。

豆包大模型对作文的自评 图片来源：豆包

不难发现，五家大模型对不同文章的看法，颇有类似之处，比如都“diss”了豆包的文采，还有认为星火的论述缺乏深度等。值得一提的是，最“年轻”的豆包拿到了最低分可以理解，而通义的脱颖而出，侧面印证了其实力日益强大。 

在6月7日，通义千问正式发布了 Qwen2 大模型，在十几项国际权威测评中，Qwen2-72B 得分都超过了开源标杆 Llama3-70B，发布两小时就冲上了 HggingFace 开源大模型榜单第一。可以预见，未来一小段时间里，通义在各个榜单的名次还会有所进步。

最后，比完了分数也看过了点评，我们也按照分数由高到低，将五篇作文都附在结尾。大家可以看下，大模型写作文究竟写的如何？它们打出的分数，又是否靠谱呢？