周鸿祎:打算开源360智脑70亿参数大模型, 让国内所有大模型都能支持超过20万字
3月28日消息,28日晚间,360董事长周鸿祎发微博称,大家前段时间都在卷文本长度,很快100万字就是标配了。最近360AI浏览器也火了一把,原因是拥有长文本能力。所以他打算把这个能力开源,让国内所有大模型都能支持超过20万字,大家不用再各自闭门造车,重复发明轮子。
周鸿祎称,他是开源的信徒,信奉开源的力量。
周鸿祎微博内容如下:
我是开源的信徒,坚信开源是伟大的力量
周鸿祎
一谈到大模型,所有人都盯着 OpenAl,实际上大模型在美国的发展也不是只有 OpenAl 这一条路,有人是把它当成曼哈顿工程,像原子弹一样垒国家级的算力,最后走向 AGI,这条路我是非常敬仰的。但是,你可以看到还有另外一条路,通过开源的力量推动大模型的发展。
所以这两天我们准备开源 360 智脑的一个 70 亿参数大模型,这个开源大模型有什么特点?除了在国内各种刷榜操作也能排到前三名外,最重要的是把 360k的长文本能力开源了。
开源的原因有三个
第一,我是开源的信徒,信奉开源的力量。大家前段时间都在卷文本长度,20万字、50万字,很快 100万字就是标配了。所以我们把这个能力开源了,让国内所有大模型都能支持超过20万字。
当然我们为了讨个口彩,定了360k,也就是 50 万字左右。让你的大模型也具备一次读一本《三国演义》或《三体》的能力。发挥开源的力量,让大家不用再各自闭门造车,重复发明轮子。我也希望随着开源的发展,未来至少能跟闭源相提并论。
第二,小模型速度快,用户体验也好。单机单卡就能跑起来,性价比高。比如 360AI搜索用了差不多 10 个百亿模型,响应速度比国内所有大模型都快。360AI浏览器背后也有5个场景大模型,每个模型单干自己最擅长的事,比如阅读、翻译、安全等。
经过垂直训练,小规模参数的大模型在单项能力上是可以超过 GPT-4的。未来,企业级模型也不需要用千亿大模型,用百亿甚至几十亿的大模型就够了。这样也最容易普及。
第三,360智脑的长文本能力亲测好用,我读论文、看书一直在用。最近 360AI浏览器火了一把,原因是拥有长文本能力。比如我每天需要读各种论文,但是英文又不好,360AI浏览器就能帮助我分析论文。
另外现在我确实太忙了,为了保持过去每年读100本书的速度,我就用这个浏览器帮我读书。扔一本《未来简史》进去,不到1分钟就把简介、重点和脑图都总结出来了,我平时读这样一本书需要2个多小时,现在 10 分钟读完。我有一种读书方法叫“粗读、细读和精读”。
每天花 10 分钟让 A 帮你读一本书,感兴趣的再去细读和咀嚼,坚持一年,起码可以看 50-100 本书,也能缓解职场焦虑。所以我也希望开源这个能力,对更多人有用。