全球最强AI超算推出:拥有5400万个核心
7月23日消息,阿布扎比科技控股集团 G42 近日宣布推出全球最快的超级计算机 Condor Galaxy-1 (CG-1),该计算机拥有 5400 万个核心,处理能力达到 4 exaFLOPS(每秒 4 百亿亿次),可用于训练最先进的人工智能模型。该计算机位于美国加州圣克拉拉,由美国人工智能公司 Cerebras 运营。
据悉,CG-1一共用了 72704 个 AMD EPYC 处理器,总体的片上内存容量达到了 82TB,各个系统间的带宽速率高达 388Tbps。
在 16 位计算下,该系统可以提供 4 exaFLOPS 的计算能力,这是目前世界上最快超级计算机速度的四倍。它可以用于训练 6000 亿参数模型,并可扩展到支持 100 万亿参数模型。作为对比,OpenAI 公司的 GPT-4 模型是使用 1.7 万亿参数训练的。
Cerebras 和 G42 还计划在 2024 年初在美国引入另外两台超级计算机,CG-2 和 CG-3,同时将 CG-1 作为云服务提供给客户。
CG-1 可以原生地处理 50000 个令牌,而无需任何特殊的软件库。在 CG-1 上编程完全不需要使用复杂的分布式编程语言,节省了在 GPU 上分配工作流的宝贵时间。
G42 和 Cerebras 相信,最快的超级计算机将有助于应对医疗、能源和气候变化等挑战。