月之暗面创始人:通过多模态技术进一步提升智能
论坛上,月之暗面创始人杨植麟表示,“Scaling Laws(规模化定律)是大模型训练的重要指导法则,通过多模态技术进一步提升智能、通过生成数据进一步打破数据瓶颈成为当前行业重点关注的问题。
新华财经上海5月19日电(记者杜康)18日,第五届上海创新创业青年50人论坛在上海中心召开。论坛上,月之暗面创始人杨植麟表示,“Scaling Laws(规模化定律)是大模型训练的重要指导法则,通过多模态技术进一步提升智能、通过生成数据进一步打破数据瓶颈成为当前行业重点关注的问题。
去年3月,聚焦通用人工智能大模型研发的公司Moonshot AI月之暗面成立,10月即推出全球首个支持输入20万汉字的智能助手产品Kimi,在用户端和资本市场引发关注。
“技术的发展非常神奇。”杨植麟表示,大模型的发展是一个“天时地利”的结果。互联网发展二十多年,本身创造了很大的价值,但很有可能再过三四十年回头看,会发现互联网最大的价值是为AI积累了大量数据。此外,AI的出现还得益于硬件的进步,包括Transfomer架构的提出以及半导体发展。
“Scaling Laws(规模化定律)”最早由OpenAI提出,认为模型的性能与模型的规模、数据集大小和训练用的计算量之间存在幂律关系,性能会随着这三个因素的指数增加而线性提高。传统AI模型参数量通常在数万至数亿之间,大模型的参数量则至少在亿级,并已发展到过万亿级的规模。
论坛上,杨植麟表示,在“Scaling Laws”之上,当前行业有几个重点关注问题,包括如何用多模态技术进一步提升智能;如何通过生成数据进一步打破数据瓶颈,让越来越多数据加入训练,让“规模化定律”持续发挥作用。
前不久,OpenAI发布了新一代旗舰生成模型GPT-4o,该产品新增了文本、语音、图像三种模态的理解能力。对此,杨植麟表示,多模态也是公司持续重点投入的方向。
围绕“Scaling Laws”的算力维度,杨植麟表示,模型的效果提升,一开始靠算力本身的提升,以及算力利用率和效率的提升。但随后,模型的效果并不是简单花更多算力投入训练就可以达到,还要关注算力投入能否很好转化成智能。“这其中涉及两个问题,一是算力怎么持续投入,二是每个单位的算力怎么才能发挥最大的智能。”
人工智能接下来的发展新方向是什么?在杨植麟看来,是要从回答简单的问题,发展到解决长链路的复杂任务,“它不光可以被动地遵循你的指令,还可能给你提出挑战。你给它一个指令,如果指令本身有问题,它是可以跟你探讨。”
此外,杨植麟表示,从生态角度来说,硬件和软件也有非常多的新的结合机会,“手机是现在最好的硬件载体,但随着AI的发展,以后会不会出现更好的硬件?是不是会有更多的模态融入其中?我们非常期待。”
杨植麟还提到,新技术往往影响过去的生产方式和企业组织形式。“大模型的开发方式和互联网有很大不同。互联网更多是规划式的发展,定好一个目标,接下来每一步要开发什么都是有序的。但大模型是涌现式的,比如说我们现在在产业的开端,做到了10的25次方的运算,接下来还要进行更多的运算,但不知道到哪个节点会出现什么新的能力,所以要更多关注基础能力。”
编辑:穆皓
声明:新华财经为新华社承建的国家金融信息平台。任何情况下,本平台所发布的信息均不构成投资建议。如有问题,请联系客服:400-6123115