超算互联网:破解AI大模型训练“数据荒”

近日,在“跨国公司领导人青岛峰会”上,国家高性能计算机工程技术研究中心常务副主任何铁宁受邀就“人工智能+”主题进行分享,他表示,伴随人工智能与各行各业深度融合发展,传统实验数据正难以满足垂直领域AI大模型训练需求,而超算互联网凭借全精度算力优势、海量异构算力资源池、适配国产算力的开源大模型,以及服务工业仿真与科研计算的丰富经验,可有效解决不少垂类大模型训练的“数据荒”难题。

例如,在空气动力学领域,风洞实验产生的数据量有限、成本也很高,难以满足AI大模型的训练需求。“而人工智能的神奇之处在于,基于传统实验数据和数值模拟结果,就可以通过神经网络推导出一个AI模型,虽然看不到物理场与求解过程,但数据维度却更丰富。”何铁宁指出,这种基于数据和模型融合驱动的方式,正在改变传统的计算模式与科研范式。

针对这一趋势,何铁宁表示,超算互联网依托“超智融合”技术,通过全精度算力优势,既可在数值模拟阶段提供单精度和双精度算力,又可在模型训练阶段提供整型和半精度算力,能满足大量细分场景的数据生产需求。如通过高性能计算运行空气动力学CFD等软件,可生成大量高精度数据,这些数据与实验数据相互验证并结合,再通过深度学习,就产生了大量媲美风洞实验的高质量仿真结果。

“超算互联网的初衷是降低算力使用门槛、促进供需高效对接,作为共享集约型算力基础设施,为全国用户提供‘算力+应用’一体化交付的服务”,何铁宁强调,通过超算互联网,全国各地的企业和开发者,不必重资产自建算力设施,通过即需即用、弹性灵活的算力服务,就可敏捷部署并定制化开发AI大模型。

作为国家级综合算力服务平台,超算互联网目前已连接国内14个省区市的20多家超算和智算中心,应用商城发布7000多款算力服务商品,AI社区上线270多款国内外热门开源大模型。这些普惠易用、丰富好用的算力和模型资源,使得超算互联网已成为国内“超智融合”技术演变的重要依托,也让更多科研工作者、个人开发者和中小企业能够享受到AI产业发展红利。