大模型推理与训练的边界之争

　　随着大模型的发展日新月异,其推理和训练的边界问题也引起了广泛讨论。近日,清程极智CEO汤雄超在一场行业活动中明确表示,尽管外界有声音认为OpenAI发布的o1模型模糊了推理和训练的界限,但从技术角度来看,这两个阶段的划分并未发生本质改变。

　　汤雄超指出,o1模型之所以展现出强大的“推理”能力,实际上是由于其背后巨大的计算量消耗。这种计算量的增加,使得模型能够获得更高质量的回答。然而,这并不意味着推理和训练的边界正在变得模糊,而是推理阶段的计算需求正在增加。

　　清程极智认为,推理和训练需要差异化的系统设计和实现方式。随着推理计算量的增长,未来不仅在训练阶段,推理阶段也将需要集群规模的算力系统支持,而非目前的小规模单卡或单机算力系统。这预示着行业可能需要不同配置的算力集群,以分别应对训练和推理业务的需求。

　　清程极智的技术背景基于高性能计算,尤其在超算方面拥有深厚的技术积累。在超大规模国产集群进行大模型训练方面,清程极智有着经典的案例。例如,清程极智的大模型训练系统“八卦炉”能够扩展到10万台服务器的超大规模集群,用于训练百万亿参数量的模型,这一成就在行业内具有里程碑意义。

　　除了在训练领域的卓越表现,清程极智也始终关注推理的重要性。其推理侧的技术和产品已经服务于多家大模型企业。清程极智的推理引擎软件“chitu”能够支持多种模型、不同芯片、提供多种接口形式,如OpenAI API(文本对话)/HTTP API(文生图),满足不同场景下的推理需求。

　　随着大模型在各行各业的广泛应用,推理和训练的算力需求都在不断增长。清程极智预测,未来行业将需要更多专业化、定制化的算力解决方案,以适应不断变化的业务需求。这种趋势要求AI Infra厂商不仅要在技术上保持领先,还要在服务上提供更高的灵活性和定制化能力。

　　综上所述,尽管大模型的推理和训练在计算需求上呈现出一定的融合趋势,但从技术实现和系统设计的角度来看,两者的边界依然清晰。随着技术的不断进步和市场需求的日益增长,我们可以期待,未来AI Infra将为大模型的发展提供更加坚实的支撑。