跨域训练池化调度技术

AI 大模型的跨域训练是全球范围关注的前沿技术方向，它是指将多个不同的智算中心组合在一起训练同一个 AI 大模型。为什么需要跨域训练？业界通常的认知在于，当大模型未来发展到万亿、十万亿参数规模时，根据 Scaling Law 需要用到万卡甚至十万卡才能完成其预训练过程，这样的体量规模如果集中到一个集群内部，在技术、能源、配套等方面都存在着严峻的挑战，因此需要通过网络连接多个集群并加以组合，以共同训练同一个万亿/十万亿的大模型。