华为于6月30日正式宣布开源盘古70亿参数的稠密模型、盘古Pro MoE 720亿参数的混合专家模型以及基于昇腾的模型推理技术,这是华为首次开源大模型。目前,盘古Pro MoE 72B模型权重和基础推理代码已上线开源平台,基于昇腾的超大规模MoE模型推理代码也已上线。盘古7B相关模型权重与推理代码将在近期上线开源平台。华为邀请全球开发者、企业伙伴及研究人员下载使用。
华为表示,此举是其践行昇腾生态战略的关键举措,旨在推动大模型技术的研究与创新发展,加速人工智能在各行各业的应用与价值创造。达睿咨询创始人马继华介绍,盘古70亿参数的稠密模型采用全参数稠密结构,适合通用场景微调,能够灵活部署在边缘设备上。而盘古Pro MoE 72B模型则采用混合专家架构,在保持推理效率的同时实现接近千亿级稠密模型的性能,适用于高复杂度任务。华为通过差异化模型参数规模梯度覆盖制造业、金融等不同场景需求,开源目的是推动大模型在行业中的应用落地。马继华认为,当前人工智能领域的技术开放与生态共建至关重要,通过开源可以迅速形成产业优势,从而达成领跑,发挥人工智能的飞轮效应。