我国自研推理引擎开源首次支持国产卡原生运行FP8模型

我国人工智能基础设施企业清程极智联合清华大学翟季冬团队14日开源我国自研大模型推理引擎——“赤兔”(Chitu)，首次实现国产AI芯片对新一代FP8模型(8位浮点数)的原生支持，为构建自主可控的国产AI算力生态提供了又一支撑。

随着DeepSeek引燃市场对大模型私有化部署的热情，模型部署的效率与成本成为企业AI落地的关键。当前，以FP8数据类型为代表的新一代AI模型成为行业主流。国产芯片多大程度上支持FP8数据类型，关系到新一代AI模型能否发挥出更优性能。

“过去，如果采用国产芯片支持FP8模型，传统技术方案需将FP8模型提前转换为FP16或BF16格式才能运行，这将导致性能损失，而推理引擎‘赤兔’通过硬件适配优化，无需提前转换模型，即可实现‘无痛’‘无损’支持FP8数据类型。”清华大学计算机系长聘教授翟季冬介绍。

为突破这一瓶颈，我国人工智能基础设施企业清程极智与清华大学翟季冬教授团队联合攻关，自主创新研发推理引擎“赤兔”并将其开源。推理引擎“赤兔”采用国际领先的全栈性能调优方案，可“四两拨千斤”地挖掘国产芯片潜力，实现国产芯片对FP8模型的原生支持。

“赤兔”的最大优势是实现对国产芯片的降本增效:不仅显著提升推理效率，也将降低部署成本。研发人员告诉记者，部署DeepSeek-R1等FP8模型时，基于“赤兔”的国产芯片方案将降低算力消耗，硬件成本与运维门槛也会同步下降。这为我国人工智能基础设施自主化开辟新路径的同时，也将为金融、工业、医疗等领域的智能化转型提供高性价比的支撑。