深圳河套学院联合智子芯元
、、昇腾AI
、、、、深圳市大数据研究院通过Agent驱动的一体化流水线，，，
，实现模型迁移百倍效率提升
、、、性能精准优化，，为国产算力的多行业规模化应用按下“加速键”。。。

当前国产算力正进入规模化落地阶段，，面对多行业、、
、多任务的应用场景，，，，一个关键挑战是
：

全球前沿模型能否在国产AI芯片上实现快速配置
、、、高效运行？？？

在国产算力上，，，，模型迁移通常需要跨过两道关：
1）让模型快速跑起来：兼容硬件环境
、、
、、Pytorch模型、、国产芯片已有算子等；
2）让模型跑得更快：定位推理链路中的瓶颈
，，，并进行系统性优化。。。。

传统流程往往依赖人工经验与反复试错
，，，，难以支撑多模型版本、、持续迭代的交付节奏。。。为此
，，我们将“规模化适配 + 端到端优化”贯通为一条可复现、、
、可验证的交付链路，，，
，把迁移从经验驱动的试错过程，，，转为可复制的工程流程
。。。目前工作重点面向昇腾平台展开，，同时
，，，核心流程也已在其他国产芯片平台上完成初步可行性验证。。

从“一次能跑”到“长期可交付、、、可提速”

01

简介：

从“适配靠经验”到“交付靠系统”

传统跨平台迁移往往呈现两类典型痛点：

• 环境碎片化
：每个模型维护一套镜像，，依赖冲突频发，，，，迁移全靠手工试错。。

• 性能不可控：即使“能跑”
，
，，端到端吞吐常被预处理、、、、解码循环、
、、、算子选择等因素隐性瓶颈拖慢。。。。

我们用Agent化的一体化方案把“适配—优化”串成一条链路。。两个方案的对比如下：

02

国产算力上的规模化模型适配

我们将复杂的硬件适配经验固化为可执行的智能体Skill工作流模块（注：SKill工作流指的是让AI学会执行某项具体任务的专门能力或“技术指南”）。。。这套面向AI智能体的“工程指南 + 工具集”，，，
，使智能体能够自动识别 NPU 驱动并通过多次试错中的经验，，，自主完成环境同步任务。。交付效率与覆盖成果如下
：

• 小时级极速适配：对一些主流模型，，，10 分钟内完成从环境配置到推理 Demo 运行；对绝大多数模型，，1 小时内也可完成适配。。

• 500+ 模型覆盖：我们采用“深度精修”与“规模自动化”结合，，，完成了对 ChemDFM
、、、ESM2、、
、DINOv3 等科学计算与前沿视觉标杆模型的深度适配；此外，，依托多智能体协作机制，
，实现了 500+ 模型的自动适配。。。需注意，，，自动库侧重于规模化可行性验证
，，代码质量可能受模型复杂度影响存在波动，
，后续将结合 CI 机制进行长效自愈。。
。

以下是部分主流模型的适配时间实测：

03

模型适配后的自动优化提速

在稳定运行模型后，
，
，下一个问题是：模型性能如何进一步提升？？
？我们开发了一个更全面的智能体工具，，，可实现自动优化：以端到端视角自动定位性能瓶颈
，，，，并通过自定义解码循环、、、、快速预处理管线等手段，，
，，自动生成并应用优化方案
，，实现性能提升。
。。。

我们比较了初步适配过的模型和自动优化后的模型
，，在7个代表性模型上完成系统验证
：系统响应时间(用P50延迟来衡量)平均降低18.4%
，
，，最高降低38.0%；模型吞吐平均提升 23.3%（最高 64.6%）。
。。下文是详细的对比：

名词解释
：延迟（latency）指一次请求从发起到返回结果的端到端耗时；“P50 延迟”为延迟分布的 50% 分位点（中位数）
，，反映典型请求的响应时间。。

推理提速效果对比

注：初步适配后的模型与自动优化后的版本对齐了预热策略、、
、测试数据与参数配置。。。

在一些典型案例上，，我们找到的自动加速方案和效果如下：

• DINOv3：轻量模型的真实瓶颈常在预处理
。。以自定义快速预处理管线替代通用 ImageProcessor
，，，使端到端 P50 降低 38.0%
，
，，，吞吐提升 64.6%。。
。

• GLM-OCR
：通过 NPU ACL 算子级优化与推理路径精简（避免不必要的 I/O），，
，，P50 降低 34.1%
。。

• BioGPT / ChemDFM：用自定义贪心解码循环替代通用 generate()，，
，，配合 KV Cache 管理与 ACL 高性能算子策略
，，实现 10%~15% 的端到端加速。。。

• GROVER：引入 SDPA 融合注意力并扩展预热覆盖序列长度，，，，消除尾部延迟毛刺，，，，实现 10.5% 的 P50 加速。。。
。

04

开发者行动：

在河套，，共筑AI生态未来

目前自动适配工具SLAI-AscendBridge已开源
；自动提速优化工具KernelCAT已开启内测，，，，以申请制形式开放试用，，欢迎开发者、、
、、科研机构与产业伙伴共同完善国产算力的模型交付与性能工程能力。。。

● 开源项目（AscendBridge｜自动适配）：https://gitcode.com/AI4Science/SLAI-AscendBridge（点击“阅读原文”即可跳转）

沉淀“人 + AI”深度适配经验，，，，聚焦科学计算与前沿标杆模型的高质量交付。。
。

https://chongweiliu.github.io/slai-ascend-auto-adapt/dashboard/

实时展示通过多智能体协作实现的 500+ 模型全自动适配成果与运行状态。。。

● 性能优化能力（KernelCat｜自动提速）：当前以内测API形式开放，，，面向合作伙伴提供接入与联合优化支持（欢迎申请内测）
。。。

版权声明
：本文转载自深圳河套学院官网，，仅用于行业资讯交流与技术分享，，，不代表本公司立场，，不用于商业用途。。。版权归原作者及原出处所有，，，如有侵权，，请联系我们及时删除
。。