AMDKernelVault: Large-Scale Datasets and Agentic Training for AMD GPU Kernel Optimization

一句话概括

AMDKernelVault 是面向近期 AMD CDNA GPU 的开源 HIP 与 Triton 内核语料库及训练框架。它用智能体流水线把 PyTorch 参考实现转成可编译、可验证、可剖析延迟的 AMD 内核，并训练 Qwen3-8B 验证语料价值。

任务与方法：用 HIPKernelGen 与 TritonKernelGen 两条智能体流水线，把 PyTorch 参考实现转为 HIP 或 Triton 内核，在 ROCm 下编译验证并在 AMD 硬件上剖析延迟。
关键数字：语料含 62,153 条执行验证通过的 HIP 内核样本、2,377 条 ROCm Libraries 生产级问答条目、39,893 个 Triton 内核。
训练与结果：以 Qwen3-8B 做监督微调加执行感知强化学习，在固定评测预算下取得对比模型中最高的正确率（PyTorch-to-HIP 34.0% Pass@1、TritonBench-G 33.2% Corr@3、ROCmBench 41.94% Corr@3）。
数据与开源：语料与文档见 Hugging Face 的 amd/AIG-Datasets，训练与内核生成代码见 GitHub 的 AMD-AGI/hip_kernel_llm_lab；其余细节摘要未给出。

用大模型自动生成和优化 GPU 内核，是系统与机器学习交叉领域的热点。但现有工作几乎围绕 CUDA/NVIDIA 生态展开：训练数据是 CUDA 内核，评测基准是 NVIDIA 硬件，工具链是 NVCC 与 cuBLAS。

这带来两个结构性问题。

生态错配。AMD 的 ROCm 软件栈、HIP 编程模型与 CDNA 架构，在编程接口、内存层级、矩阵核心调用方式上都与 CUDA 不同。直接迁移 CUDA 语料训练的模型，不保证在 AMD 硬件上生成正确、高效的内核。
方法依赖。不少内核智能体依赖反复调用前沿大模型做生成、反思与优化。推理成本高，可复现性差，也难以沉淀为可训练的数据资产。

因此，缺少一个大规模、经过真实执行验证、且与 AMD 硬件和 ROCm 工具链绑定的内核语料库，是该方向的主要瓶颈。AMDKernelVault 针对这一空白提出。

论文工作分「数据生产」与「模型训练」两层。

数据生产层是两条智能体驱动流水线：HIPKernelGen 与 TritonKernelGen。输入是 PyTorch 参考实现，输出是对应的 HIP 或 Triton 内核。

流水线不是一次性生成，而是包含生成、在 ROCm 下编译、执行验证、在 AMD 硬件上做延迟剖析等环节。只有通过验证的候选才进入语料库。这种「执行验证 + 性能剖析」的双重筛选，是语料质量的关键设计。

语料库由三部分组成：

规模上覆盖从底层 HIP 到较高层 Triton 两个抽象层次，并补充了贴近真实工程使用的库级问答。

训练层是演示性实验。以 Qwen3-8B 为基座，先做监督微调，再做执行感知强化学习。奖励信号与内核能否正确执行相关，而不只是文本相似度。作者用该模型证明语料库具备训练价值，而非只是静态数据集。

在固定评测预算下，该模型在三个基准上取得对比模型中最高的正确率：

摘要明确说明，该模型并未在编译指标或速度指标上全面领先。正确率领先不等于编译成功率最高，也不等于运行最快。

这提示「能写对」和「能写好」在 AMD 内核生成任务上仍是两个尚未统一的能力维度。

关于语料构建中的编译通过率、验证淘汰比例、延迟剖析方法，以及强化学习的奖励设计与训练成本，摘要未给出。对比模型清单与评测预算的具体数值，摘要也未给出。

这项工作的直接价值，是把「AMD GPU 内核生成」从缺少数据支撑的题目，变成有公开语料、有基线模型、有可复现评测的方向。对做 AMD 平台算子优化、编译器自动调优或 ROCm 迁移的团队，该语料库可作为冷启动资源：既可用于微调专用小模型，也可作为检索增强的知识库。

方法论上更值得关注的是执行感知强化学习。内核生成任务的正确性信号来自真实编译与运行，天然适合做可验证奖励。这比纯文本层面的偏好优化更贴近任务本质。34% 的 Pass@1 说明这条路可行但远未解决，仍有提升空间。

另一个细节是语料同时覆盖 HIP 和 Triton。这对应实际工程中的两种选择：需要极致控制时写 HIP，需要快速迭代时写 Triton。让同一套数据同时支撑两种抽象层次，比只做单一层次更贴近真实使用。

正确率与性能分离。摘要承认模型未在编译和速度指标上全面领先，说明当前训练目标可能更偏向生成语法与语义正确的内核，而非高性能内核。如何把延迟剖析数据转化为优化信号，是开放问题。
规模与覆盖边界。语料针对「近期 AMD CDNA GPU」。具体覆盖哪些型号、是否覆盖不同显存层级与矩阵核心代际，摘要未给出。跨代泛化能力因此存疑。
评测口径。Pass@1 与 Corr@3 是不同指标，三个基准的难度与任务分布也不同。34.0%、33.2%、41.94% 之间不宜直接横向比较。摘要未给出各基准的任务规模与难度设定。
可复现性。数据与代码均已开源，这是加分项。但智能体流水线依赖哪些模型、调用成本如何、验证环境的具体配置，摘要未给出，复现时可能需参考仓库文档。