DFM Mimir v1: An Open HRM Delivering Frontier Performance at 1B Parameters Using Only Permissible Post-Training Data
一句话概括
Mimir v1 是 10 亿参数、基于层级推理架构（HRM）的语言模型，仅用可许可数据从头训练。它在英语上表现有竞争力，并在丹麦语上刷新最优成绩。
速览
- 任务与方法：基于 HRM 架构、从零训练 10 亿参数语言模型，仅用可许可（permissible）后训练数据。
- 关键数字：训练数据来自 161 个数据集的混合，评估覆盖 20 个基准。
- 主要结果：优于原始 HRM-Text 1B，可与 Qwen 3.5 4B、Gemma 4 E2B 等更大模型竞争，丹麦语达到新最优。
- 数据与开源：模型已在 Hugging Face Hub 发布；预训练数据许可状态摘要未给出。
问题背景
当前大语言模型开发依赖海量数据，其中不少属于非许可（non-permissible）来源。这给坚持开源与数据伦理的研究者设下高门槛。
丹麦基础模型项目希望验证一个假设：在只使用可合法使用数据的条件下，能否训练出有竞争力的模型。这关系到开源生态的可持续性。
Mimir v1 就是这一问题的实践回答。
方法要点
- 架构：采用层级推理模型（Hierarchical Reasoning Model，HRM），一种强调分层推理的架构。作者对比同架构的 HRM-Text 1B，说明架构本身不是新贡献。
- 数据：从零开始训练，使用 161 个数据集的混合，全部为可许可数据。论文强调后训练（post-training）数据的许可性，预训练数据的许可状态摘要未给出。
- 评估：在 20 个基准上测试，覆盖英语、数学与代码、丹麦语三类。丹麦语是重点方向。
关键结论
- Mimir v1 在 20 个基准上全面优于 HRM-Text 1B。两者架构相同，差异主要在数据来源与训练配方。
- 它以 1B 参数与 Qwen 3.5 4B、Gemma 4 E2B 等更大模型竞争。哪些基准胜出、哪些落后，摘要未给出。
- 丹麦语任务达到新最优。该最优的对比范围，摘要未给出。
- 161 个数据集的具体构成、语言占比、训练计算量，摘要未给出。
读后思考
这篇论文的价值不在“又出一个 1B 模型”，而在于提供一个可复现的合规训练范式。
- 低资源语言社区：丹麦语母语者规模有限，大厂不会专门优化。小团队可用合规数据做出实用本地模型，对其他小语种有借鉴意义。
- 学术研究与教育：高校实验室难以承担版权风险，该数据策略可作为教学案例。
- 企业私有化部署：全许可数据训练的模型，在合规审查上更顺畅。
作者公开模型权重，延续了该项目的开源立场。
局限与开放问题
- 许可边界：161 个数据集中，多少是开放许可，多少是授权但非公开？摘要未给出许可分类。
- 性能上限：1B 参数在复杂推理、长上下文、多轮对话上受限。摘要只给基准分数，未展示对话质量或失败案例。
- 丹麦语最优的时效性：模型迭代快，这一优势能保持多久未知。
- 预训练数据是否同样合规：摘要只说明后训练数据可许可，预训练数据来源未澄清。这是最关键的未决点。
- 跨语种泛化：丹麦语的成功能否复制到数据更稀缺的语言，仍存疑。