北航、东谈主大和九坤投资共同撰写的论文 《Scaling Laws for Code: Every Programming Language Matters》 整理而成。

在代码大模子（Code LLMs）的预检察中，行业内始终存在一种惯性想维，即把统统编程话语的代码都视为同质化的文本数据，主要关心数据总量的堆叠。然而，当代软件拓荒实质上是多话语夹杂的，不同话语的语法特质、语料界限和应用场景各异雄伟。若是忽略这些各异，模糊地应用通用的 Scaling Laws，时常会导致性能权衡偏差和算力糜费。

为了冲破这一黑盒，酌量团队浮滥了颠倒于 33.6 万个 H800 GPU 时，进行了跳跃 1000 次实验。酌量遮盖了从 0.2B 到 14B 的模子参数界限，以及高达 1T 的检察数据量，系统性地对 Python、Java、JavaScript、TypeScript、C#、Go、Rust 这七种主流话语进行了解构。这项使命的中枢孝敬在于设立了永别话语特质的 Scaling Laws，并据此提议了一套数学可解的最优数据配比决议。

论文：《Scaling Laws for Code: Every Programming Language Matters》

论文结合：https://arxiv.org/abs/2512.13472

图 1：论文提议的多话语 Scaling Law 与传统均匀漫步基线的 Loss 对比。蓝色弧线线路，基于本文表率优化的模子在相似算力下能抓续取得更低的 Loss)

话语特异性：Python 后劲雄伟，Rust 快速阻挡

图 2：七种编程话语各自孤立的 Scaling Law 弧线。不错看到 Python（左上）的弧线斜率更笔陡，而 Rust（右下）则更早趋于浮松)

协同效应矩阵：话语间的 “至亲繁衍” 与 “非对称伙同”

在践诺预检察中，咱们很少只检察单话语模子。那么，夹杂多种话语检察是否存在 “协同效应”（Synergy）？酌量团队构建了一个镇静的协同增益矩阵，量化了引入扶植话语对目的话语性能的影响。

实验发现，绝大巨额话语都能从多话语夹杂检察中获益，且收益大小与语法相似度高度关联。举例，Java 与 C#、JavaScript 与 TypeScript 这类语法结构高度相似的话语对，在夹杂检察时领略出极强的正向迁徙效率。

更道理道理的是，这种迁倏得时长短对称的。Java 是多话语检察的最大受益者，险些与任何话语夹杂都能大幅镌汰其 Loss，这可能是因为 Java 算作进修的面向对象话语，能从其他话语的范式中经受通用逻辑。而 Python 固然是代码领域的通用 “供体”（匡助其他话语普及），但其自己从其他话语取得的收益却相对有限，甚而在某些夹杂比例下会出现微弱的负迁徙。这一发现教导咱们，在构建语料库时需要雅致筹算夹杂战略，而非盲目地 “大杂烩”。

表 1：协同增益矩阵。红色越深代表扶植话语（列）对目的话语（行）的普及越大。Java 场所的行线路出它能从统统扶植话语中取得权臣收益)

跨话语对皆战略：并行配对激勉 Zero-Shot 才调

除了单话语生成，跨话语翻译（如 Java 转 Python）亦然代码模子的遑急才调。论文对比了两种数据组织战略：传统的 “立时打乱”（Random Shuffling）和 “并行配对”（Parallel Pairing）—— 行将一段代码与其翻译版块拼接在吞并个 Context 中输入模子。

实验末端标明，并行配对战略在统统模子界限上均权臣优于基线。这种战略践诺上哄骗了模子的长高下文窗口，构建了隐式的文档级对皆信号。更关键的是，这种战略激勉了模子在 Zero-Shot（零样本）方进取的泛化才调。举例，模子仅检察了 Python↔Java 和 Python↔Go 的配对数据，但在测试从未见过的 Java↔Go 翻译任务时，基于并行配对检察的模子领略出了惊东谈主的组合泛化才调。这讲解注解了通过构建以 Python 为舛误的平行语料，不错灵验拉皆不同编程话语的向量空间。

图 4：三种战略在跨话语翻译任务上的领略对比。绿色线条代表的并行配对战略（Prompt-based Concatenation）在各方进取均取得最低 Loss)

最优 Token 分拨指南：基于边缘着力的经济学

基于上述发现，论文提议了 “科学配比的多话语 Scaling Law”（Proportion-dependent Multilingual Scaling Law）。这不仅是一个表面公式，更是一套携带算力投资的活动指南。

在总算力固定的管制下，传统的均匀分拨并非最优解。最优战略应除名边缘着力最大化原则：

重仓高后劲话语：大幅加多 Python 的 Token 占比，因为它的 Scaling 指数高，参加更巨额据能带来抓续的性能爬坡。

均衡高协同组合：哄骗 JavaScript 和 TypeScript 的互补性，保抓两者竣事的比例以最大化协同增益。

削减早熟话语参加：妥贴减少 Rust 和 Go 的数据占比。因为它们阻挡快，过多的数据参加只会带来边缘收益的快速衰减，不如将这部分算力调换给更难学的话语。

实验考证线路，经受这种 “商量式分拨” 战略检察出的 1.5B 模子，在多话语代码生成（MultiPL-E）和翻译任务上，均巩固优于均匀分拨的基线模子，且莫得任何一种话语因数据减少而出现权臣的性能退化。

图 5：基线战略 vs 优化后的 Token 分拨决议。基于 Scaling Law 的建议大幅加多了 Python（蓝色）的占比，同期削减了 Rust（橙色）和 Go（青色）的占比)

回来与启示

这项使命是代码大模子领域一次遑急的 “去魅” 进程。它用详确的数据讲解注解，编程话语在模子检察的视角下绝非同质。

关于尽力于检察 Code LLM 的团队而言，这意味着数据工程的要点应从单纯的 “清洗与去重” 转向更宏不雅的 “身分拨比”。相识不同话语的 Scaling 特质（是像 Python 一样后劲雄伟，一经像 Rust 一样飞速足够）以及它们之间的协同相干，约略匡助咱们在有限的算力预算下，检察出详细代码才调更强的基座模子。这不仅是算法的优化，更是资源竖立效率的普及。