​ PC-1作为高动态范围的平滑能力度量。

​ 许多现有基准的动态范围有限：对于大模型很快饱和或者对于小模型完全随机。相反，PC-1是能够跨不同量级来比较LM的平滑能力度量。这允许我们在单一且统一尺度上来比较不同来源且能力极度不同的模型，如上图8所示。本文认为PC1的高动态范围使其更适合作为预训练的优化目标。

​ 使用PC-1衡量训练数据效率。

​ 由于PC-1能够作为统一的能力度量，那么其能够作为跨不同模型族比较计算效率的好方法。在图8中绘制了PC-1与log-FLOPs的关系，发现大多数模型在"训练计算-能力"曲线上都有清晰的模式。Phi模型在计算效率时是显著的异常点，这可能是因为没有考虑其用于生成训练数据所消耗的额外推理FLOPs。

​ Post-training技术与模型族的交互。

​ 可以进一步分析post-training技术和模型族之间的交互，确定出哪些模型族能够从这些技术中受益最大，以及受益的起始点。上图9是不同模型族之间CoT的影响，可以发现模型都可以从CoT中受益，但是Phi再次成为异常值：其从CoT受益要比其他模型更早，但是速度慢很多。类似地，在代码数据上训练的DeepSeek-Coder也展现出了较早的过渡和较慢的增速。Phi/DeepSeek-Coder相较于其他模型的独特行为也表明了预训练数据对于模型scaling行为的影响。
益的起始点。上图9是不同模型族之间CoT的影响，可以发现模型都可以从CoT中受益，但是Phi再次成为异常值：其从CoT受益要比其他模型更早，但是速度慢很多。类似地，在代码数据上训练的DeepSeek-Coder也展现出了较早的过渡和较慢的增速。Phi/DeepSeek-Coder相较于其他模型的独特行为也表明了预训练数据对于模型scaling行为的影响。