arXiv论文：揭示MoE模型Prefill阶段削减路由专家的短答F1损失来源

Where Prefill Expert Reduction Hurts MoE Models: A Few Prompt Tokens Carry Most of the Short-Answer F1 Loss 研究论文通过Token、层和注意力路径干预，定位MoE模型在Prefill阶段减少路由专家造成的短答问答F1损失。在专家数减半时，三个模型家族的损失主要体现为答案形式：模型仍能找到答案，但回答变得过于简短。Qwen3-30B-A3B的损失集中在答案前两个chat template token，DeepS