arXiv论文：MirrorMoE提出自适应剪枝缓解现代MoE路由探索困境

Rethinking Routing Exploration in Modern Mixture-of-Experts 论文指出，现代MoE架构中共享专家与细粒度专家切分并存时会出现探索困境，共享专家会减少Token表征的多样性从而限制路由探索空间。为此提出的MirrorMoE通过Token自适应抑制不必要专家来缩减探索空间，在不同模型规模上均验证了性能提升。