arXiv论文：面向连续扩散语言模型的LangDiT架构研究

Designing Transformers for Continuous Diffusion Language Models 针对现有连续扩散语言模型直接沿用因果LLM或图像DiT架构的适配问题，研究人员提出了Language Diffusion Transformer（LangDiT）。该架构结合特征与QK归一化、更宽的噪声调节以及置信度门控自条件机制，在OpenWebText等基准上显著降低了生成困惑度。