arXiv 论文提出低比特 N-Gram 嵌入压缩方法：表内存最高减少 75%

Low-Bit N-Gram Embeddings for Language Models 针对新型语言模型引入超大 N-Gram 嵌入表导致显存开销剧增的问题，研究人员系统测试了低精度量化方案。在 nanochat、Llama、GPT-2 系列从零训练的模型上，4-bit 表可节省约 75% 的表内存并保留超过 99% 的验证损失收益；在 DeepSeek-V4.1-Flash 与 Qwen3.8-Flash-Next 上表内存节省 47% 至 55%，困惑度升幅低于 1.2%。