2026-10-20 · 研究论文 · 重要性 ★★★
arXiv论文：采用16MB冻结词表为小型与三值语言模型减负
Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models 研究人员在预印本中尝试用一张16MB、512位编码的冻结词表替换小模型中的大型嵌入表；该词表由预训练嵌入经主成分投影和二值化得到，不含可训练参数。在Gemma架构上，冻结词表模型在LAMBADA、HellaSwag、PIQA上与可学习词表基线相当或更好；在三值BitNet b1.58上，完整模型在LAMBADA、PIQA上与浮点模型持平
一手来源：arXiv cs.CL ↗
← 返回资讯列表本站仅做聚合整理与来源标注，版权归原作者所有。