英伟达联合AI4Bharat将开源2.8万亿Token印度语预训练数据集及生成流程

Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline 英伟达与印度理工学院马德拉斯分校AI4Bharat实验室即将发布Nemotron-pretraining-Indic-v1数据集，规模达2.8万亿Token，涵盖印度宪法列明的22种语言。该项目同时开源了GPU加速的数据生成流水线，包含提示词工作流与质量检测模块，支持开发者针对自有语料二次生成数据。