LLM 预训练数据处理流水线

大模型训练前，原始数据要经过一整套处理才能"喂"给模型：从网页抓取、正文提取、语言识别，到质量过滤、去重、内容安全审查、版权核对，再到数据配比、分词器训练和序列...