岗位描述
1、数据体系建设: 负责海量多模态数据(图文、视频、音频、图表等)的清洗、对齐、去重与质量评估,打造多模态数据飞轮。 2、高效流水线搭建: 基于分布式计算构建 PB 级数据自动化处理流水线,利用 VLM/OCR/ASR 等技术实现自动化标注与 Caption 生成。 3、预训练与对齐数据优化: 探索数据合成(Data Synthesis)与进化算法,优化 Pre-train 及 SFT/RLHF 阶段的数据配比与质量。 4、数据治理与合规: 建立版权、隐私及安全性过滤机制,分析数据分布以降低模型幻觉,提升长文本/长视频理解能力。