岗位描述
1. 负责企业数据仓库及实时数据体系建设,独立承担复杂业务主题的数据建模、加工与交付。 2. 负责 ODS、DIM、DWD、DWS、ADS 等数据分层建设,持续优化数据模型与数据链路。 3. 负责 DataWorks 等数据开发平台的任务开发、调度配置、发布运维及规范建设。 4. 基于 Doris / SelectDB 进行复杂 SQL 开发、表模型设计、性能优化及生产问题排查。 5. 使用 Flink 开展实时数据开发,负责实时同步、实时计算、状态管理、Checkpoint、任务稳定性及性能优化。 6. 负责 Kafka、CDC 等实时数据链路的开发与问题排查。 7. 负责核心数据链路的数据质量、稳定性、任务 SLA、异常处理及补数机制建设。 8. 参与数据开发规范、指标口径、元数据、血缘及数据治理体系建设。 9. 支持数据产品、数据 BP 及业务系统的数据需求,并主动推动性能、质量和架构问题优化落地。 1. **5 年以上**数据开发、数仓开发或大数据开发经验,有中大型数据平台或企业数仓建设经验。 2. 具备 **TB 级以上数据仓库或数据平台实际生产经验**,有千万级/亿级明细数据的加工、计算及性能优化经验。 3. 精通 SQL,能够独立完成复杂 SQL 开发、执行计划分析及性能优化。 4. 熟悉数据仓库建模方法,能够独立完成事实表、维度表及主题模型设计。 5. **熟练掌握 Apache Flink,并具备实际生产项目经验**,理解并行度、状态管理、Checkpoint、Watermark、窗口、反压、容错及性能调优机制。 6. 熟悉 Flink SQL / DataStream API,具备实时计算、实时同步或 Flink CDC 项目经验。 7. 熟悉 Kafka,理解 Topic、Partition、Consumer Group、Offset 等核心机制,并具备实际问题排查能力。 8. 熟悉 Doris / SelectDB,理解分区、分桶、数据模型、Join、Compaction、数据导入等核心机制。 9. 熟悉 DataWorks 等数据开发平台,具备复杂任务依赖、调度、发布及生产运维经验。 10. 熟悉 MySQL 等关系型数据库,具备数据库性能及生产问题排查能力。 11. 熟悉 Java 或 Python,具备一定工程开发能力。 12. 具备较大规模离线或实时任务开发经验,能够处理数据倾斜、Join 性能、资源争抢、反压、Checkpoint 超时等常见问题。 13. 具备较强的数据质量意识、稳定性意识、问题定位及跨团队沟通能力。 14. 能够独立负责复杂项目或核心数据链路。 ## 优先考虑 - 有高并发数据写入、实时同步或大规模数据链路稳定性治理经验。 - 有 Flink CDC、实时数仓、实时指标体系建设经验。 - 有 Flink 大规模生产任务调优及故障排查经验。 - 有 Doris / SelectDB 生产环境实战经验。 - 有复杂 SQL 性能治理、生产故障排查及资源优化经验。 - 有数据质量、元数据、血缘、指标体系建设经验。 - 有零售、快消、销售、供应链、财务等业务数据经验。 ## 核心技术栈 **SQL / Flink / Kafka / DataWorks / Doris / SelectDB / MySQL / Java / Python 职位类别: 社会招聘