岗位描述
岗位职责:1. 负责大数据底座平台架构搭建与迭代,建设流批一体的数据基础设施。2. 基于 Flink 开发、调优实时计算任务,保障实时数据链路稳定运行。3. 对接客户,独立完成数据接入需求沟通、技术方案输出、POC 验证与项目交付。4. 基于 AWS 亚马逊云搭建海外数据管道,处理跨境数据链路、合规及运维问题。岗位要求:1、学历/专业: 本科以上,计算机科学、软 件工程相关专业2、知识/技能:1) 精通 Apache Flink,熟悉状态、checkpoint、反压调优,具备大量实时任务落地经验。2) 熟悉大数据生态组件,掌握数据湖、消息队列、离线计算、调度等相关技术,包含不限于hadoop/spark/flink/kafka/hive/doris/iceberg等。3)熟悉 AWS/天翼云数据服务,有海外云数据湖、跨地域数据链路搭建经验。4)熟练使用 Java/python/shell,掌握 SQL,具备 Linux 环境下线上问题排查能力。5)了解数据治理、数据质量与海外数据合规相关基础要求。6)有实时/离线数仓搭建经验者优先。7)有AI Agent开发优先。3、工作经验: 3年以上4、语言: 英语4级以上