职责描述
1、负责企业级数据平台的搭建与优化,包括数据采集、存储、计
算、调度等核心模块(如基于Hadoop/Spark/Flink构建离线&实
时数仓);
2、设计高可靠的数据ETL流程,处理结构化/非结构化数据(
志、设备数据等),保障数据质量与时效性;
3、开发实时数据管道(如Kafka+Flink实时),支持业务实时决
策;解决流处理中的乱序、窗口计算、状态管理等技术难题;
任职要求
1、本科及以上学历,3年以上大数据开发经验,具备独立项目开发能
力;
2、熟练使用Java或Python编程语言,具备扎实数据结构和算法基基
础;
3、掌握大数据技术栈(Spark/Flink/Hadoop/Yarn)、数据存储技才米
HDFS/Doris、消息队列Kafka等开源组件;
|
|
