大数据开发工程师

职责描述：[需要有数仓经验]

1、负责EMS和BMS大数据平台存储层的设计

2、负责大数据计算框架和环境的搭建

3、负责flink -job的编写

4、负责离线数仓的设计、编码 、测试等工作

5、负责实时数仓的设计、编码、测试等工作

6、负责解决大数据平台建设过程中的技术难点和性能调优工作；

7、有过数据治理经验，并能规划设计数据治理平台。

任职要求：

1、专业要求:计算机、统计学、数学等相关专业毕业5年以上经验；

2、熟悉Spring生态、Mysql数据库，熟悉分库、分表、分区；

3、熟悉大数据分布式架构技术理论，具有大数据整体系统架构设计和实战经验，熟悉CDH、HDP、TDH至少一款大数据产品，具备从无到有建设大数据平台经验者优先；

4、熟悉大数据组件的开发、搭建、维护以及性能优化；

5、较强的开发能力，必须熟练使用相关开发语言(Java/Python/Scala/Shell等)，熟悉大数据生态关系数据库和NOSQL数据库、Linux等相关知识，能够独立完成并指导初级开发人员完成大数据相关的技术实现和调优；

6、熟练Hadoop、Hbase、Hdfs、Yarn、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Azkaban、Phoenix、clickhouse等组件或技术，能阅读源码跟踪问题；

7、熟练掌握Spark、flink任意一种计算框架，掌握MapReduce计算框架原理，并有实际项目开发经验；

8、熟练掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技术和组件，熟练应用开发，必须熟悉复杂数据查询性能调优，包括[实时查询]和]离线批处理查询]，服务器和生态组件的参数优化。

9、做过实时数据仓库架构设计、并真实实现相关仓库落地应用

10、做过离线数据仓库分层架构设计、并完成相关代码编写。