大数据工程师

一、岗位要求

1.计算机相关专业本科及以上学历；

2.2年以上大数据产品或项目开发经验，精通Hadoop生态圈，精通一种流式计算框架（sparkstreaming或flink），熟练使用Spark，HBase、Hive、Kafka、Redis等；

3.精通SQL，熟练使用HSQL实现复杂数据处理逻辑，并具备数据处理调优的能力；

4.熟悉Linux开发环境，熟悉Linux的shell命令。

5.具有良好的逻辑思维能力和严谨的程序开发思想，具备独立问题排查与处理的能力；

6.良好的团队精神和合作意识，强烈的责任心，对工作有激情，良好的沟通能力，能吃苦耐劳；

7.有大数据项目或产品背景者优先；

8.有使用Spark SQL进行数据处理，并具有Spark SQL优化经验者优先。

二、职位描述

1.负责大数据平台的设计与应用功能开发；

2.根据项目或产品的需要，负责离线/实时的数据存储、加工和处理；

3.结合项目或产品涉及的具体业务场景，对数据进行清洗、计算与加工；

4.思路清晰，可快速响应数据处理的需求，评估并给出合理的解决方案，并采用合理的方式处理需求；

5.积极主动，能够与团队成员进行有效沟通，并完成数据处理结果的核对与对接；

6.负责前沿或关键技术的研究，完成服务性能优化；

7.完成上级交办的工作或任务。