大数据开发工程师

招聘人数：1-3人 到岗时间：不限 年龄要求：不限 性别要求：不限 婚况要求：不限 【岗位职责】 1、负责搭建并维护公司大数据系统，Hadoop集群及Hbase/Hive集群生态圈应用开发，设计实现可支撑公司业务增长需要的平台延展开发，并优化数据库建设方案； 2、基于大数据平台的需求分析，开发实施，大数据部元数据管理平台开发，大数据后端数据需求分析和运维，日志分析系统开发； 3、负责整体提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高扩展特性； 4、根据业务需求，提出最优的技术解决方案；分解详细的开发任务，能配合其他项目制定开发计划、开发文档、开发流程图； 5、负责完成数据规则的定义、数据模型的建立、数据清洗、数据迁移等工作； 6、负责数据架构的规划，并制定实施标准和规范，确保得到有效的执行，同时保障数据以及文档的质量达到预定的标准。 【任职资格】 1、计算机相关专业，全日制本科以上，特别优秀的可适当放宽； 2、3年以上软件开发经验，精通Java开发，1年以上Hadoop相关开发经验； 3、熟悉 Hadoop 的生态组件，HDFS，YARN，Hbase； 4、熟悉 MapReduce，Spark，Spark Streaming，Storm 数据分析引擎至少一种的原理与使用； 5、熟悉 Hive，Impala，HAWQ，Drill，Stinger 数据查询引擎至少一种的原理与使用； 6、熟悉分布式系统、分布式计算系统的工作机制，能熟练掌握相关核心技术的工作机理；具有大规模数据平台，高并发大型系统，大数据等架构设计和开发经验； 7、精通 Java，能够分析与排查组件报错原因与组件的业务逻辑 8、具有良好的沟通、组织和领导能力，优秀的分析问题和解决问题的能力，对解决具有挑战性问题充满激情，具备强烈的进取心和优秀团队合作精神； 9、有 Hadoop 社区开发经验的优先；