项目职责：项目架构:kafka、flume、flink、spark、hive、hbase、sqlserver、zookeeper、yarn、hue个人职责:【集群维护】-解决CDH集群下Hadoop及其他组件在测试过程中出现的各种问题异常和新环境配置问题等引起的不可用排调【实时报表】-产线iot传感器数据采集打包发送至kafka主题，Flink实时消费kafka数据进行计算。-使用rocksDB对中间计算结果进行缓存，实时变更，使用会话窗口将一个session的数据进行实时汇总-完成温湿度、工艺(加料指标、烘丝指标、掺配加香指标、指标预警等)、维修、设备指标等报表的统计【集群、服务搭建】-CDH集群管理服务搭建、基于CDH的Hadoop生态和第三方服务的部署和配置【离线统计】-基于sparksql对数据做ETL、加载、清洗操作-进行追缴、收缴比率和流水金额等经营主题类报表指标统计-包含"公司名称","物业区域","物业项目名称","物业项目编"等物业相关的项目应收实收账款、当年或本月累计统计金额、代付冲抵金额、环比同比统计金额-完成离线任务委托、调度任务管理

项目职责：项目架构:Finereport+Kettle+Postgresql+Redis+Jetty项目描述:荷德曼数据决策平台通过数据收集、数据维护、数据统计、数据分析、数据指导等五个方面对猪场提供精准化、高效化管理，对猪场的生产进行更加针对性的整改，促进猪场产能提升，为助推养猪产业发展梦想实现的新动力个人职责:【数据采集】-按照公司硬件部门自定义物联网通信协议方案，进行符合标准的采集程序开发，服务器开放监听端口将设备所产生的数据进行收集。并解密存储至数据库-为部分个别设备单独部署采集程序定时将各个设备所产生的数据统一上发至服务器完成现场数据采集【离线统计】-编写kettle脚本，按年、月、周、天完成各生产环节不同阶段所产生数据的etl和离线统计业务，按场景合理规划调度；对已开发脚本及表数据的准确及时性维护-按需求完成对应的软件功能开发和相关业务的数据接口开发【报表开发】-基于Finereport工具完成相应的移动和PC端的报表开发(填报、分析、决策)