Yhh大数据开发工程师,Go

人才库人才详情

我擅长Go

Yhh

产品研发/Go

个人优势

暂无

工作经历

鼎天智(北京)大数据科技有限公司

java+大数据开发2017.08 ~ 2019.03

①参与用户画像与推荐模块业务开发 ②负责数据平台商品数据分析相关数据离线、实时代码开发 ③负责用户行为数据的数据抽取、清洗、保存，及相关报表输出 ④开发及维护认知服务（数据 API 接口及第三方数据回调接口）

广州荷德曼农业科技有限公司

数据开发+BI工程师2019.03 ~ 2020.06

①负责公司数据产品开发及运维工作，对数据质量及产品可靠性负责。 ②负责数据平台数据分析、数据处理等工作。 ③负责 BI 报表及数据接口和定时任务开发工作 ④运用合适的技术方案支撑公司各种数据处理场景。

广州迅易科技有限公司

大数据开发工程师2022.09 ~ 至今

在职期间，负责碧桂园（物业生活服务管理）+ 青岛卷烟厂（实时大屏）+ 日立电梯信息技术大数据项目开发工作包括如下内容： ①完成CM管理CDH大数据服务和Hadoop生态服务的集群化部署 ②负责生产行为数据的数据抽取、清洗、保存，及相关报表输出，包括离线（4T+）及实时（单批 5400W+）ETL ③负责数据平台生产分析相关数据离线、实时代码开发 ④参与数据运营平台相关技术方案设计，调研、测试、形成项目交付文档

教育经历

西安思源学院

计算机科学与技术，本科2013.09 ~ 2017.07

项目经历

日立-HITACHI

2021.06 ~ 2021.09

项目职责：项目架构:spark、yarn、hbase、redis、sqlserver、zookeeper、az、hue个人职责:【数据迁移】-TB级数据迁移,Hbase新旧集群数据表跨服务器迁移恢复【Hbase优化】-Hbase旧集群版本较低，部分API等服务过时影响效率。由0.99.2升级至2.1.0版本，并对原代码API进行修改-Hbase数据存储优化。预分区、Rowkey合理化规则设计-读取hbase修改rowkey后以Hfile格式写到hdfs，再以Bulkload方式批量写入Hbase新结构表各个分区【离线报表】-ERP系统将各城市日立电梯运行的门机设备及日常使用寿命等数据进行采集，按时写入hbase数据库。-Spark读取Hbase数据进行离线分析，将计算结果先写入Redis做缓冲，最终写入SqlServer-完成ELS、CA、主、副门电梯运行轨迹门机预诊断-电梯运行电流、电压不同负载运行、使用统计-对异常特殊数据进行标记，并关联明细

查看详情

青烟-实时工艺大屏、碧桂园-天石大数据平台

2021.09 ~ 2022.03

项目职责：项目架构:kafka、flume、flink、spark、hive、hbase、sqlserver、zookeeper、yarn、hue个人职责:【集群维护】-解决CDH集群下Hadoop及其他组件在测试过程中出现的各种问题异常和新环境配置问题等引起的不可用排调【实时报表】-产线iot传感器数据采集打包发送至kafka主题，Flink实时消费kafka数据进行计算。-使用rocksDB对中间计算结果进行缓存，实时变更，使用会话窗口将一个session的数据进行实时汇总-完成温湿度、工艺(加料指标、烘丝指标、掺配加香指标、指标预警等)、维修、设备指标等报表的统计【集群、服务搭建】-CDH集群管理服务搭建、基于CDH的Hadoop生态和第三方服务的部署和配置【离线统计】-基于sparksql对数据做ETL、加载、清洗操作-进行追缴、收缴比率和流水金额等经营主题类报表指标统计-包含"公司名称","物业区域","物业项目名称","物业项目编"等物业相关的项目应收实收账款、当年或本月累计统计金额、代付冲抵金额、环比同比统计金额-完成离线任务委托、调度任务管理

查看详情

荷德曼数据决策平台

2022.03 ~ 2022.06

项目职责：项目架构:Finereport+Kettle+Postgresql+Redis+Jetty项目描述:荷德曼数据决策平台通过数据收集、数据维护、数据统计、数据分析、数据指导等五个方面对猪场提供精准化、高效化管理，对猪场的生产进行更加针对性的整改，促进猪场产能提升，为助推养猪产业发展梦想实现的新动力个人职责:【数据采集】-按照公司硬件部门自定义物联网通信协议方案，进行符合标准的采集程序开发，服务器开放监听端口将设备所产生的数据进行收集。并解密存储至数据库-为部分个别设备单独部署采集程序定时将各个设备所产生的数据统一上发至服务器完成现场数据采集【离线统计】-编写kettle脚本，按年、月、周、天完成各生产环节不同阶段所产生数据的etl和离线统计业务，按场景合理规划调度；对已开发脚本及表数据的准确及时性维护-按需求完成对应的软件功能开发和相关业务的数据接口开发【报表开发】-基于Finereport工具完成相应的移动和PC端的报表开发(填报、分析、决策)

查看详情