项目职责：责任描述: 1.集群搭建及日常维护; 2.网页的解析; 3.hbase数据存储; 4.Storm实时处理日志信息。 软件环境: Centos Linux6.5+JDK-1.6+Hadoop-2.4.0+ Storm0.9.3+kafka0.8.2+ Zookeeper3.4.6+mysql5+Flume1.5.2+habse0.98.9 开发工具: Eclipse+SecureCRT+UltraEdit 项目描述: 该系统主要通过分布式hadoop集群处理抓取各大电商网站的数据,建立索引,在前端展示以及商品价格、 性能的比较。项目主要用httpclient抓取网页数据,htmlcleaner对数据解析。将解析后的数据存储到hbase中 以及redis中。用solr对数据建立索引。针对于数据的爬取能力,用flume收集日志,kafka对数据的订阅, storm及时对日志信息处理,处理后的结果存储到mysql中。

项目职责：1. 详单云集群的维护,整个集群只有avatarhadoop以及hbase组件,版本比较老,其中主要做一些监控脚本 1. 查询库集群的维护,主要维护hadoop、yarn、hbase、hive组件 新集群的一些测试、维护 1. 华为FusionInsight新大数据平台做hbase组件的功能测试以及维护

项目职责：1. 大数据应用开发，极速开票ETL设计、开发(主要是用hive做数据分析); 极速开票客户端上传发票日志数据到kafka,用flume消费kafka数据写入到hive日表.针对日表定时跑ETL任务,写入到mysql。 1. 发票数据仓库建设以及对外接口开发(主要是用hbase作为发票仓库存储,netty提供对外接口查验功能); 发票仓库是对全公司所有采集到的发票数据归集,整理。经过加工整理的发票数据提供给各个业务线以及图像识别 1. 财税助手 主要使用kafka收集数据,es建立维度查询索引,hbase作为数据源 财税助手项目面向各个企业用户提供财税相关的业务处理,如报税、申税、发票查验、数据统计等;数据来源通过客户端采集,上传到kafka,通过消费kafka的数据,双写hbase以及es。Hbase存储整张发票数据,es建立部分字段索引提供检索。 1. BI项目中各个组件的安装、维护与使用,主要以hive、mysql为数据源、presto作为计算引擎,metabase为应用展示 此项目为满足运营各种不同的需求报表,数据源主要是以极速开票日志数据为主,用开源的metabase做应用报表。 1. 新项目BI系统的开发,其中负责将sql转为elasticsearch的可执行查询语句 在该项目中主要用mosql-translator做二次开发,满足常用的查询,分组,条件,分页。 1. 广告日志系统中,流式计算方式flink对pv、uv以及曝光量的统计 1. 智能编码项目中,将kafka的数据消费,对其中的日志信息进行编码库的校验,及校验后的数据入库到hbase,提供分析 1. 极速开票集群以及大海集群的维护 1. 大海集群使用sparkSQL以及spark根据运营提供的需求统计发票数据各个维度的数据需求。

项目职责：2、负责大数据技术选型以及安装部署ambari 3、数据展示大屏后端开发，主要展示卫星对比，值班人员在线值班情况，各部队的兵力对比情况等功能模块。 4、数据源引接到平台，制定数据引接的方式

项目职责：2、flink+hbase实时分析开门红各个地域保费的分析 3、flink+hbase实时分析以及落地前端页面埋点数据的分析 4、基于玳数云平台API接口的开发