项目职责：开发周期: 2018.7-2018.12 系统架构: Flume+Kafka+canal+spark streaming/flink+mysql+sqoop+hive+hbase +zookeeper+ Linux+kerberos 项目描述: 解决各部门资源数据需求响应不及时，开发产出效率低的问题。通过完善数据仓库的模型交付，使得上述综合提效。对游戏，交易，教育等相关业务数据表的梳理。并对数据仓库数据域划分，数据分层设计以及规范定义。 以及ODS数据接入，数据分层，流向，核心表的结构和定义。以及UDF函数编写，DWD层明细模型设计，DWS汇总模型设计。以及权限管理，并进行代码的开发。 技术流程: 1、完成数据域、数据、系统等各个方面的调研，产出调研文档，为数据模型设计提供 参考依据 2、完成数据域、数据架构分层、数据总线矩阵等框架制定，为数据模型设计提供规范 和约束 3、完成维度和指标的规范梳理和制定工作，为数据模型详细数据表结构设计提供参考依 据 4、完成数据逻辑模型和物理模型设计，使模型能进入代码开发阶段。 5、进行数据模型代码开发，并完成数据质量验证和测试 责任描述: 1、通过sqoop将数据同步到hive表。通过canal采集实时数据到kafka 2、spark streaming/flink消费kafka数据写入hbase,建立hive映射表 3、进行UDF函数编写，以及sql代码编写 4、主导数仓分层以及建模，数仓层级分配，物理建模和逻辑建模分析。 5、数仓组件搭建，技术落地实施，开发工具选型以及技术支撑。 项目四:

项目职责：开发周期: 2020.1-2020.6 系统架构: springMVC+Flume+kafka+SparkStreaming+Hbase+hive+sqoop+mysql 项目描述: 针对英魂之刃上广告页面进行埋点统计，通过埋点数据分析，监测、跟踪、记录、分析用户的行为路径，验证我们的广告推荐方式是否成功，从而: 1、对比设想的用户路径与实际用户路径的区别。 2、分析关键路径上的页面转化率，找到流失用户的页面。 3、分析到达关键页面的页面来源，分析关键路径到达的页面。 技术流程: 1、接收埋点请求信息接口 2、Flume收集日志到Kafka 3、Spark streaming 计算 4、入库HBase(hive映射) 5、今天推送昨天的统计数据 6、内部联调测试 7、hive数据导入Mysql,并在后台系统进行可视化处理 主要指标: 1、浏览量PV - 每打开1个页面记录1次。用户多次打开同一页面，浏览量值累计 2、访客数UV - 1天内同一访客多次访问该页面只计算1个访客 3、IP数 - 1天之内网站的独立访问ip数 4、跳出率 - 只浏览了这个页面便离开了APP的访问次数占总的访问次数的百分比。 5、平均停留时间 - 访客在一次访问中，平均打开页面的时长 责任描述: 1、数据接收: 编写接口接收前端埋点数据,收集到日志文件 2、数据清洗: flume将日志数据导入kafka后,使用SparkStreaming消费kafka数据进行数据清洗,去除无效数据 3、数据分析: sparkStreaming将数据导入Hbase,Hbase做hive映射,通过使用hql对数据进行分析,hive分多层数据(ods源数据-->dwd(按天分区)-->dwi(pv,uv数据)) 4、数据导出: 使用sqoop将hive中的pv,uv等数据导入mysql 5、数据可视化: 针对mysql的数据,开发后台页面,将数据可视化处理(表格,折线图等). 6、其他: Hbase的rowKey设计,查询方法编写(基于phonex) 项目三:

项目职责：开发周期: 2020.9-2021.5 系统架构: Flume+Kafka+Spark+Spark Streaming+HDFS+Hive+Redis+Zookeeper 项目描述: 本次项目主要是想通过对魔域客户/app端的用户信息进行收集，做用户画像，对用户进行打标签，针对高质量用户,精准的推送广告，增加用户粘性，提升用户留存，让他们能通过广告的推送,提升活跃度,刺激消费。 技术流程: 1、通过Java SDK将用户访问产生的数据发送到Nginx服务器，通过Flume将日志数据下沉到Kafka 2、Spark Streaming实时的拉Kafka的数据，对数据进行实时清洗，最后将清洗的结果存放到hdfs中 3、然后用Spark Core以及Spark SQL读取hdfs数据，开发符合业务需求的离线分析报表，以及用户画像，最后将报表结果和标签数据存放到MySQL数据库中，服务于推荐逻辑 责任描述: 主要负责Spark编码实现部分 主要需求指标包括: 1、使用SparkStreaming对kafka的数据进行清洗，主要包括一些关键字段的转义，过滤，切分，然后把数据结果存放到hdfs中 2、使用SparkCore将数据文件转化为parquet格式 3、使用SparkSQL统计各省份城市的用户数量 4、使用SparkCore统计不同维度的数据报表如: APP媒体分析，地域分析，渠道分析，设备分析等等三十多个报表 5、制定打标签的规范接口，使用SparkCore给用户打不同的标签，比如: 广告标签，APP标签，地域标签，系统标签，设备标签，联网供应商标签，搜索关键词等，130多个标签 6、使用SparkGraphX实现最终的用户标签数据的合并 项目二:

项目职责：开发周期: 2021.6-2021.12 系统架构: Flink+Flume+Kafka+Mysql+HDFS+Zookeeper+ Linux 项目描述: 为了更好的了解学员的学习情况和对知识点的掌握情况。我们设计并统计学员在教室的上课时常，以及学员和老师的互动数据。需要统计从上课开始截止到当前时间点的数据，对学员维度的数据，整个课程维度的数据进行统计，采用滚动时间窗口 + MapState 来计算，MapState中存在每个学生累积到当前的数据，窗口触发时，计算并输出整个课程和每个学生的数据。 技术流程: 1、通过flume把数据集中到kafka 2、Flink消费kafka的数据，进行实时计算轻量化处理 3、通过Flink将Kafka数据做标准化业务处理并写入到下游 责任描述: 1、通过flume将数据同步到kafka 2、Kafka集群管理(权限管理、密码认证、Topic副本及分区) 3、集群搭建及优化，进程监控