项目职责：流式计算产品 项目介绍: 该产品是以 Flink 为底层技术框架封装起来的产品，类似于阿里云的实时计算产品，主要目 的就是帮助客户解决数据时效性的问题,能够及时的通过数据的变化感知到自己的服务是否存在异常， 或通过数据形成的预警指标监控业务流程。 项目框架: Hadoop、Kafka、Mysql、Flink、ElasticSearch、ZooKeeper、Prometheus 负责内容: 1.负责流式计算产品的整体架构。 2.负责流式计算产品团队的管理。 3.负责流式计算产品发展方向，功能迭代等事项。 4.负责流式计算产品各个项目的支持。 项目成果: 1.产品被国内多金融机构、通信行业行使用，且反响不错。 2.公司第一个大数据产品。 3.帮助多家金融构建是自恨的实时数仓服务。 4.构建预警指标帮助企业提升服务异常的处理效率。 项目二

项目职责：项目介绍: 因业务数据量越来越多，导致业务侧的数据统计的耗时越来越长，长时间的统计耗时影响了 整体的系统性能，因此，本由业务侧做的实时流水统计、实时司机完单数、服务时长等统计需求交由大 数据部门进行统计。 实时计算平台由此而生，且实时计算不仅仅适用于各个统计业务的维度，也使用 在业务系统的监控，对账等功能的使用中，能够及时的发现问题，以便减少未知操作给公司带来的损失。 实时数仓是 DathHub 项目框架: DTS、DataHub、DataWorks、Blink、Mysql、Redis 技术描述: 1、调研、搭建阿里云服务实时计算服务。 2、搭建 DTS 从 RDS 至 DataHub 的流程通道。 3、创建 DataHub 项目与 topic。 4、构建实时计算服务的数据源。 5、自定义实时计算的 sink 源。 负责模块: 1、编写 FlinkSql 进行业务数据统计，完成产品需求预期. 2、编写自定义 Sink 数据源,满足业务需求，且阿里未提供的数据源参数。 3、编制实时计算任务报警阈值，保障相应的负责人能够及时的发现问题，及时排查和解决问 题。 4、实时计算代码调优、参数调优保障任务能够达到业务预期，增加任务运行时的稳定性以及数据 的及时性和可靠性。 5、负责司机流水、司机服务市场、司机订单量等多个模块业务。 项目三

项目职责：项目介绍: 由于公司的上游业务含多个渠道，每个渠道对下游服务侧的投诉率要求不一致，因在高德渠 道的投诉率一直居高不下，导致高德渠道测对公司发出了警告，且通过数据统计分析发现，在高德投诉 的投诉订单内，有 60%的投诉源于绕路投诉，因此，为减少绕路投诉率，由原先的申请高德的导航路 线改为自己的线路推荐+高德的导航路线推荐，通过自身的推荐的导航路线减少用户的绕路投诉。 项目框架: DataWorks、Redash、DTS、Spark、MaxCompute、OSS、TableStore 技术描述: 1、构建离线数据同步流程。 2、构建 DTS 数据同步流程。 3、使用 SparkMLlib 进行模型训练。 4、把模型保存在 OSS 里面。 5、使用 Spark 进行模型加载和推荐。 6、把相关用户的推荐数据保存至数据库。 负责模块: 1、利于欧式距离计算方式加上需求指定的误差来计算两条起始与目的地相同线路的相似度， 并用用户给司机的评分作为该线路的评分。 2、构建 DataWorks 离线同步拉取 TableStore 里的历史订单线路数据。找出相应用户的所有 订单历史记录。 3、构建 DTS 至 DataWroks 的投诉业务数据同步。 4、使用交替最小二乘法 ALS 来计算用户与线路之间的推测评分，并训练成模型保存在 OSS 里面，以便于后面使用的时候直接加载算法模型，并每天一训练，来获取模型的评分，如有更好的 模型，则用新模型替代旧模型进行推荐预测。 5、加载训练好的模型进行线路推荐，并把推荐的线路保存至 TableStore 库里，供业务侧调取， 如果是新用户和新路线时，则直接调取高德的推荐路线，不走自己的推荐路线。 项目四

项目职责：项目介绍: 该项目是公司利用阿里云大数据生态搭建的大数据离线框架，主要负责公司的各种数据统 计、数据分析、业务预警等需求，保障业务侧的数据统计和服务端的数据展示以及 AI 团队的数据收集 等工作，整体来说，离线数仓是数据中台下面的结构化关系型数据存储，承担着数据的统计、ETL、数 据同步、数据分析的一个综合性服务平台。 项目框架: DTS、TableStore、MaxCompute、Redis、DataWorks、日志服务、Redash、Clickhouse、 Hologres、QuickBi、FineBi、Spark 技术描述: 1、搭建离线数仓架构。 2、搭建 DTS 数仓数据同步流程。 3、数仓建模设计。 4、数仓数据治理。 5、数仓监控阈值制定。 6、数仓离线同步、实时同步开发。 7、数仓逻辑 Sql 编写、UDF、UDAF 编写。 8、OLAP 系统搭建。 9、图形化界面展示搭建。 负责模块: 1、搭建 DTS 数据同步流程、保障数据从 RDS 云数据库道 DataWorks 数仓平台的数据准确 性、并加以对 DTS 数据传输加以监控，增强 DTS 数据传输的可靠性，以便于出现问题能够及时 排查。 2、搭建 DataWorks 的整体数仓架构，并设计数仓层级，保障数据的资产价值，使用 DataWorks 能够清楚的了解到数据的依赖情况，增加了数据的可治理性，减少不稳定因素的发生概率。 3、搭建 DataWorks 业务流程的任务监控，在任务失败、超时等问题情况下，能够即时的通知 到相关责任人，并尽快的排查问题，增加数仓的可靠性。 4、使用 Sql 去维护日常的业务统计、业务分析等模块，配合其他部门同学的数据需求。 5、使用 DataWorks 的离线同步和实时同步完成在不同数据库之间的数据传输，保障业务侧能 够及时的获取有效数据。 6、搭建 OLAP 系统，保障 BI 部门的同学能够以较短的时间获取最新的数据，相比以往的查 询时间上提升了数倍的效率，增加的人效。 项目五

项目职责：项目介绍: 使用阿里云的日志服务、利用日志服务的 ETL 功能进行日志过滤，但是随着日志数 据越来越庞大，导致日志的 ETL 功能出现的数据延迟，且延迟时间甚至能够达到小时级别， 此情况已经严重的影响到数据统计的时效性、准确性，数据量大的时候光拉取数据就需要七八 个小时，影响到 BI 的数据分析展示。且数据的 ETL 的速率依赖于数据分片，数据分片越多、 ETL 的速度就越快，但是一个分片的数量是需要花钱购买的，这部分花销已经超出预支，所以 需要对日志采集方式进行优化，以达到减效增能的目的。 项目框架: 日志服务、logtail、DataWorks 技术描述: 1、调研整个日志采集的流程。 2、logtail 过滤器设置。 3、DataWroks 离线同步任务分解。 负责模块: 1、 调研得知日志仓库是通过 logtail 收集日志发送至日志服务系统的，且询问过阿里 相关人员，logtail 支持同份文件发往不同的地方，并且 logtail 支持过滤，由此，我们就 可以尝试把 日志服务的 ETL 条件改为 logtail 的过滤条件，这样的话就不需要经过日志服 务了，也省下了上述中的分片费用，减少数据延迟，经试验得知，此理论可行，且目前一 直使用。 2、 因为一天的日志量过大，且遇到高峰更为庞大，所以就把天任务拆成小时任务， 一小时一 拉去，规避了一天任务要拉去七八个小时的问题。