项目职责：数据存储: 1）由于任务分配的数据量比较大，mysql 等传统数据库不能满足需要，对分布式数据库进行预研，选择 tidb 作为在线系 统的数据库 2）后台即时查询分析系统采用 greenplum 数据库，满足大数据量的情况下，也满足查询性能 数据分析: 1）对用户的聊天纪录文本信息进行分词，提取用户爱好特征，加上用户的年龄，职业，性别，地域，婚否，专业等特征进 行分析 2）用基于用户的协同过滤算法分析出潜在用户的爱好，把该用户推荐给相关的微商 3）用基于内容（爱好）的协同过滤算法分析出爱好之间的关联性，把关联性比较大的爱好客户推荐给相关微商 4）尝试用基于模型的协同过滤算法进行推荐，用 k-means 进行用户或内容的聚类，把聚类用户群评分高的内容推荐给用 户，也用逻辑回归和朴素贝叶斯对用户进行分类，再把用户群评分高的内容推荐给用户 5）用关联推荐算法 apriori, fp-tree 进行推荐的研究 6）在上面的工作中，进行了数据预处理: 异常值处理，缺失值处理，分布可视化分析，特征提取和选择: 主要包括无效特 征的去除，年龄字段的离散化，onehotencoding, 基于 boosting 的 ababoost , gbdt, xgboost 和基于 bagging 的 随机森林 rf 等集成算法进行模型训练，取得了比较好的效果

项目职责：1） flink 通过 source 消费 mq 数据，按照 eventTime 模式进行处理，用业务时间生成水印 watermark 2） filterFunction 过滤数据，然后通过 keyBy 进行分组，timewindow 对商品做滑动窗口 3） 用 Flink cep 过滤符合复杂模式的事件，用户下单未支付的提醒，提高支付转化率 4） 通过 aggregateFunction 进行聚合操作，该接口可以提前聚合掉数据，减少 state 的压力 5） processFunction 作为定时器，通过它的 time 功能收齐数据，进行排序或统计等操作，然后用 listState 来存储 消息，保证数据的完整性 和一致性，通过 listSate 的 chechpoint 机制，保证 exactly-once 语义 6） 通过 sink 连接 hbase 或 es 输出最后的结果

项目职责：1） 对电话销售记录（客户年龄，职业，公司性质，公司大小，最后一次联系交流时间，2 年内联系次数，平均交流时长， 最后一次交流时长，是否订购产品 等）进行数据清洗，去掉一些数据不全的数据，对只有 2 个值的数据通过 LabelEncoder 进行处理，对非数值型的数据进行 OneHotEncoder 独热编码处理 2） 后选择 kNN 模型、逻辑回归模型和决策树模型进行交叉验证，roc_auc 作为评价指标，最后得出决策树得分比较高， 就选择决策树模型进行分析 3） 后发现数据的量纲不一样，通过 MinMaxScaler 进行归一化处理，发现归一化的数据效果更好，就重新进行训练 4） 最后通过分析发现公司大小，公司性质对购买产品影响比较大，用 tableau 做成分析对比报表，提供给上级部门，建 议决策层重点对这样的客户进行优惠打折销售 5） 通过模型对现有电话数据进行分析，发现订购产品潜力比较大的客户，提供名单给上面领导部门，供其他产品参考 6）用到的技术: python + sklearn