项目职责：负责和产品经理进行需求沟通，将产品需求合理转换为技术需求，综合考虑技术和产品体验，给出最优方案。 负责Web系统整体设计和选型，负载均衡容错（Http层采用Nginx，数据库采用主从读写分离，dbproxy进行读负载均衡，Keep-Alive实现主主灾备） 负责数据库表格设计、做垂直切分、水平切分。 负责C端应答逻辑处理，主答案+推荐问题+用户反馈处理 负责用户订单列表，最近浏览产品列表 负责应答历史数据检索，通过ElasticSearch实现上亿级中文数据全文检索 负责问答配置模块。 负责后端算法模型训练、上线、以及AB测试模块。 负责每天千万量级的聊天数据离线清洗和入库 python Hadoop Spark 搜索社区产品 项目背景: 知识类社区产品，主要提供词条解释，知识问答等数据，视频推荐等功能。 项目技术栈: Nginx Lighty PHP bingo Mysql dbProxy Python Shell Hadoop Spark。 负责数据抓取，包括文本、标签、图片抓取。 负责产品后台数据管理系统，词条分类展现模块。 负责数据标签管理，标签分类模块。 负责文本数据后台快速检索 负责图片以及视频的标签数据挖掘，使用分布式系统，从每天上亿的日志中挖掘多媒体数据的文本标签权重