项目职责:项目简介:利用分布式网络爬虫技术,实时监控,更新目标网站的用户评论,并进行数据清洗,数据标准化等,方便后续的,数据映射,数据关联,数据可视化,进行用户情感分析或用户行为分析或用户画像描述,。技术栈:python+scrapy+redis+rabitMQ+Mysql+Elasticsearch+动态ip+去中心化任务调度