项目职责：责任描述 1,根据需要爬取的数据进行需求分析,分析目标网站的网站结构和一些反爬手段,通过 requests,scrapy-redis,xpath等技术手段编写爬虫程序进行内容抓取 2,想出反爬策略,处理登录,使用代理IP,携带cookie 3,采用scrapy-redis分布式框架实现爬虫集群,分布式使用Redis实现 4,存储Request请求和指纹集合,并且对各个Slave端爬虫实现集中管理和控制 5,利用Redis的高并发和1/0读写来实现高速下载 6,采用MongoDB做为本地数据库,将资讯新闻按所属大类,子类以及标题和内容,保存 在MongoDB中5同时每次下载前会检查请求指纹,防止重复下载,避免资源浪费 个人简历求职意向:测试工程师 项目经验

项目简介：公司新项目平台上需要大量的计算机编程试题，以提供给老师布置作业、及学生练习，方 便老师根据上课的内容给学生打分
项目职责：1、根据需要爬取的试题进行需求分析，该网站是需要线做题才能看到答案，而且抽取题 目时有去除已完成选项，所以需要利用 selenium 来实现。 2、携带新的牛客网账号来爬取，增加代理池，避免限制访问。 3、对每一次爬取的试题及答案进行数据清洗，将有格式问题的题目剔除。 4、最后将试题按照提前规定的格式保存到表格，方便开发人员将所有试题导入到数据库。

项目简介：根据业务需求，利用 selenium 模拟登录，爬取各类酒店网站的预定订单、 离店订单。
项目职责：1、爬取携程酒店的预定订单、昨日离店订单。 2、构建 USER-AGENT 池，使用随机代理，随机采用 IP。 3、去除 selenium 的重要特征，避免被检测为爬虫(反反爬)。 4、利用模拟鼠标滑动过登录滑块验证和利用超级鹰解决文字顺序点击验证。 5、数据清洗、对接 API，将清洗后的数据通过 API 上传数据到数据库。 6、使用 logging 模块编写监控程序进行爬虫监控，根据日期定向输出日志到 log 文件， 并通过邮件进行通知。