2022.05.31 加入,已入驻 730 天。
2022.05.31 加入,已入驻 730 天。
项目简介:根据业务需求,利用 selenium 模拟登录,爬取各类酒店网站的预定订单、 离店订单。
项目职责:1、爬取携程酒店的预定订单、昨日离店订单。 2、构建 USER-AGENT 池,使用随机代理,随机采用 IP。 3、去除 selenium 的重要特征,避免被检测为爬虫(反反爬)。 4、利用模拟鼠标滑动过登录滑块验证和利用超级鹰解决文字顺序点击验证。 5、数据清洗、对接 API,将清洗后的数据通过 API 上传数据到数据库。 6、使用 logging 模块编写监控程序进行爬虫监控,根据日期定向输出日志到 log 文件, 并通过邮件进行通知。