2022.08.20 加入,已入驻 912 天。
项目职责:项目描述: 使用 python 搭建的 scrapy 分布式爬虫系统 其中用到了绝大多数的 python 工具库 爬了伯乐在线的网文资料,知乎的问题和回答信息。其中在知乎上的使用()来模拟知乎登陆。爬取数据后保存到 数据库中为后续开发提供数据支持。 使用 django 开发搜索引擎后台系统。 分布式采用 scrapy-ea