2022.11.15 加入,已入驻 569 天。
2022.11.15 加入,已入驻 569 天。
项目职责:内容: 项目描述: pc 端项目爬虫流量持续增加,且现有反爬逻辑过于老旧,无法灵活处理现有爬虫。 技术栈: node.js、egg.js、redis; 责任描述: 1. 整理现有爬虫特征,输出新的反爬架构脑图; 2. 为避免误伤流量增加灵活配置逻辑; 3. 防止逻辑被快速破解增加探活逻辑; 4. 确保反爬逻辑适配性,能够集成到其他前端项目中; 业绩: 1. 新的反爬功能增加了机器人验证逻辑,有效避免了误伤真实访客,有效拦截率可达到90%; 2. 项目以 egg 中间件配合 node 服务的形式开发,降低了耦合性,同时也具备了快速部署到其他项目中的能力; 3. 灵活性、可拓展性高,同时针对不同的用户可实时调整反爬策略;