甜薪工场甜薪工场
甜薪工场
工作者接单雇主招人
查看供给方

主流媒体平台数据爬虫系统

Python爬虫工程师2021.10 ~ 2022.12

项目职责:内容: 1、负责抖音、B站、微博等主流社交媒体平台,与索尼相关产品的用户评论数据的爬取; 2、负责各主流社交媒体平台的各大 KOL 的动态数据爬取及其发布作品的评论数据爬取; 3、分析上述平台的网站结构和 HTTP 数据包的收发机制,制定爬虫策略; 业绩: 1、完成入库数据500多万条; 2、 编写爬虫脚本10套; 3、 scrapy 框架使用5套; 4、 JS 逆向攻取网站项目4个;

其他项目

智能拆带机管理系统
软件工程师
2019.01 ~ 2020.03
项目职责:外设配置→读码器的配置、IO卡的配置、伺服马达的配置、RFID的配置; 流程: 读码器读取二维码信息,通过HTTP协议,将 二维码信息上传至上位系统,得到反馈指令,通过IO驱动伺服马达动作。RFID识别配套设施。 完成整个操作流程的设计和流 程图绘制; 完成业务逻辑的编写,功能的调试,日志的保存;
查看详情

相关职位

我擅长2年Python数据采集工作经验,熟悉各种主流的数据采集技术

后端
今日头条微博bilibili互联网/科技
全日 ¥ 10,000/月