甜薪工场甜薪工场
甜薪工场
工作者接单雇主招人
查看岗位
人才库人才详情

我擅长2年Python数据采集工作经验,熟悉各种主流的数据采集技术

谢一阳
产品研发/后端 互联网/科技今日头条微博bilibili
个人优势
擅长Python爬虫、网页URL结构分析、动态网页数据包分析、反爬策略对应、JS逆向等;
擅长的技术包括,requests,scrapy,lxml,selenium,xpath,re,os,mysql,mongodb,urllib等;
擅长发现问题、分析问题、解决问题,总结经验,达到更好的问题解决的方法;
工作经历
中科微至智能制造科技江苏股份有限公司
电气工程师2015.07 ~ 2018.05
负责物流包裹智能分拣系统的日常维护和故障维修; 负责智能分拣系统从无到有的搭建,从硬件搭建,到软件导入; 参与 智能分拣系统的驱动设备直线电机的装配和系统组装;
无锡村田电子有限公司
2018.06 ~ 2021.10
1、负责公司设备内部数据与上位服务器之间的通信连接,通过导入环境,实现设备 PLC 寄存器中数据的可视化。从而对设 备的稼动率、生产数、MTBF 等稼动参数进行评估,对整个工程的生产计划提供参考。 2、 负责部门群晖服务器的购买、部署、维护;对全部门所有的员工追加访问权限、分配资源空间。 3、 负责部门共通业务的 Python 技术支援。如利用 Python 网络爬虫技术,制作订单出货日期统计查询工具;例用 Python 办公自动化技术,制作邮件自动点名系统;
中电金信索尼项目部
2021.10 ~ 2022.09
1、分析各大主流社交媒体平台的网站结构和 HTTP 数据包的收发机制; 2、分析上述媒体平台的反爬机制,制定爬虫应对措施; 3、创建使用并配置 Scrapy 爬虫框架,对媒体平台上的各大 KOL 的相关信息及其发布的作品评论进行爬取; 4、验证爬取获得的数据的完整性,并进行数据持久化处理;
教育经历
徐州工程学院
电气工程及其自动化本科 2011.09 ~ 2015.07
项目经历
智能拆带机管理系统
软件工程师
2019.01 ~ 2020.03
项目职责:外设配置→读码器的配置、IO卡的配置、伺服马达的配置、RFID的配置; 流程: 读码器读取二维码信息,通过HTTP协议,将 二维码信息上传至上位系统,得到反馈指令,通过IO驱动伺服马达动作。RFID识别配套设施。 完成整个操作流程的设计和流 程图绘制; 完成业务逻辑的编写,功能的调试,日志的保存;
查看详情
主流媒体平台数据爬虫系统
Python爬虫工程师
2021.10 ~ 2022.12
项目职责:内容: 1、负责抖音、B站、微博等主流社交媒体平台,与索尼相关产品的用户评论数据的爬取; 2、负责各主流社交媒体平台的各大 KOL 的动态数据爬取及其发布作品的评论数据爬取; 3、分析上述平台的网站结构和 HTTP 数据包的收发机制,制定爬虫策略; 业绩: 1、完成入库数据500多万条; 2、 编写爬虫脚本10套; 3、 scrapy 框架使用5套; 4、 JS 逆向攻取网站项目4个;
查看详情

相似职位推荐

我擅长6年PHP开发经验,精通前后端和小程序开发、Python爬虫

1.主导基于Yii框架的小程序电商开发(SaaS系统)、参与过基于ECShop电商的二次开发 2.精通小程序、后端管理系统相关开发,具备全栈开发能力 3.熟悉react系列的产品开发模式,能迅速使用PHP各类开发框架(如Yii、thinkPHP、symfony、laravel等) 4.具备一定的产品规划能力,对项目把控能力较高(曾经多次主导过从0-1的项目开发) 5.思维开阔,善于沟通,能很好地给出技术方案 6.具备克服各种技术困难的能力,总能给出可行的方案
抖音零售/电商互联网/科技其他
全日/半日均可 ¥ 10,000/月

我擅长网站后台搭建

熟练使⽤python搭建服务器后台,整合成web应⽤ 熟练使用python搭建数据管理平台,及⾃定义插件开发 熟练掌握django-rest-framework框架,对外提供restful数据接⼝ 熟练掌握Android应⽤层开发 整合python后台与redis搭建消息队列可视化管理后台
¥ 5,500/月