Python爬虫开发简历范文全文
自我评价
4年Python爬虫开发经验,专注电商与舆情数据采集,熟练使用Scrapy、Scrapy-Redis及Playwright构建分布式采集系统。擅长JS逆向、验证码识别与代理IP池调度,日均稳定采集千万级数据。主导过3个从0到1的采集平台建设,数据可用率稳定在98%以上。
工作经历
杭州云数信息技术有限公司
杭州
数据服务互联网
Python爬虫开发工程师
2022年9月 - 至今
ScrapyJS逆向
- 负责电商价格与评论采集系统开发,基于Scrapy-Redis搭建分布式架构,日均采集量提升至800万条。
- 针对目标站点JS加密与滑块验证码完成逆向破解,采集成功率由72%提升至96%。
- 设计代理IP池与请求指纹伪装方案,将封禁率降低至3%以内,保障任务7×24小时稳定运行。
上海数聚网络科技有限公司
上海
大数据舆情监测
Python开发工程师(爬虫方向)
2020年7月 - 2022年8月
Playwright数据清洗
- 参与舆情监测平台采集模块开发,使用Playwright处理动态渲染页面,覆盖30余个主流媒体站点。
- 编写数据清洗与去重逻辑,入库数据准确率提升至98%,为下游分析提供稳定数据源。
项目经验
电商全网价格监控采集平台
2024年3月 - 2024年5月
爬虫开发负责人
- 基于Scrapy-Redis与Celery构建分布式采集调度,支持200个并发任务,日均采集商品数据500万条。
- 实现验证码自动识别与IP自动切换,采集成功率稳定在97%以上,支撑业务方价格策略决策。
多站点舆情数据采集系统
2022年12月 - 2023年2月
核心开发
- 使用Playwright与请求指纹伪装方案采集30余个媒体站点,日均入库数据120万条。
- 设计增量采集与断点续爬机制,任务失败重跑率下降至2%以内。
工作成果
采集效率提升3倍
通过分布式改造与调度优化,将单机采集能力从日均200万条提升至800万条。
反爬对抗体系落地
沉淀验证码识别、代理池与指纹伪装通用组件,新站点接入周期由5天缩短至1天。
其他信息
到岗时间:
离职状态,一周内可到岗,可接受短期出差。
作品集:
GitHub开源爬虫框架组件,累计Star 300+,含代理池与验证码识别模块。
证书与认证
软件设计师(软考中级) - 工业和信息化部
2022年11月
证明软件设计与开发能力。
阿里云ACA大数据助理工程师 - 阿里云
2023年6月
证明云上数据采集与处理能力。
教育背景
杭州电子科技大学
双一流计算机类
计算机科学与技术 本科
杭州2016年8月 - 2020年5月
主修课程:数据结构、计算机网络、数据库原理、Python程序设计。
专业技能
Python / Scrapy
JS逆向与验证码识别
MySQL / Redis / MongoDB
Playwright / Selenium
Linux / Docker
分布式调度与代理池
荣誉奖项
校程序设计竞赛二等奖
公司年度优秀员工
更多Python简历范文
同一职位,不同的版式和写法。点开任意一份即可查看大图。
就从这份范文开始
免费复制到你的账户里,每一句话、每个板块和颜色都能改,改好即可下载投递。