Python爬虫工程师简历范文全文
自我评价
4年Python爬虫开发经验,专注电商与舆情数据采集,熟悉Scrapy、Requests、Selenium及反爬对抗方案。主导过日均千万级请求的分布式采集系统,数据完整率稳定在98%以上。具备代理池、验证码识别与数据清洗全链路落地能力。
专业技能
Python / Scrapy
Requests / Selenium
MySQL / Redis
MongoDB / 数据清洗
代理池与反爬对抗
Linux / Docker 部署
工作经历
杭州云数信息技术有限公司
互联网数据服务
杭州
Python爬虫工程师
Scrapy反爬对抗
2022年9月 - 至今
- 负责电商价格与评论采集系统,日均请求量800万,数据完整率提升至98.5%。
- 搭建代理IP池与请求调度模块,封禁率由15%降至3%以内。
- 重构采集任务调度,单机采集效率提升约40%,节省服务器成本约20%。
上海聚信网络科技有限公司
大数据舆情监测
上海
Python开发工程师(爬虫方向)
Selenium数据清洗
2020年7月 - 2022年8月
- 开发舆情监测采集模块,覆盖30余个站点,日均入库数据约50万条。
- 引入Selenium与验证码识别方案,重点站点采集成功率由70%提升至95%。
- 配合数据团队完成清洗入库流程,数据交付时效缩短约半天。
项目经验
分布式电商数据采集平台 - 爬虫开发负责人
2024年3月 - 2024年5月
- 基于Scrapy-Redis搭建分布式采集架构,支持20个节点并行,日均处理千万级请求。
- 设计代理池与请求指纹随机化策略,目标站点封禁率控制在5%以内。
- 接入MongoDB与MySQL双存储,数据入库延迟控制在5分钟内。
多站点舆情采集与清洗系统 - 核心开发
2022年12月 - 2023年2月
- 使用Requests与Selenium混合采集,覆盖新闻、论坛、微博等30余个站点。
- 编写正则与XPath解析规则库,字段抽取准确率达到96%。
- 建立增量采集与去重机制,重复数据率降至1%以下。
教育背景
浙江工业大学
一本省重点
杭州
计算机科学与技术 本科
2016年8月 - 2020年5月
主修数据结构、数据库原理、计算机网络;获校级程序设计竞赛三等奖。
证书与认证
软件设计师(软考中级) - 工业和信息化部
2022年11月
证明软件设计与开发能力。
阿里云ACA云计算认证 - 阿里云
2023年6月
证明云服务器与容器部署能力。
其他信息
作品集:
GitHub开源爬虫框架项目,累计Star 300+,含代理池与调度组件。
到岗时间:
离职状态,一周内可到岗,可接受短期出差。
更多爬虫工程师简历范文
同一职位,不同的版式和写法。点开任意一份即可查看大图。
就从这份范文开始
免费复制到你的账户里,每一句话、每个板块和颜色都能改,改好即可下载投递。