搜索引擎爬虫工程师简历范文

• 负责搜索引擎网页抓取系统迭代，日均抓取量从6000万提升至1.2亿，抓取成功率稳定在98%以上。
• 设计动态代理池与请求指纹轮换方案，重点站点封禁率下降约60%，单站抓取效率提升35%。
• 搭建抓取质量监控看板，异常页面召回率提升至95%，支撑索引数据时效性从天级缩短至小时级。

• 使用Scrapy与Kafka搭建多源采集管道，支撑20余个垂直站点数据接入，日处理页面约2000万。
• 优化正文抽取与去重逻辑，有效内容提取准确率从85%提升至93%，重复数据占比降至3%以内。

• 基于Go与Kafka重构调度与下载模块，支持5000并发抓取，单机吞吐提升约2倍。
• 引入分级重试与站点优先级策略，重点站点更新延迟从4小时缩短至30分钟。
• 接入ClickHouse存储抓取日志，问题定位时间从半天缩短至1小时内。

• 设计基于DOM规则与模板学习的正文抽取方案，覆盖新闻、论坛、电商等10余类页面。
• 抽取准确率提升至94%，为下游索引与数据产品提供稳定结构化输入。

主修数据结构、计算机网络、操作系统与信息检索；GPA 3.6/4.0，通过CET-6。