金融爬虫工程师简历范文

• 负责证券行情、基金公告等20余个数据源的采集架构设计，日均抓取量提升至1200万条。
• 搭建代理IP池与请求指纹轮换方案，目标站点封禁率由35%降至5%以内。
• 引入Kafka与任务监控告警，采集链路故障平均恢复时间从2小时缩短至20分钟。

• 使用Scrapy-Redis开发分布式采集系统，支撑8个业务线数据需求，单日稳定产出300万条。
• 完成3个金融资讯站点的接口逆向与解析，字段完整率从82%提升至97%。
• 编写数据校验与去重规则，重复数据占比由6%降至0.5%以下。

• 设计基于Playwright与异步请求的混合采集方案，覆盖沪深交易所及主流财经门户公告。
• 建立字段校验与增量更新机制，公告数据延迟由15分钟压缩至90秒内，准确率达99.2%。
• 输出标准化数据接口供投研团队调用，月均调用量超50万次。

• 搭建动态代理池与UA、Cookie自动维护模块，可用代理率维持在85%以上。
• 引入限流与重试策略，目标站点请求成功率由70%提升至96%。

主修数据结构、数据库系统、计算机网络；CET-6，普通话二级甲等。