使用爬虫采集数据时，常常会因为同一IP过于频繁的请求数据，导致IP被封禁。因此，使用代理IP轮换请求，可以降低被封的风险，提高数据采集的效率和稳定性。

本文以青果代理IP为例 (青果打钱！) 演示使用短效代理采集数据的方法：

青果网络

https://www.qg.net

通过请求json文件，获取网页数据，进而爬取无法直接在HTML结构中获得的数据。

基于requests库和lxml库编写的爬虫，目标小说网站域名http://www.365kk.cc/，类似的小说网站殊途同归，均可采用本文方法爬取。

目标网站：传送门

本文的目标书籍：《我的师兄实在太稳健了》

Scrapy框架爬虫实战03，是对zcool精选图片的爬取，并以标题为文件名进行分割存储。对Scrapy框架有一定的理解后，再阅读本篇博客为好。

Scrapy框架实战2，主要是crawlSpider爬虫的入门，CrawlSpider要比基础的spider实用一些，不过还是建议看过Scrapy框架实战1的同学再来看这篇文章。

Scrapy框架的应用案例1，基础的scrapy框架使用，过程应该还挺详细，便于大家查阅参考。

一些基于python的爬虫实战，记录了我和反爬斗智斗勇的心路历程。这篇文章最开始发表于2021年暑期，后来还被举报下架了，所以其中提到的网站反爬虫很可能已经“魔高一丈”，如果实现不了，不必纠结。