对于网络爬虫工作者来说，代理ip池是工作开展的一部分。没有这个代理ip池资源的支撑，整个爬虫项目也无法顺利进行。
网络大数据，爬虫业务大家都不再陌生。随着网络的发展，反爬虫也在不断的优化。想突破反爬虫的限制，好的代理IP资源是非常重要的。
如何让爬虫更简单的使用这些代理?
python有很多的web框架，随便拿一个来写个api供爬虫调用。这样有很多好处，比如：当爬虫发现代理不能使用可以主动通过api去delete代理IP，当爬虫发现代理池IP不够用时可以主动去refresh代理池。这样比检测程序更加靠谱。
在爬虫使用代理IP不断使用的过程中，持续进行第一步，保证不断有新的IP进入IP池。为了避免浪费和提高效率，根据使用代理IP的实际情况，也可以对从代理服务器那里提取IP的频率进行调整。
而且如果你打算用免费代理ip来执行爬虫项目，那么可以打消这个想法了，因为筛选免费代理其实是非常耗时间的，而且免费代理的可用率总体也不高，是很难支撑的。