我们每天都在使用互联网，用户的增加、网站的增加，网络数据必然也在不断的增加。现在的互联网数据要比互联网刚开始诞生的时候，已经不是一个量级了。
互联网上的网页数据是海量的，所以爬虫的工作量是巨大的，爬虫程序的性能也是非常重要的。友好的爬虫不能影响到目标服务器的正常运行，给目标服务器造成太大的访问压力，这样也容易被封IP限制爬取。在使用代理IP的时候也是一样，对代理服务器造成太大的压力，最终也是会影响自己爬虫工作的稳定进行。
要理解代理IP软件的使用其实很简单，就相当于有一个中间人替你去访问网站，然后再把访问结果发送给你。对于网站来说，都是这个中间人的信息，不会知道你的存在。用户修改后的IP就是代理的IP，访问的网站是完全不会查到真实信息的。代理IP软件最重要的是要有大量的服务器，制造出IP放在IP池中，当客户在使用的时候，会在IP池中直接获取。
特别是对于爬虫来说，一个代理ip池的使用是很关键的，只有数量多的ip，才可以更好的支撑爬虫开展。