大家都明白代理ip在数据爬虫中的作用，特别是网络数据时代，很多企业都是非常依赖这个数据资源的，从商业分析到商业决策，都非常的关键。
网络爬虫没有代理IP，那真的是寸步难行了。大多数的网站都会设置一个阈值，当某个IP访问的次数到达了阈值便会受到限制。还有很多网站会设置一个访问频率，当单位时间内访问频率超出正常用户访问频率时就会被限制，这个时候只有代理IP才能突破这个限制，大量的优质代理IP不停地分担压力，就算被封了也可以再换一批。选择代理IP时一定要选择高匿代理IP，普通匿名代理和透明代理没有作用。
但是，用了代理IP并不代表可以彻底解决反爬虫，很多用户认为用了代理IP就无需担心，其实不然。有很多用户用代理IP爬虫依然受到了限制。
首先是也有可能是代理IP质量差造成的，例如使用的代理是透明或者普通匿名，目标网站是会直接发现的，被封是肯定的。或者用的代理是已经被其他人用过，同一个IP的访问次数已经过多，依然是会被反爬虫发现的。
于是乎，不少专业爬虫工作者都对代理ip的专业度与质量有了更高的要求，因为只有代理ip这关基础解决好，才可以愉快开展爬虫。