网络数据时代，很多的信息都需要进行整理使用，不过面对这么大量的数据，靠人力是很难来进行获取的，所以我们需要学会怎么来爬虫抓取。
做爬虫，碰到最多的问题不是代码bug，而是封IP。开发好一个爬虫，部署好服务器，然后开始抓取信息，不一会儿，就提示封IP了，这时候的内心是崩溃的。
那么，有什么办法不封IP呢?首先，要知道为什么会封IP，这样才能更好的避免封IP。有些网站反爬措施比较弱，伪装下IP就可以绕过了，修改X-Forwarded-for就万事大吉。但现在这样的网站比较少了，大部分的网站的反爬措施都在不断加强，不断升级，这给避免封IP带来更大的困难。
所以，我们要懂得如何来进行应对。下面有些方式可以参考：
1、保存cookies。在模拟登陆的时候会比较麻烦，可以直接在web上登陆后取下cookie保存，一起带着爬虫，但这种方法并不是长久之计，可能隔一段时间cookie就会失效。
2、分布式爬虫。使用分布式爬虫的方式在一定程度上可以避免问题，而且还可以大大提高抓取数据的效果，提高工作效率。
3、多账号。很多网站会通过帐号的访问频率来判断，这样可以测试单账号的抓取阈值，在阈值切换帐号换代理IP。
4、解决验证码问题。爬虫久了会遇到让输入验证码的问题，这样对方网站已经识别到了你是爬虫程序了。可以将验证码down本地后，手动输入验证码。
现在，使用代理ip已经是爬虫的重要构成部分了，如果没有ip代理，那么可能爬虫就会变得寸步难行。