爬虫是获取数据的主要途径，很多用户利用爬虫抓取数据后进行分析。但爬虫对被爬取的网站来说没有任何好处，所以现在网站一般都有反爬虫，控制爬虫的访问。
首先，反爬虫根据IP的访问频率来判断，这也是最基本的，解决这项判断很容易，只要用多个IP抓取就可以了。
其次，反爬虫还会根据UA判断，这种就比较低级了，所以还会有其他的判断方式一起，只需要随机UA就可以解决这项控制。
最后，还可以根据Cookie判断，例如根据帐号密码的登录，判断单账号短时间内的抓取次数。解决这点略微麻烦，需要用多个帐号抓取。
以上只是反爬虫方式的几种，其实还有很多种方式，需要根据网站的实际情况来进行测试发现。但目前解决反爬虫最基本的就是利用代理IP进行爬取数据，ip代理可以提供高质量IP，用来爬虫很安全。