你是否还在为找不到合适的代理IP而发愁？
你是否在为不知道如何设置代理IP而头疼？
你是否在为不知道选用哪种代理IP能解决问题而纠结？
一篇文章，让你彻底了解代理IP，www.ipdaili.org/带你走进代理IP的世界！
www.ipdaili.org/将从代理IP的原理、动静态代理IP的区别、市场上代理IP的行业分析、设置代理IP、常见几种反爬的解决方案等方面来为你揭开代理IP的神秘面纱。
一. 什么是代理IP?（代理ip有哪几种？）
IP是上网需要唯一的身份地址，身份凭证，而代理IP就是我们上网过程中的一个中间平台，是由本机电脑先访问代理IP，之后再由代理IP访问目标网站页面，所以在这个页面的访问记录里留下的是就是代理IP的地址，而不是本机IP。
代理IP根据协议可分为http协议代理、https协议代理和socket5代理。
1. http协议代理
http协议代理仅仅用于转发，其原理是由本机联系代理服务器，服务器请求，访问目标网站服务器解析数据，最后返回数据到本机。
2. https协议代理
https协议代理是加密协议代理，先由本机发送请求到代理服务器，代理服务器核实请求中的用户名密码，确认无误后，连接目标网站的服务器，返回传输回来的加密数据到本机。
3. Socket5代理
socket5代理也是一种代理协议，与https类似，区别在于socket发送的是标明请求类型及含义的二进制代码。Socket5代理更底层，即可访问http协议网站，又可访问https协议网站。
其相同点在于：访问https协议网站时返回的也是加密后的数据，访问http协议网站时返回的是不加密数据。
什么是VPN？
VPN一般指虚拟专用网络。虚拟专用网络功能是：在公用网络上建立专用网络，进行加密通讯。在企业网络中有广泛应用。
VPN网关通过对数据包的加密和数据包目标地址的转换实现远程访问。VPN有多种分类方式，主要是按协议进行分类。VPN可通过服务器、硬件、软件等多种方式实现。
VPN与代理IP有什么区别？
VPN主要用于从外网访问企业、公司的内部网络，原理是先登录到VPN防火墙、服务器，得到权限，在进入内网。这个过程，用户一直是以自己的身份进行的。
而代理IP是一种代理，也就是先所有的交互数据都先经过另一台服务器（代理IP服务商），这个过程中用户访问其他网络是都是使用的代理服务提供者的身份。
二.动态代理和静态代理有什么区别？
市场上一般根据访问目标服务器的代理IP短时间内是否变化来判断动静态。
1.什么是动态代理IP？
访问目标服务器的代理IP是不断变化的，或短时间内更换访问的。市场上的动态代理IP一般可分为两种：短效代理和隧道代理。
2.什么是静态代理IP？
访问目标服务器的代理IP在一天及以上的一段时间内IP不变且持续有效。
三.市场上有哪些代理IP？代理IP哪家好？
1. 短效代理
代理IP服务商一般会有一个IP库，每个代理IP存活期1-2分钟、3分钟、5分钟、10分钟等。适用于需要代理IP数量大但时效短的业务场景。从衡量方式来分类，一般可分为按量购买和按时间购买两种。有些服务商只按量售卖，有些商家既按量售卖，也按时间售卖。PS:有些商家称为动态代理IP，动态短效代理IP、短效IP、动态IP、共享IP、静态短效代理、HTTP代理、HTTPS代理等。
（1）按量购买
（2）按时间购买
2.隧道代理
隧道代理无需切换代理IP，系统自动切换代理IP。通常有短效版和动态转发版两种情况。
（1）隧道代理-动态短效
隧道代理（动态短效）每个IP代理的使用时长一般为1分钟到5分钟（不同服务商定义短效时长不同），到期后隧道将自动切换到另一个IP。有部分商家也允许手动切换IP，切换间隔时间一般不得少于 10 秒（服务商不同，最短切换间隔可能不同）。
（2）隧道代理-动态转发
隧道代理（动态转发）无须切换 代理IP，每一个请求一个随机 IP。隧道代理有并发请求限制，一般默认每秒允许 5 个请求。
3.静态长效代理ip
静态代理IP是基于高性能主机构建的高品质代理服务器，可用率超过99%，具有极快的速度和极高的稳定性。代理IP使用时长自由控制，灵活多变，可长期使用，亦可最低1小时切换一次，适用于切换IP频率低时效长的业务场景。
PS：有些商家称为长效代理IP、长效静态代理IP、静态IP、静态代理、静态长效代理、静态短效代理、长效IP等。
温馨提示：
不同类型的代理ip适用于不同的场景，大家在选择代理IP的时候可根据实际场景需要来进行选购。价格只是一个参考，大家使用之前最好提前进行测试，检测能够满足需要后再进行购买。
四. 常见网站反爬策略与解决方案
网站反爬，原理是服务器通过访问者请求中夹带的一些访问者的信息，来识别访问者，并对访问者进行限制。
比如服务器通过请求识别到访问者IP，对同一个IP访问频率做出了限制，那么当同一个IP访问频率超过限制时，访问就会出现问题。
www.ipdaili.org/ ForeSpider数据采集引擎根据网站常见的几种反爬策略，研发了对应解决的设置，用户在使用过程中可以针对不同反爬，进行对应的设置，常见的反爬策略及解决方案有以下几种：
1.仅限制用户IP访问频率
限制IP访问频率通常表现为：当使用本地IP采集速度高于某频率时，就会出现采集错误，页面重定向等情况。当访问者IP信息存储在cookie中时，会增加爬虫难度。
解决方案：
（1）cookie中没有记录IP时
需要使用动态短效代理IP/隧道代理IP，根据网站限制IP强度，调整采集速度，购买适量代理IP，在ForeSpider爬虫IP代理处设置即可。
（2）cookie中记录IP时
需要使用静态长效代理IP，根据网站限制IP强度，调整采集速度，购买适量代理IP，在ForeSpider数据采集系统IP代理处设置即可。
2.限制用户ID访问频率
限制用户ID通常表现为：采集一段时间后，停止采集/采集错误，浏览器中该页面显示不出来（页面重定向、有验证码、错误页面等情况），清空浏览器浏览记录后，再次打开又可以正常显示。
这时可以看页面的cookie来确认服务器是否限制用户ID，当访问页面的cookie中有UID或其他ID字符串时，表示服务器对用户ID有识别。还有一种对UID加密的情况，这时cookie中有一串加密后的字符串。
解决方案：
使用ForeSpider采集器高级设置中的多通道采集功能，并设置最大登录用户数，设置代理IP（使用静态长效代理IP），通过模拟多用户浏览网站，来解决网站对ID的限制。
3.用户IP访问频率用户ID访问频率双重限定
双重限制通常表现为：采集一段时间后，停止采集/采集错误，浏览器中该页面显示不出来（页面重定向、有验证码、错误页面等情况），清空浏览器浏览记录后，再次打开又可以正常显示。爬虫设置为多通道采集后采集一段时间发现IP被封了。也可通过观察页面cookie中是否既有IP又有UID/UID加密的信息，来进行判断。
解决方案：
使用ForeSpider数据采集系统高级设置中的多通道采集功能，同时打开动态IP锁定，设置好代理IP（使用静态长效代理IP），并设置最大登录用户数，来解决网站对账号的限制。如下图所示：
4.限制用户账号访问频率
一般表现为：网站需要登录，登录后采集账号被封。这种情况一般是由于服务器识别用户账号，并限制用户账号访问频率导致的。
解决方案：
注册多个账号，供封号后替换使用；
5.用户账号访问频率和用户IP访问频率双重限制
一般表现为网站需要登录，登录后采集账号被封，IP也被封。使用多通道或者用代理IP采集均无效果。这种情况是由于服务器对用户账号和访问IP双重限制导致的。
解决方案：
注册多个账号，供封号后替换使用；降低采集速度，使用静态长效代理IP进行采集。
看到这里，相信大家对代理IP也有了一个深刻的认识与了解，如果对于代理IP及数据采集有疑问，在线联系。
企业级大数据供应商
www.ipdaili.org/
一对一为您解决一切大数据相关问题。