不同的网站、应用，所需要的爬虫设置也不一样，怎么样子的爬虫才能够算得上是出色的爬虫呢?我们在用
代理IP爬虫的时候，又要注意什么才能够保障爬虫的顺利进行呢?
出色的爬虫应该是怎么样的呢?
一、高性能
这里说的高性能指的是爬虫爬取的高效性、稳定性、持续性，单位时间内可以爬取的网页更多，同时也可以持续稳定的爬取，这样的爬虫的性能就越高。
如果想要增强爬虫的性能，那在设计程序是对数据结构的选择就特别关键了，同时爬虫的策略和反反爬虫的策略也不容小觑，而且还要通过高质量的芝麻动态ip代理来辅助爬虫工作。
二、可扩展性
就算单个爬虫的性能增强的十分厉害了，可是对于大批量的网站信息仍旧需要耗费非常长的时间，为了能够尽可能的减少爬虫的工作周期，爬虫系统还需要有较好的扩展性，能够利用增加抓取服务器和爬虫数量来实现目标。每台服务器部署多个爬虫，每个爬虫多线程运行，利用多种方式增加并发性，这就属于分布式爬虫。
三、健壮性
爬虫在浏览各类的网站服务器时，或许能碰上许多意外的问题或是紧急状况，例如网页Html编码不规范，目标服务器无缘无故卡死，甚至是代理服务器忽然故障，爬虫要是可以对各类异常情况做出妥善处理，不会经常性的终止工作，这就是爬虫健壮性的一种体现。
四、友好性
爬虫的友好性有两个含义：一个是保证网站的部分私密性，二是降低当前网站的网络负荷，我觉得还有一个是在使用代理IP时，降低代理服务器的网络负载。
针对网站使用者而言，部分信息是不想被抓取的，通常会有robot.txt文件来指定哪些禁止爬取，或是在Html代码里加meta name="robots"标记。如果是友好的爬虫，必须要遵守这一协议。
友好的爬虫不许影响到目标服务器的正常运行，给目标服务器产生过大的访问压力，这样也更易被封IP限制爬取，在使用代理IP的时候也是一样，对代理服务器造成太大的压力，最终还是影响自己爬虫工作的稳定进行。
那么，在我们使用IP代理进行网络爬虫有哪些需要注意的地方?
1、限制IP访问频率
在爬虫的过程中，越来越多网站会实行反爬虫技术，其中比较常用到的就是限制IP的访问次数。假如本地的IP地址被该网站禁封后，或许就要更换IP代理来继续爬虫了。
2、提升爬取效率
还有如果单独用一个爬虫去爬取，那么速度是很慢的，因为限制了抓取速度，单个爬虫的效率与个人手动采集效率差不多的，就不存在所谓的优势了。如果想要提升爬取的效率，那就要用多个爬虫来爬取，这要要求为每一个提供IP使用，并且进行IP的轮换使用。这就需要使用到IP代理了。
找到一个合适靠谱的代理IP服务商是至关重要的，工具选对了，这样才能够让策略得到实施。