采用代理IP爬取网站数据的方法、存储介质和服务器

本发明公开了一种采用代理IP爬取网站数据的方法、存储介质和服务器，用于解决爬取网站数据时代理IP容易被封的问题。本发明提供的方法包括：确定待爬取数据的目标网站；根据所述目标网站的属性信息确定适用于所述目标网站的IP分类，各个预设的IP分类预设有各自适用的网站的属性信息；从IP地址池中筛选出属于确定的所述IP分类的各个代理IP，所述IP地址池包括多个预先收集、归类、且互不相同的代理IP；从筛选出的所述各个代理IP中选取一个代理IP；采用选取出的代理IP访问所述目标网站，并执行本次数据爬取任务免费代理ip软件。

1/2页

1.一种采用代理IP爬取网站数据的方法，免费代理ip软件其特征在于，包括：确定待爬取数据的目标网站；

根据所述目标网站的属性信息确定适用于所述目标网站的IP分类，各个预设的IP分类预设有各自适用的网站的属性信息；

从IP地址池中筛选出属于确定的所述IP分类的各个代理IP，所述IP地址池包括多个预先收集、归类、且互不相同的代理IP；从筛选出的所述各个代理IP中选取一个代理IP；采用选取出的代理IP访问所述目标网站，并执行本次数据爬取任务。

2.根据权利要求1所述的采用代理IP爬取网站数据的方法，其特征在于，所述IP地址池中的各个代理IP通过以下步骤预先收集、归类：从提供代理IP的网站上爬取各个代理IP；采用爬取到的所述各个代理IP分别访问指定网站；

记录访问指定网站时爬取到的所述各个代理IP的各属性项的属性值，所述属性项包括响应速度、过滤能力或隐匿属性；根据记录的属性值对爬取到的所述各个代理IP归类至预设的各个IP分类中。

3.根据权利要求1所述的采用代理IP爬取网站数据的方法，其特征在于，还包括：

在执行本次数据爬取任务时，每间隔预设时长从筛选出的所述各个代理IP中选取一个未被选取过的代理IP作为替换代理IP，然后采用所述替换代理IP重新访问所述目标网站，并继续执行本次数据爬取任务；或

在执行本次数据爬取任务时，在每爬取预设数据量后从筛选出的所述各个代理IP中选取一个未被选取过的代理IP作为替换代理IP，然后采用所述替换代理IP重新访问所述目标网站，并继续执行本次数据爬取任务。

4.根据权利要求3所述的采用代理IP爬取网站数据的方法，其特征在于，所述从筛选出的所述各个代理IP中选取一个代理IP包括：

按照预设规则对筛选出的所述各个代理IP进行排序，组成代理IP列表；选取所述代理IP列表中排行第一的代理IP；

所述从筛选出的所述各个代理IP中选取一个未被选取过的代理IP作为替换代理IP具体为：从所述代理IP列表中选取下一个代理IP作为替换代理IP。

5.根据权利要求4所述的采用代理IP爬取网站数据的方法，其特征在于，所述按照预设规则对筛选出的所述各个代理IP进行排序，组成代理IP列表包括：

按照确定的所述IP分类预先指定的代理IP的属性项对筛选出的所述各个代理IP进行排序，组成代理IP列表，所述属性项包括响应速度、过滤能力或隐匿属性；或

对筛选出的所述各个代理IP进行随机排序，组成代理IP列表。

6.根据权利要求1至5中任一项所述的采用代理IP爬取网站数据的方法，其特征在于，在根据所述目标网站的属性信息确定适用于所述目标网站的IP分类之前，还包括：采用本地IP访问所述目标网站；若采用本地IP访问所述目标网站成功，则执行本次数据爬取任务；

权　利　要　求　书 2/2页

若采用本地IP访问所述目标网站失败，则执行所述根据所述目标网站的属性信息确定适用于所述目标网站的IP分类的步骤免费代理ip软件。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至6中任一项所述采用代理

IP爬取网站数据的方法的步骤。

8.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运

行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：确定待爬取数据的目标网站；

根据所述目标网站的属性信息确定适用于所述目标网站的IP分类，各个预设的IP分类预设有各自适用的网站的属性信息；

从IP地址池中筛选出属于确定的所述IP分类的各个代理IP，所述IP地址池包括多个预先收集、归类、且互不相同的代理IP；从筛选出的所述各个代理IP中选取一个代理IP；采用选取出的代理IP访问所述目标网站，并执行本次数据爬取任务。

9.根据权利要求8所述的服务器，其特征在于，所述IP地址池中的各个代理IP通过以下步骤预先收集、归类：从提供代理IP的网站上爬取各个代理IP；采用爬取到的所述各个代理IP分别访问指定网站免费代理ip软件；

记录访问指定网站时爬取到的所述各个代理IP的各属性项的属性值，所述属性项包括响应速度、过滤能力或隐匿属性；

根据记录的属性值对爬取到的所述各个代理IP归类至预设的各个IP分类中。

10.根据权利要求8或9所述的服务器，其特征在于，还包括：

在执行本次数据爬取任务时，每间隔预设时长从筛选出的所述各个代理IP中选取一个未被选取过的代理IP作为替换代理IP，然后采用所述替换代理IP重新访问所述目标网站，并继续执行本次数据爬取任务；或

在执行本次数据爬取任务时，在每爬取预设数据量后从筛选出的所述各个代理IP中选取一个未被选取过的代理IP作为替换代理IP，然后采用所述替换代理IP重新访问所述目标网站，并继续执行本次数据爬取任务。

采用代理IP爬取网站数据的方法、存储介质和服务器修改ip地址

技术领域

[0001] 本发明涉及数据处理技术领域，尤其涉及采用代理IP爬取网站数据的方法、存储介质和服务器。

背景技术

[0002] 在互联网环境中，数据是非常重要的一种资产，爬虫系统则是有效获取数据的重要途径之一。

[0003] 目前，很多网站采取了反爬虫技术，使用同一个IP去爬取网站数据，往往很容易被网站识别拉到黑名单中，从而不能继续爬取网站数据。此时，若想继续获取该网站的数据，采用代理IP访问网站进行数据爬取是有效的途径之一。

[0004] 然而，反复采用相同的代理IP爬取网站数据，同样会导致该网站将该代理IP拉入黑名单中，免费代理ip软件对网站数据的爬取极其不利。

发明内容

[0005] 本发明实施例提供了一种采用代理IP爬取网站数据的方法、存储介质和服务器，能够保证爬取网站数据的代理IP来源的可靠性，避免反复采用相同的代理IP爬取数据导致代理IP被封的情况。

[0006] 第一方面，提供了一种采用代理IP爬取网站数据的方法，包括：

[0007] 确定待爬取数据的目标网站；

[0008] 根据所述目标网站的属性信息确定适用于所述目标网站的IP分类，各个预设的IP 分类预设有各自适用的网站的属性信息；

[0009] 从IP地址池中筛选出属于确定的所述IP分类的各个代理IP，所述IP地址池包括多个预先收集、归类、且互不相同的代理IP；

[0010] 从筛选出的所述各个代理IP中选取一个代理IP；

[0011] 采用选取出的代理IP访问所述目标网站，并执行本次数据爬取任务。

[0012] 第二方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：

[0013] 确定待爬取数据的目标网站；

[0014] 根据所述目标网站的属性信息确定适用于所述目标网站的IP分类，各个预设的IP 分类预设有各自适用的网站的属性信息；

[0015] 从IP地址池中筛选出属于确定的所述IP分类的各个代理IP，所述IP地址池包括多个预先收集、归类、且互不相同的代理IP；

[0016] 从筛选出的所述各个代理IP中选取一个代理IP；

[0017] 采用选取出的代理IP访问所述目标网站，并执行本次数据爬取任务。

[0018] 第三方面，提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下

2/8页

步骤：

[0019] 确定待爬取数据的目标网站免费代理ip软件；

[0020] 根据所述目标网站的属性信息确定适用于所述目标网站的IP分类，各个预设的IP 分类预设有各自适用的网站的属性信息；

[0021] 从IP地址池中筛选出属于确定的所述IP分类的各个代理IP，所述IP地址池包括多个预先收集、归类、且互不相同的代理IP；

[0022] 从筛选出的所述各个代理IP中选取一个代理IP；

[0023] 采用选取出的代理IP访问所述目标网站，并执行本次数据爬取任务。

[0024] 从以上技术方案可以看出，本发明实施例具有以下优点：

[0025] 本发明实施例中，首先，确定待爬取数据的目标网站；然后，根据所述目标网站的属性信息确定适用于所述目标网站的IP分类，各个预设的IP分类预设有各自适用的网站的属性信息；接着，从IP地址池中筛选出属于确定的所述IP分类的各个代理IP，所述IP地址池包括多个预先收集、归类、且互不相同的代理IP；再之，从筛选出的所述各个代理IP中选取一个代理IP；最后，采用选取出的代理IP访问所述目标网站，并执行本次数据爬取任务。在本发明实施例中，由于IP地址池中包括多个互不相同的代理IP，执行当前数据爬取任务时，从中筛选出合适的各个代理IP后，再选取一个代理IP进行访问和爬取数据，因此，不仅保证了爬取网站数据的代理IP来源的可靠性，而且避免了反复采用相同的代理IP爬取数据导致代理IP被封的情况，免费代理ip软件有利于爬取网站数据的顺利进行。

附图说明

[0026] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

[0027] 图1为本发明实施例中一种采用代理IP爬取网站数据的方法一个实施例流程图； [0028] 图2为本发明实施例中一种采用代理IP爬取网站数据的方法在一个应用场景下预先收集归类代理IP的流程示意图；

[0029] 图3为本发明实施例中一种采用代理IP爬取网站数据的方法步骤104在一个应用场景下的流程示意图；

[0030] 图4为本发明实施例中一种采用代理IP爬取网站数据的装置一个实施例结构图；

[0031] 图5为本发明一实施例提供的服务器的示意图。

具体实施方式

[0032] 本发明实施例提供了一种采用代理IP爬取网站数据的方法、存储介质和服务器，用于解决爬取网站数据时代理IP容易被封的问题。

[0033] 为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护

3/8页

的范围。

[0034] 请参阅图1，本发明实施例中一种采用代理IP爬取网站数据的方法一个实施例包括：

[0035] 101、确定待爬取数据的目标网站免费代理ip软件；

[0036] 本实施例的执行主体可以是终端设备或者服务器，优选地，本实施例中的执行主体为一服务器。

[0037] 可以理解的是，服务器在爬取数据之前，首先需要确定本次数据爬取任务所针对的网站，即上述的目标网站。

[0038] 优选地，在执行下述步骤102之前，服务器可以先采用本地IP尝试访问该目标网站，如果失败(比如本地IP已被拉黑名单)，再采用代理IP进行访问，这样不仅更加方便，而且有利于保护代理IP的有效性。具体包括：首先，采用本地IP访问所述目标网站；若采用本地IP访问所述目标网站成功，则执行本次数据爬取任务；若采用本地IP访问所述目标网站失败，则执行下述步骤102。

[0039] 102、根据所述目标网站的属性信息确定适用于所述目标网站的IP分类，各个预设的IP分类预设有各自适用的网站的属性信息；

[0040] 可以理解的是，不同的目标网站一般具有不同的属性信息，比如，某个网站的服务器地址在广东省深圳市，另一个网站的服务器地址在江苏省南京市。可知，对这两个网站进行访问时，若采用的代理IP的所在地在深圳市，则该代理IP访问前一个网站的响应速度往往远快于后一个网站的响应速度。

[0041] 因此，服务器可以预先对各个代理IP进行分类，具体分类方法在下述内容描述。分类后，服务器上预设有各个IP分类，这些IP分类预先设置有各自使用的网站的属性信息，以便于在确定IP分类时，可以根据网站的属性信息快速筛选出使用的IP分类。举例说明，可以某个IP分类(记为分类A)预设的属性信息为“深圳市”，即表示该分类A适用于服务器地址位于深圳市的目标网站，因此，当该目标网站的属性信息中记载其服务器地址为“广东省深圳市”时，服务器即可确定该分类A为适用于该目标网站的IP分类。

[0042] 103、从IP地址池中筛选出属于确定的所述IP分类的各个代理IP；

[0043] 需要说明的是，服务器上设有IP地址池，该IP地址池包括多个预先收集、归类、且互不相同的代理IP，当需要筛选代理IP时，从IP地址池中筛选出属于上述步骤102确定的IP 分类的各个代理IP。

[0044] 进一步地，如图2所示，所述IP地址池中的各个代理IP可以通过以下步骤预先收集、归类：

[0045] 201、从提供代理IP的网站上爬取各个代理IP；

[0046] 202、采用爬取到的所述各个代理IP分别访问指定网站；

[0047] 203、记录访问指定网站时爬取到的所述各个代理IP的各属性项的属性值，所述属性项包括响应速度、过滤能力或隐匿属性；

[0048] 204、根据记录的属性值对爬取到的所述各个代理IP归类至预设的各个IP分类中。 [0049] 对于上述步骤201，在目前市面上有许多提供代理IP的网站，尤其是提供免费代理 IP的网站，这些网站的代理IP一般都可以正常使用，因此，服务器可以从这些网站上爬取到各个代理IP，完成代理IP的收集工作。具体地，可以采用scrapy框架+xpath爬取各个网站提

4/8页

供的免费代理IP。

[0050] 对于上述步骤202和203，免费代理ip软件在收集到这些代理IP之后，可以先测试这些代理IP的各个属性项，比如IP所在地、响应速度、过滤能力或隐匿属性等，以便于后续对这些代理IP进行分类。需要注意的是，有些提供代理IP的网站上，在提供代理IP的同时，也会一并提供这些代理IP的属性项的值，因此服务器直接从网站上获取代理IP的这些属性值即可。

[0051] 当需要测试代理IP的属性值时，可以要求测试的代理IP分别访问指定网站，在访问过程中进行属性项的测试。优选地，由于在实际使用过程中，待爬取数据的目标网站往往是固定的几个，因此，测试时的该指定网站可以是固定的几个目标网站中的一个。

[0052] 对于上述步骤204，在记录下各个代理IP的属性项的属性值后，可以根据记录的属性值对各个代理IP进行归类。其中，归类的标准可以根据实际情况需要而定，此处不做具体限定。

[0053] 为便于理解，通过以下两种分类方式举例说明如下：

[0054] 第一种分类方式：在把所有代理IP均对各个目标网站(选取目标网站作为指定网站)分别进行访问测试，获取各个代理IP对各个目标网站的响应速度，然后针对一个目标网站，根据响应速度分别对各个代理IP进行分类，比如，速度在8-10之间的代理IP定义为优质 IP，速度4-7之间的代理IP地址定义为普通IP，速度3以下的代理IP定义为劣质IP。可以知道的是，针对不同的目标网站会对应有不同的分类，这是因为，本方案是采用这些代理IP爬取这些目标网站数据的，而目标网站的数量有限，且往往一段时间固定不变，因此针对各个目标网站的响应速度进行分类，更有利于在实际使用过程中有针对性的选取代理IP。

[0055] 第二种分类方式：在爬取代理IP的同时，获取这些代理IP的隐匿属性。隐匿属性包括高匿和透明，高匿代理IP是指不容易被目标网站反向得知真实地址的代理IP、透明代理 IP是指容易被目标网站反向得知真实地址的代理IP。代理IP的隐匿属性可以由代理IP的来源网站提供。在分类时，同样可以将IP地址池中的代理IP分为高匿IP和透明IP两种。

[0056] 优选地，IP地址池中的各个代理IP各属性项的属性值可以以结构化的形式存储的数据库中的一张表里，包括IP所在地、响应速度、过滤能力等等，都作为表中的一个字段。对响应速度、过滤能力等较模糊的字段进行量化，比如对响应速度来说，响应速度范围定义为 0-10,10代表响应速度最快，以此来判断每个代理IP的响应速度(可向指定网站以代理IP发送请求，根据请求响应时间来判断响应速度)。具体地，也可以将IP地址池中的各个代理IP 以Mysql数据库的格式进行存储，以便于后续进行IP地址的查询和管理。

[0057] 进一步地，还可以定时检测IP地址池中的代理IP的有效性，利用代理ip请求指定网站，若该指定网站反馈响应消息，则确定该代理IP为有效的代理IP，反之，则确定该代理 IP为失效的代理IP。根据确定的结果，将IP地址池中的失效代理IP及时清理掉，以保持IP地址池的可用性。

[0058] 另外，对于IP地址池，服务器还可以不断扩大IP地址池的容量，即增加IP地址池中的代理IP数量，这样可以使得IP地址池的实用性更高。

[0059] 104、从筛选出的所述各个代理IP中选取一个代理IP；

[0060] 可以理解的是，可以认为筛选出的所述各个代理IP均是适用于当前的目标网站的，因此，从中选取的一个代理IP，同样适用于当前目标网站。

[0061] 进一步地，如图3所示，步骤104可以包括：修改ip地址

5/8页

[0062] 301、按照预设规则对筛选出的所述各个代理IP进行排序，组成代理IP列表；

[0063] 302、选取所述代理IP列表中排行第一的代理IP；

[0064] 对于上述步骤301，可以采用以下两种方式(方式A和方式B)中的任一种对筛选出的所述各个代理IP进行排序：

[0065] 方式A：按照确定的所述IP分类预先指定的代理IP的属性项对筛选出的所述各个代理IP进行排序，组成代理IP列表，所述属性项包括响应速度、过滤能力或隐匿属性。可以理解的是，服务器可以预先设定各个IP分类指定的代理IP的属性项，一般来说，指定的属性项代表该IP分类所最关心、最重视的一项属性。例如，某个“深圳市”的IP分类预先指定的属性项为“响应速度”，因此，根据筛选出的各个代理IP的各自的响应速度从快到慢对这些代理IP进行排序，排序后组成该代理IP列表。方式A的好处是，可以使得响应速度最快的代理 IP优先被选取，然后采用该响应速度最快的代理IP访问目标网站并爬取数据，提高爬取数据的效率。

[0066] 方式B：对筛选出的所述各个代理IP进行随机排序，组成代理IP列表。方式B的好处在于，列表中的各个代理IP的顺序是随机的，不存在固定规律，在采用代理IP访问目标网站时，更不容易被目标网站察觉而拉入黑名单。

[0067] 对于上述步骤302，在组成代理IP列表之后，选取该代理IP列表中排行第一的代理

IP。

[0068] 105、采用选取出的代理IP访问所述目标网站，并执行本次数据爬取任务。

[0069] 在选取出代理IP之后，即可采用选取出的代理IP访问所述目标网站，并执行本次数据爬取任务。

[0070] 进一步地，为了进一步提高代理IP的安全性，减少目标网站察觉代理IP、拉入黑名单的可能性，本实施例还可以采用切换代理IP的方式来实现。具体地，采用下述方式一和方式二中的任一种方式处理：

[0071] 方式一：在执行本次数据爬取任务时，每间隔预设时长从筛选出的所述各个代理 IP中选取一个未被选取过的代理IP作为替换代理IP，然后采用所述替换代理IP重新访问所述目标网站，并继续执行本次数据爬取任务。比如，每十分钟重新选取另一个本次数据爬取任务中未被选取过的代理IP，切换重新选取的代理IP来访问目标网站，可以减少目标网站监测到服务器的爬取动作的可能性。

[0072] 方式二：在执行本次数据爬取任务时，在每爬取预设数据量后从筛选出的所述各个代理IP中选取一个未被选取过的代理IP作为替换代理IP，然后采用所述替换代理IP重新访问所述目标网站，并继续执行本次数据爬取任务。比如，针对一个目标网站爬取数据时，可以每爬取1G的数据后，重新选取另一个本次数据爬取任务中未被选取过的代理IP，切换重新选取的代理IP来访问目标网站，也可以减少目标网站监测到服务器的爬取动作的可能性。

[0073] 需要注意的是，在实际应用中，免费代理ip软件上述方式一和方式二可以单独采用，也可以结合在一起采用，本实施例不作限定。

[0074] 另外，对于上述方式一和/或方式二，若本实施例在之前将筛选出的所述各个代理 IP组成了代理IP列表，则在方式一和/或方式二的步骤中，所述从筛选出的所述各个代理IP 中选取一个未被选取过的代理IP作为替换代理IP具体为：从所述代理IP列表中选取下一个

6/8页

代理IP作为替换代理IP。

[0075] 本实施例中，首先，确定待爬取数据的目标网站；然后，根据所述目标网站的属性信息确定适用于所述目标网站的IP分类，各个预设的IP分类预设有各自适用的网站的属性信息；接着，从IP地址池中筛选出属于确定的所述IP分类的各个代理IP，所述IP地址池包括多个预先收集、归类、且互不相同的代理IP；再之，从筛选出的所述各个代理IP中选取一个代理IP；最后，采用选取出的代理IP访问所述目标网站，并执行本次数据爬取任务。在本实施例中，由于IP地址池中包括多个互不相同的代理IP，执行当前数据爬取任务时，从中筛选出合适的各个代理IP后，再选取一个代理IP进行访问和爬取数据，因此，不仅保证了爬取网站数据的代理IP来源的可靠性，而且避免了反复采用相同的代理IP爬取数据导致代理IP被封的情况，有利于爬取网站数据的顺利进行。

[0076] 应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，免费代理ip软件而不应对本发明实施例的实施过程构成任何限定。

[0077] 上面主要描述了一种采用代理IP爬取网站数据的方法，下面将对一种采用代理IP 爬取网站数据的装置进行详细描述。

[0078] 图4示出了本发明实施例中一种采用代理IP爬取网站数据的装置一个实施例结构图。

[0079] 本实施例中，一种采用代理IP爬取网站数据的装置包括：修改ip地址

[0080] 目标网站确定模块401，用于确定待爬取数据的目标网站；

[0081] 分类确定模块402，用于根据所述目标网站的属性信息确定适用于所述目标网站的IP分类，各个预设的IP分类预设有各自适用的网站的属性信息；

[0082] 代理IP筛选模块403，用于从IP地址池中筛选出属于确定的所述IP分类的各个代理IP，所述IP地址池包括多个预先收集、归类、且互不相同的代理IP；

[0083] 代理IP选取模块404，用于从筛选出的所述各个代理IP中选取一个代理IP；

[0084] 访问模块405，用于采用选取出的代理IP访问所述目标网站，并执行本次数据爬取任务。

[0085] 进一步地，所述IP地址池中的各个代理IP可以通过以下模块预先收集、归类：

[0086] IP爬取模块，用于从提供代理IP的网站上爬取各个代理IP；

[0087] 代理访问模块，用于采用爬取到的所述各个代理IP分别访问指定网站；

[0088] 属性值记录模块，用于记录访问指定网站时爬取到的所述各个代理IP的各属性项的属性值，所述属性项包括响应速度、过滤能力或隐匿属性；

[0089] IP归类模块，用于根据记录的属性值对爬取到的所述各个代理IP归类至预设的各个IP分类中。

[0090] 进一步地，所述采用代理IP爬取网站数据的装置还可以包括：

[0091] 第一IP切换模块，用于在执行本次数据爬取任务时，每间隔预设时长从筛选出的所述各个代理IP中选取一个未被选取过的代理IP作为替换代理IP，然后采用所述替换代理

IP重新访问所述目标网站，并继续执行本次数据爬取任务；

[0092] 或

[0093] 第二IP切换模块，用于在执行本次数据爬取任务时，在每爬取预设数据量后从筛 7/8页选出的所述各个代理IP中选取一个未被选取过的代理IP作为替换代理IP，然后采用所述替换代理IP重新访问所述目标网站，并继续执行本次数据爬取任务。

[0094] 进一步地，所述代理IP选取模块可以包括：

[0095] IP列表组成单元，用于按照预设规则对筛选出的所述各个代理IP进行排序，组成代理IP列表；

[0096] 第一IP选取单元，用于选取所述代理IP列表中排行第一的代理IP；

[0097] 所述第一IP切换模块包括：第一替换IP选取单元，用于每间隔预设时长从所述代理IP列表中选取下一个代理IP作为替换代理IP；

[0098] 所述第二IP切换模块包括：第二替换IP选取单元，用于在每爬取预设数据量后从所述代理IP列表中选取下一个代理IP作为替换代理IP。

[0099] 进一步地，所述IP列表组成单元可以包括：修改ip地址

[0100] 属性项排序子单元，用于按照确定的所述IP分类预先指定的代理IP的属性项对筛选出的所述各个代理IP进行排序，组成代理IP列表，所述属性项包括响应速度、过滤能力或隐匿属性；

[0101] 或

[0102] 随机排序子单元，用于对筛选出的所述各个代理IP进行随机排序，组成代理IP列表。

[0103] 进一步地，所述采用代理IP爬取网站数据的装置还可以包括：

[0104] 本地IP访问模块，用于采用本地IP访问所述目标网站；

[0105] 任务执行模块，用于若所述本地IP访问模块访问成功，免费代理ip软件则执行本次数据爬取任务；