北京中科白癜风医院爱心公益 https://wapjbk.39.net/yiyuanzaixian/bjzkbdfyy/jzpj/想通过某网站的查询功能,爬去查询结果,但是却提示ip被封了,应该怎么做才能解决ip被封的情况,代理ip真的有用吗?
四叶天爬虫代理ip
单一IP访问频率过高或访问次数过多就可能会被目标网站限制访问或直接拉小黑屋,需要切换代理IP才能继续进行数据采集,推荐使用隧道代理,能自动切换代理IP,更为稳定便捷,以下是对部分代理供应商的HTTP隧道代理测试:
一、测试环境
系统:CentOSLinuxrelease7.9.(Core)
语言:Python2.7
gevent==1.1.2
requests==2.18.4
pymysql==0.9.3
prettytable==1.0.1
toml==0.10.2
数据库:MySQL
二、测试对象
十家代理供应商的隧道代理产品:
四叶天代理
快代理
阿布云
青果云
小象代理
品易代理
极光代理
无忧代理
蜻蜓代理
熊猫代理
三、测试网站
以下测试网站除了少部分验证header中某些参数以外,没有其他反爬,具体表现是同一个IP频繁请求会出现验证码、、跳转登录、返回JS二次设置Cookie等情况,测试中已排除其他反爬,保证了测试结果只与IP的质量有关:
小红书:社区精选,随机文章详情页
亚马逊:随机商品详情页
天眼查:随机公司详情页
58同城:招聘搜索结果页
安居客:二手房随机小区
拼多多:网页端随机商品分类详细信息接口
百度贴吧:首页
四、测试指标
数据量:
统一50并发,测试时间2天
每个代理商累计请求量均50万,部分万
主要指标解释:
请求成功:指成功请求URL并拿到响应,不管是否返回的是反爬内容
业务成功:指在请求成功的前提下,拿到正确的数据,连接失败、超时、被反爬均视为失败
反爬识别:出现验证码、、跳转登录等情况
请求超时:timeout=10
代理报错:基本上是、、SSLError报错
五、数据分析
总体数据统计
由上表可知(排名分先后,从左到右):
请求成功率:1.四叶天2.快代理3.青果云
业务成功率:1.四叶天2.青果云3.小象
反爬识别率:1.四叶天2.蜻蜓3.阿布云
请求超时占比:1.阿布云2.四叶天3.蜻蜓
代理报错占比:1.四叶天2.快代理3.小象
平均响应(s):1.四叶天2.阿布云3.青果云
六、总结
综上全部测评完,四叶天代理ip(a-2.cn)确实很不错,现在也一直在使用,需要的朋友不妨可以注册试一下效果。