网站反爬之封IP应对措施
- 后端
- 小白学大数据
- 0
作为爬虫工作者爬取数据是基本的技能，在日常获取数据的过程中遇到网站反爬也是家常事，网站的反爬方式有很多，今天我们重点来分析下封IP的行为。这种情况下大家都是很简单的使用代理IP就解决了，但是网上ip代理有很多家，到底选哪家好呢？这里推荐口碑很好的亿牛云代理，并且本文附上了使用的demo，如果需要大规模抓取可以去试试python。 在官网我们可以看到有提供两种方式进行代理，一种是api模式，一种是隧道模式。Api模式就是我们爬虫最常用到的，就是提供url连接给你，你的程序自动的获取代理信息。这个模式适合自己需要管理ip池控制ip的使用，ip的有效时间是2到10分钟；隧道模式就提供给你一个固定的服务器ip地址信息，包括ip：端口：用户名：密码只需要将代理信息配置到程序里面就可以使用，他们后台会自动切换ip，这个模式很方便，简单。 1、第一种方式 第一种方式 首先代理提供商会提供给你一个api接口，你可以通过这个接口去获取ip和端口号。但是这些ip的时效是2到10分钟，所以我建立了一个ip池，每两分钟去更新一次ip池，以确保这些ip每次用到的时候都是有效的。 第二种方式 隧道模式的使用比较简单，尤其对很多小白来说很好容易就学会，这里附上一份简单的代理使用示例，亿牛云代理接入文档php代码。 <?php // 要访问的目标页面 $url = "http://httpbin.org/ip"; $urls = "https://httpbin.org/ip"; // 代理服务器 define("PROXY_SERVER", "tcp://t.16yun.cn:31111"); // 隧道身份信息 define("PROXY_USER", "16YUN123"); define("PROXY_PASS", "123456"); $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);
免责申明：本站发布的内容（图片、视频和文字）以转载和分享为主，文章观点不代表本站立场，如涉及侵权请联系站长邮箱：xbc-online@qq.com进行反馈，一经查实，将立刻删除涉嫌侵权内容。
