python爬虫反爬取---设置IP代理自动变换requests.get()中proxy的IP
发布时间:2018-07-04
今天做了个随机变换IP的功能
由于今天懒得写爬虫爬取西刺网 (http://www.xicidaili.com/wt/) 的ip和端口号
就简单写了个py来用人肉的方法一个一个试IP(捂脸),事实证明太傻了
__author__ = 'Lee'
from headers import requests_headers # 上一篇文章中所写的自动转变headers文件
from bs4 import BeautifulSoup
import requests
header = requests_headers() #调用requests_headers() 返回一个随机的headers文件
proxies = {'http': 'http://139.0.28.18:8080'} #这个地方换一下ip和端口号
url = 'http://www.whatismyip.com.tw' #访问这个网站可以返回你的IP地址 以此验证是否变换成功
try:
wb_data = requests.get(url,headers=header,proxies=proxies,timeout=5) #timeout 限定5秒相应后就退出执行
soup = BeautifulSoup(wb_data.text,'lxml')
print(soup)
except(requests.exceptions.ProxyError,requests.exceptions.ConnectTimeout):
print('failed!')
#国外IP 1.179.183.86:8080 113.53.231.201:3129 182.23.28.180:3128 182.253.177.59:3128 139.0.28.18:8080
下边是用获得的三个IP做的自动变换proxy文件
__author__ = 'Lee'
import random
ip_pool = [
'119.98.44.192:8118',
'111.198.219.151:8118',
'101.86.86.101:8118',
]
def ip_proxy():
ip = ip_pool[random.randrange(0,3)]
proxy_ip = 'http://'+ip
proxies = {'http':proxy_ip}
return proxies
print(ip_proxy())
热门文章
nginx+php 开启PHP错误日志
行业早报2019-01-15为什么你说了很多遍,对方还是不听? 2018-09-25
行业早报2019-01-15【Ruby on Rails实战】3.1 宠物之家论坛管理系统介绍
行业早报2019-01-15从凡人到筑基期的单片机学习之路
行业早报2019-01-15jmeter单台大数量并发
行业早报2019-01-15Go在Windows下开发环境搭建
行业早报2019-01-15ES-科普知识篇
行业早报2019-01-15Hbase 之 由 Zookeeper Session Expired 引发的 HBASE 思考
行业早报2019-01-15谷歌大脑专家详解:深度学习可以促成哪些产品突破?
行业早报2019-01-15EventLoop
行业早报2019-01-15
相关推荐