User-Agent 就是用户代理,又叫报头,是一串字符串,相当于浏览器的身份证号,我们在利用python发送请求的时候,默认为: python-requests/2.22.0
,所以我们在利用爬虫爬取网站数据时,频繁更换它可以避免触发相应的反爬机制。为了解决这个问题,我们引入了fake-useragent,fake-useragent对频繁更换User-Agent提供了很好的支持,可谓防反扒利器。下面我们就介绍fake-useragent。
安装
pip install fake-useragent
使用
from fake_useragent import UserAgent
headers= {'User-Agent':str(UserAgent().random)}
r = requests.get(url, proxies=proxies, headers=headers, timeout=10)
fake-useragent Maximum amount of retries reached 错误的解决方法
添加参数verify_ssl=False
也就是:UserAgent(verify_ssl=False).random