对于反爬虫来说,部分对策可以选择Selenium模拟器进行爬取,但是问题来了,如何设置请求头呢,模拟器是怎样伪装的呢?
目录:
- 一:selenium设置phantomjs请求头
- 二:selenium设置chrome请求头
- 三:selenium设置chrome–cookie
- 四:selenium设置phantomjs-图片不加载
一:selenium设置phantomjs请求头:
设置http://www.cnblogs.com/TTyb/p/6128323.html 网址,可看见自己设置的头文件,感谢百度
如代码:
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
'Connection': 'keep-alive'
}
cap = DesiredCapabilities.PHANTOMJS.copy() # 使用copy()防止修改原代码定义dict
for key, value in headers.items():
cap['phantomjs.page.customHeaders.{}'.format(
key)] = value
browser = webdriver.PhantomJS(desired_capabilities=cap)
browser.get("http://httpbin.org/get?show_env=1")
# print(browser.page_source)
browser.get_screenshot_as_file('01.png')
browser.close()
二:selenium设置chrome请求头:
来源 http://www.cnblogs.com/TTyb/p/6128323.html ,感恩原作者
from selenium import webdriver # 进入浏览器设置
options = webdriver.ChromeOptions() # 设置中文
options.add_argument('lang=zh_CN.UTF-8') # 更换头部
options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"')
browser = webdriver.Chrome(chrome_options=options)
browser.get("http://httpbin.org/get")
print(browser.page_source)
browser.close()
三:selenium设置chrome–cookie:
cookie用于模拟登陆,记录会话
from selenium import webdriver
browser = webdriver.Chrome()
browser.get("https://www.baidu.com/")
new_window = 'window.open("https://www.baidu.com");' # 打开新窗口
browser.delete_all_cookies() # 删除原来的cookie
browser.add_cookie({'name': 'ABC', 'value': 'DEF'}) # 携带cookie打开
browser.execute_script(new_window) # 通过js新打开一个窗口
input("查看效果")
browser.close()
四:selenium设置phantomjs-图片不加载:
from selenium import webdriver
options = webdriver.ChromeOptions()
prefs = {
'profile.default_content_setting_values': {
'images': 2
}
}
options.add_experimental_option('prefs', prefs)
browser = webdriver.Chrome(chrome_options=options)
browser.get("http://image.baidu.com/")
input("是否有图")
browser.close()
效果如图:
特此记录,以备不时之需