selenium+python設(shè)置爬蟲(chóng)代理IP的方法

1.設(shè)置后臺(tái)

是使用selenium瀏覽器渲染技術(shù)，當(dāng)我們爬取某個(gè)網(wǎng)站的信息時(shí) ，一般情況下，速度不是特別快。 另外，需要使用selenium瀏覽器渲染技術(shù)進(jìn)行爬取的網(wǎng)站，反爬蟲(chóng)響應(yīng)技術(shù)都比較強(qiáng)大，對(duì)IP訪問(wèn)的頻率有很大的限制。 因此，如果要提高selenium爬取數(shù)據(jù)的速度，可以從兩個(gè)方面入手： 

 

第一，爬取頻率要提高，出現(xiàn)的驗(yàn)證信息 破解一般是驗(yàn)證碼或者用戶(hù)登錄。  

 

第二個(gè)方面是使用多線程+代理IP。 這種方法需要電腦有足夠的內(nèi)存和足夠穩(wěn)定的代理IP。  

 

2。 為chrome

 

動(dòng)態(tài)IP模擬器設(shè)置代理IP

 

注意：

一、選擇一個(gè)穩(wěn)定固定的代理IP。 不要選擇動(dòng)態(tài)代理IP。 我們常用的爬蟲(chóng)IP代理一般都是高度匿名的動(dòng)態(tài)IP，保密性高，通過(guò)撥號(hào)動(dòng)態(tài)生成，時(shí)效很短，一般3分鐘左右。 非常適合高并發(fā)不需要登錄的爬蟲(chóng)，比如scrapy，但是不適合瀏覽器渲染的爬蟲(chóng)。  

 

二、選擇更快的代理IP。 因?yàn)閟elenium爬蟲(chóng)使用瀏覽器渲染技術(shù)，這種瀏覽器渲染技術(shù)天生就慢。 如果選擇的代理IP較慢，則爬取時(shí)間會(huì)進(jìn)一步增加。  

 

三、必須有足夠的電腦內(nèi)存。 由于chrome占用大量?jī)?nèi)存，在高并發(fā)的情況下，很容易導(dǎo)致瀏覽器崩潰，即程序崩潰。  

 

四、程序最后調(diào)用browser.quit()清除瀏覽器緩存。  

 

3。 需要用戶(hù)名和密碼認(rèn)證的代理