很多人想使用免費的代理IP。 畢竟不花錢，但是免費代理IP的費率大家應(yīng)該都知道吧。 所以，即使你不想花錢，現(xiàn)實也不允許。 對于需要使用爬蟲爬取數(shù)據(jù)的人來說，時間比購買代理IP要貴很多。 那么誰在使用免費代理IP？  

 

一般來說，營銷推廣需要少量IP的人，以及剛開始爬行的人，那么如何獲得免費代理IP呢？ 獲取免費代理IP后，爬蟲如何設(shè)置代理IP？  

 

 如何獲得免費代理IP

 

1.找?guī)讉€提供免費IP代理的網(wǎng)站，獲取IP數(shù)據(jù)源。  

 

2.驗證對應(yīng)的IP代理訪問出口IP是否與機器的出口IP一致，得到不一致的IP代理列表。  

 

3.根據(jù)您要訪問的網(wǎng)站，過濾掉無效的代理IP。 因為不是所有的代理都可以使用，可能的原因是我們的網(wǎng)絡(luò)連接不上這個代理，或者這個代理連接不上我們的目標(biāo)網(wǎng)址，所以我們踢掉了無效的代理。  

 

4.根據(jù)自己的實驗?zāi)康尿炞CIP代理的響應(yīng)速度，排序，選擇最好的。  

 

爬蟲設(shè)置代理IP的方法 

 

1.使用Python3，先導(dǎo)入urllib的請求，然后調(diào)用ProxyHandler，可以接收代理IP的參數(shù)。  

 

動態(tài) IP 模擬器

 

2.將IP地址以字典的形式放入其中，設(shè)置代理類型、IP地址和端口。 例如： 

 

 動態(tài) IP 模擬器 

 

3. 使用 build_opener() 構(gòu)建一個 opener 對象。  

 

動態(tài)IP模擬器 

 

4.調(diào)用構(gòu)造的opener對象中的open方法發(fā)出請求。 其實urlopen類似于使用內(nèi)部定義的opener.open()，相當(dāng)于我們自己重寫。  

 

動態(tài)IP模擬器

 

 5.如果我們使用install_opener()，我們可以將之前自定義的opener設(shè)置為全局。  

 

動態(tài) IP 模擬器

]

6。 設(shè)置為global后，使用urlopen發(fā)送請求，這樣發(fā)送請求的IP地址就是代理IP，而不是本機的IP地址。  

 

動態(tài)IP模擬器

 

注意如果在使用代理時遇到錯誤提示目標(biāo)電腦主動拒絕無法連接，說明可能是代理IP無效或端口 號碼錯了。 替換有效的代理IP。  

 

以上就是爬蟲設(shè)置代理IP的方法。 圖文介紹比較清楚，設(shè)置也不難。 對于使用Python爬蟲的人來說，這可以說是一項基礎(chǔ)工作，但也是必要的。 由于爬蟲采集數(shù)據(jù)，通常會遇到IP限制的問題，在保證速度的情況下，使用代理IP是目前最有效的方法。