IP模擬器
代理IP被禁怎么辦？隨著互聯(lián)網(wǎng)時代的發(fā)展，爬蟲IP的使用越來越普遍，爬蟲IP的使用也并非暢通無阻。我們也會遇到這樣的情況，就是爬蟲IP被封禁，那么爬蟲代理IP被封禁怎么辦？
爬蟲和反爬蟲從來都是一個高一尺高一丈的姿態(tài)。反爬蟲技術(shù)增加了爬行的難度。各種爬蟲的抓取過程可以說是與各種站長的斗智斗勇，各種解決方案可謂層出不窮。不過這里的“簡單”解決方案，肯定是基于一些基本方法，分分鐘就能上手。
用戶代理偽裝和輪換
不同版本的瀏覽器有不同的user_agent，是瀏覽器類型的詳細信息，也是瀏覽器提交Http請求的重要頭信息。我們可以為每個請求提供不同的user_agent，繞過網(wǎng)站檢測客戶端的反爬蟲機制。例如，您可以將許多user_agent放在一個列表中，每次隨機選擇一個來提交訪問請求。使用代理IP和輪換
檢查ip的訪問狀態(tài)是網(wǎng)站反爬行機制最喜歡的方式。此時，您可以更改不同的ip地址來抓取內(nèi)容。當(dāng)然，你有很多主機或vps有公共ip地址，這是一個更好的選擇。如果沒有，可以考慮用代理服務(wù)器幫你獲取網(wǎng)頁內(nèi)容，然后轉(zhuǎn)發(fā)回你的電腦。代理透明性可分為透明代理、匿名代理和高度匿名代理:
透明性:目標(biāo)網(wǎng)站知道你使用了代理和你的源IP地址，顯然不符合這里使用代理的初衷。
匿名代理:匿名程度比較低，就是網(wǎng)站知道你用了代理，但是不知道你的源IP地址。
高隱藏代理:這是最安全的方法。目標(biāo)網(wǎng)站不知道你用的代理，也不知道你的源IP。
獲取代理的方式是購買，當(dāng)然也可以免費爬。這里(http://www.xicidaili.com/nn/)有一個提供免費代理的網(wǎng)站，你可以爬下來使用，但是免費代理通常不夠穩(wěn)定。
設(shè)置訪問時間間隔
很多網(wǎng)站的反爬蟲機制都設(shè)置了訪問間隔時間，如果一個IP短時間內(nèi)超過規(guī)定次數(shù)，就會進入“冷卻光盤”，所以除了輪換IP和user_agent
您可以將訪問間隔設(shè)置得更長，例如在不抓取頁面的情況下隨機休眠一段時間:
Time，random time . sleep(random . random()* 3)對于一個爬蟲來說，這是一種更負責(zé)任的做法。
從上面我們知道爬蟲可能會造成訪問對方網(wǎng)站的負載壓力，所以這種防范不僅可以在一定程度上防止被屏蔽，還可以減輕對方的訪問壓力。
