眾多的技術(shù)術(shù)語中,也許最廣為人知的是“網(wǎng)絡(luò)爬蟲”。事上,網(wǎng)絡(luò)爬蟲的名字就已經(jīng)顯示出了這種技術(shù)的效果,特別是如果它像密密麻麻的蠕蟲一樣均勻分布在網(wǎng)絡(luò)上,利用代理IP抓取到各個(gè)網(wǎng)站獲取數(shù)據(jù)。這也在一定程度上表達(dá)了人們對(duì)這項(xiàng)技術(shù)的情感傾向——爬蟲可能是無害的,但它們總是令人不快。
為了防止同一個(gè)代理IP訪問同一個(gè)網(wǎng)站,很有可能會(huì)長(zhǎng)時(shí)間屏蔽該IP訪問同一個(gè)網(wǎng)站。非常方便的解決了技術(shù)含量很高的IP代理問題,找IP代理也方便無煩惱。低成本維護(hù)服務(wù)器本身的成本太高,不亞于長(zhǎng)期可持續(xù)發(fā)展。
有一種說法,互聯(lián)網(wǎng)上60%的流量是由網(wǎng)絡(luò)爬蟲創(chuàng)造的。雖然這種說法有些夸張,但也反映出網(wǎng)絡(luò)爬蟲的普遍存在,爬蟲無處不在,因?yàn)樗鼈兘o互聯(lián)網(wǎng)公司帶來了收益。
IP模擬器