更新時間:2021-05-06 來源:黑馬程序員 瀏覽量:
網(wǎng)絡爬蟲,又稱為網(wǎng)頁蜘蛛、網(wǎng)絡機器人,是一種按照一定的規(guī)則,自動請求萬維網(wǎng)網(wǎng)站并提取網(wǎng)絡數(shù)據(jù)的程序或腳本。
如果說網(wǎng)絡像一張網(wǎng),那么爬蟲就是網(wǎng)上的一只小蟲子,在網(wǎng)上爬行的過程中遇到了數(shù)據(jù),就把它抓取下來。
這里的數(shù)據(jù)是指互聯(lián)網(wǎng)上公開的并且可以訪問到的網(wǎng)頁信息,而不是網(wǎng)站的后臺信息(沒有權限訪問),更不是用戶注冊的信息(非公開的)。
爬蟲具體能做些什么呢?接下來,我們通過一張圖來總結網(wǎng)絡爬蟲的常用功能,如圖1所示。
圖1 爬蟲的常用功能
圖1列舉了一些網(wǎng)絡爬蟲常用的功能。由該圖可知,通過網(wǎng)絡爬蟲可以代替手工完成很多事情。例如,使用網(wǎng)絡爬蟲搜集金融領域的數(shù)據(jù)資源,將金融經(jīng)濟的發(fā)展與相關數(shù)據(jù)進行集中處理,能夠為金融領域的各個方面如經(jīng)濟發(fā)展趨勢、金融投資、風險分析等提供“數(shù)據(jù)平臺”。
或者,瀏覽網(wǎng)頁上的信息時,會看到上面有很多廣告信息,十分擾人。這時,可以利用網(wǎng)絡爬蟲將網(wǎng)頁上的信息全部爬取下來,自動過濾掉這些廣告,便于對信息的閱讀。
再者,我們想從某個網(wǎng)站中購買商品,需要知道諸如暢銷品牌、價格走勢等信息。對于非網(wǎng)站管理員而言,手動統(tǒng)計是個很大的工程。這時,可以利用網(wǎng)絡爬蟲輕松地采集到這些數(shù)據(jù),以便做出進一步的分析。
再比如,你想推銷一些理財產(chǎn)品,需要找到一些目標客戶和他們的聯(lián)系方式。這時,可以利用網(wǎng)絡爬蟲設置對應的規(guī)則,自動從互聯(lián)網(wǎng)中采集到目標用戶的聯(lián)系方式等,以進行營銷使用。
總而言之,從互聯(lián)網(wǎng)中采集信息是一項重要的工作,如果單純地靠人力進行信息采集,不僅低效繁瑣,而且花費成本高。爬蟲的出現(xiàn)在一定的程度上代替了手工訪問網(wǎng)頁,能夠實現(xiàn)自動化采集互聯(lián)網(wǎng)的數(shù)據(jù),以更高地效率去利用互聯(lián)網(wǎng)中的有效信息。
猜你喜歡: