『壹』 爬蟲用哪個好
爬蟲用ForeSpider數據採集系統好。
ForeSpider數據採集系統是天津市前嗅網路科技有限公司自主知識產權的通用性互聯網數據採集軟體。軟體幾乎可以採集互聯網上所有公開的數據，通過可視化的操作流程，從建表、過濾、採集到入庫一步到位。支持正則表達式操作，更有強大的面向對象的腳本語言系統。台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。軟體特點：一．通用性：可以抓取互聯網上幾乎100%的數據1.支持用戶登錄。2.支持Cookie技術。3.支持驗證碼識別。4.支持HTTPS安全協議。5.支持OAuth認證。6.支持POST請求。7.支持搜索欄的關鍵詞搜索採集。8.支持JS動態生成頁面採集。9.支持IP代理採集。10.支持圖片採集。11.支持本地目錄採集。12.內置面向對象的腳本語言系統，配置腳本可以採集幾乎100%的互聯網信息。二．高質量數據：精準採集所需數據1.獨立知識產權JS引擎，精準採集。2.內部集成資料庫，數據直接採集入庫。3.內部創建數據表結構，抓取數據後直接存入資料庫相應欄位。4.根據dom結構自動過濾無關信息。5.通過模板配置鏈接抽取和數據抽取，目標網站的所有可見內容均可採集，智能過濾無關信息。6.採集前數據可預覽採集，隨時調整模板配置，提升數據精度和質量。7.欄位的數據支持多種處理方式。8.支持正則表達式，精準處理數據。9.支持腳本配置，精確處理欄位的數據。
智能：智能模擬用戶和瀏覽器行為1.智能模擬瀏覽器和用戶行為，突破反爬蟲限制。2.自動抓取網頁的各類參數和下載過程的各類參數。
『貳』 java開源web爬蟲哪個好用
Lucene+nutch+heritrix網上可以找得到源代碼，開源的搜索引擎，包含爬蟲、檢索等功能。
Heritrix是一個爬蟲框架，可加如入一些可互換的組件。 它的執行是遞歸進行的，主要有以下幾步： 1。在預定的URI中選擇一個。 2。獲取URI 3。分析，歸檔結果 4。選擇已經發現的感興趣的URI。加入預定隊列。 5。標記已經處理過的URI 是IA的開放源代碼，可擴展的，基於整個Web的，歸檔網路爬蟲工程 Heritrix工程始於2003年初，IA的目的是開發一個特殊的爬蟲，對網上的 資源進行歸檔，建立網路數字圖書館，在過去的6年裡，IA已經建立了400TB的數據。 最新版本:heritrix-1.15.4 IA期望他們的crawler包含以下幾種： 寬頻爬蟲：能夠以更高的帶寬去站點爬。 主題爬蟲：集中於被選擇的問題。 持續爬蟲：不僅僅爬更當前的網頁還負責爬日後更新的網頁。 實驗爬蟲：對爬蟲技術進行實驗，以決定該爬什麼，以及對不同協議的爬蟲 爬行結果進行分析的。 Heritrix的主頁是http://crawler.archive.org Heritrix是一個爬蟲框架，可加如入一些可互換的組件。 它的執行是遞歸進行的，主要有以下幾步： 1。在預定的URI中選擇一個。 2。獲取URI 3。分析，歸檔結果 4。選擇已經發現的感興趣的URI。加入預定隊列。 5。標記已經處理過的URI
[編輯本段]部件
主要部件
Heritrix主要有三大部件：范圍部件，邊界部件，處理器鏈 范圍部件：主要按照規則決定將哪個URI入隊。 邊界部件：跟蹤哪個預定的URI將被收集，和已經被收集的URI，選擇下一個 URI，剔除已經處理過的URI。 處理器鏈：包含若干處理器獲取URI，分析結果，將它們傳回給邊界部件
其餘部件
WEB管理控制台：大多數都是單機的WEB應用，內嵌JAVA HTTP 伺服器。 操作者可以通過選擇Crawler命令來操作控制台。 Crawler命令處理部件：包含足夠的信息創建要爬的URI。 Servercache（處理器緩存）：存放伺服器的持久信息，能夠被爬行部件隨時查到，包括IP地址，歷史記錄，機器人策略。 處理器鏈： 預取鏈：主要是做一些准備工作，例如，對處理進行延遲和重新處理，否決隨後的操作。 提取鏈：主要是獲得資源，進行DNS轉換，填寫請求和響應表單 抽取鏈：當提取完成時，抽取感興趣的HTML，JavaScript，通常那裡有新的也適合的URI，此時URI僅僅被發現，不會被評估 寫鏈：存儲爬行結果，返回內容和抽取特性，過濾完存儲。 提交鏈：做最後的維護，例如，測試那些不在范圍內的，提交給邊界部件
[編輯本段]關鍵特性
Heritrix 1.0.0包含以下關鍵特性： 1.用單個爬蟲在多個獨立的站點一直不斷的進行遞歸的爬。 2。從一個提供的種子進行爬，收集站點內的精確URI，和精確主機。 3。主要是用廣度優先演算法進行處理。 4。主要部件都是高效的可擴展的 5。良好的配置，包括： a。可設置輸出日誌，歸檔文件和臨時文件的位置 b。可設置下載的最大位元組，最大數量的下載文檔，和最大的下載時間。 c。可設置工作線程數量。 d。可設置所利用的帶寬的上界。 e。可在設置之後一定時間重新選擇。 f。包含一些可設置的過濾機制，表達方式，URI路徑深度選擇等等。 Heritrix的局限： 1。單實例的爬蟲，之間不能進行合作。 2。在有限的機器資源的情況下，卻要復雜的操作。 3。只有官方支持，僅僅在Linux上進行了測試。 4。每個爬蟲是單獨進行工作的，沒有對更新進行修訂。 5。在硬體和系統失敗時，恢復能力很差。
『叄』 heritrix定製
1、編寫一個FrontierSchelerForBai.java，代碼如下：
package Bai;
import java.util.logging.Logger;
import org.archive.crawler.datamodel.CandidateURI;
import org.archive.crawler.postprocessor.FrontierScheler;
public class extends FrontierScheler
{
private static Logger LOGGER = Logger.getLogger(
.class.getName());
public (String name) {
super(name);
}
protected void schele(CandidateURI caUri) {
String url = caUri.toString();
try {
if (url.indexOf(".com") != -1
|| url.indexOf("robots.txt") != -1
|| url.indexOf("dns:") != -1)
{
getController().getFrontier().schele(caUri);
}
else {
return;
}
} catch (Exception e) {
e.printStackTrace();
} finally {
}
}
}
2、保存代碼，然後，在 moles 文件夾中的 Processor.options 中添加一行「org.archive.crawler.postprocessor.FrontierSchelerForBai」
3、最後登錄爬蟲的web管理頁，新建任務，選擇使用
org.archive.crawler.postprocessor.FrontierSchelerForBai選項
這樣就完成了Heritrix的定製了。
『肆』 heritrix中怎麼設置只抓取文本數據，不抓取其它數據
可以利用jsoup將抓取的網頁進行過濾，只得到文本
『伍』 Heritrix測試爬蟲，為什麼沒有mirror文件夾呢，在哪兒看下載下來的圖片之類的文件jobs裡面的文件是
將ARCWriterProcessor這項，修改成MirrorWriterProcessor才會保存為鏡像文件的，選擇完之後點擊Add，這時在看這個選項，發現多了一個mirror write processor,把沒用掉的remove掉即可，
『陸』 Heritrix 抓取網頁的有關問題
需要用正則表達式來過濾到你不想要的東西,抓取和過濾的原理是一樣的,就是具有共性的頭和尾,把中間部分抓出來.
正則表達式在抓取中應用比較多,也可以稱之為一種規則,你抓取內容要按照一定的規則來抓取,無用的你還得按照一定的規則過濾.
『柒』 Heritrix3.0如何配置控制爬網內容類型
有一種空，叫蒼井空！
有一種風，叫松島楓！
有一種蘭，叫武騰蘭！
有一種柚，叫柚木提娜！
有一種百合，叫香坂百合！
有一種櫻，叫櫻井莉亞！
有一種沙，叫村上里沙！
有一種香，叫大澤佑香！
有一種愛，叫飯島愛！
有一種澤，叫小澤瑪利亞！
有一種步，叫吉澤明步！
有一種希，叫冢本友希！
有一種梨，叫佐藤江梨花！
有一種菜，叫深田梨菜！
有一種水，叫水城奈緒！
有一種夏，叫羽田夕夏！
有一種妃，叫瀨戶早妃！
有一種尋，叫原千尋！
有一種花，叫立花里子！
有一種遙，叫伊東遙！
有一種月，叫持月真由！
有一種原，叫上原空！
有一種杏，叫南波杏！
有一種友，叫愛田友！
有一種衣，叫波多野結衣！
有一種木，叫亞木優！
有一種白，叫真白希實！
有一種野，叫花野真衣
『捌』 求一個簡單的網頁設計（要求源代碼）！非常感謝！
heritrix抓取網頁
網頁解析的有很多就不說了，不過最好自己寫
lucene索引
首先爬蟲是需要一個處理器鏈的，網頁的抓取並非幾十行代碼就能實現的，因為有很多問題出
現。
1.獲取網頁：判斷網頁編碼，計算網頁正文位置，獲取頁面內url（url的過濾、緩存、存儲這部分還需要線程池的優化），url的分配、及線程池的啟動。
2.網頁持久化。網頁解析，網頁中樣式表、圖片等下載以及網頁的保存（xml和html）網頁快照的生成。
3.網頁的消重去噪：去掉沒用的網頁，如果是垂直搜索引擎則需要更多的判斷，可以利用內容模板和空間向量的演算法實現。
4.索引的建立及優化，主要是簡歷倒排索引。
你的分類基本上可以用內容模板和空間向量計算實現。
還有其他很多東西，一時間不能說細了。你想做到什麼程度。（比如：空間向量的演算法及結果的參考值、網頁內容模板的建立。）