『壹』 爬虫用哪个好
爬虫用ForeSpider数据采集系统好。
ForeSpider数据采集系统是天津市前嗅网络科技有限公司自主知识产权的通用性互联网数据采集软件。软件几乎可以采集互联网上所有公开的数据，通过可视化的操作流程，从建表、过滤、采集到入库一步到位。支持正则表达式操作，更有强大的面向对象的脚本语言系统。台式机单机采集能力可达4000-8000万，日采集能力超过500万。服务器单机集群环境的采集能力可达8亿-16亿，日采集能力超过4000万。并行情况下可支撑百亿以上规模数据链接，堪与网络等搜索引擎系统媲美。软件特点：一．通用性：可以抓取互联网上几乎100%的数据1.支持用户登录。2.支持Cookie技术。3.支持验证码识别。4.支持HTTPS安全协议。5.支持OAuth认证。6.支持POST请求。7.支持搜索栏的关键词搜索采集。8.支持JS动态生成页面采集。9.支持IP代理采集。10.支持图片采集。11.支持本地目录采集。12.内置面向对象的脚本语言系统，配置脚本可以采集几乎100%的互联网信息。二．高质量数据：精准采集所需数据1.独立知识产权JS引擎，精准采集。2.内部集成数据库，数据直接采集入库。3.内部创建数据表结构，抓取数据后直接存入数据库相应字段。4.根据dom结构自动过滤无关信息。5.通过模板配置链接抽取和数据抽取，目标网站的所有可见内容均可采集，智能过滤无关信息。6.采集前数据可预览采集，随时调整模板配置，提升数据精度和质量。7.字段的数据支持多种处理方式。8.支持正则表达式，精准处理数据。9.支持脚本配置，精确处理字段的数据。
智能：智能模拟用户和浏览器行为1.智能模拟浏览器和用户行为，突破反爬虫限制。2.自动抓取网页的各类参数和下载过程的各类参数。
『贰』 java开源web爬虫哪个好用
Lucene+nutch+heritrix网上可以找得到源代码，开源的搜索引擎，包含爬虫、检索等功能。
Heritrix是一个爬虫框架，可加如入一些可互换的组件。 它的执行是递归进行的，主要有以下几步： 1。在预定的URI中选择一个。 2。获取URI 3。分析，归档结果 4。选择已经发现的感兴趣的URI。加入预定队列。 5。标记已经处理过的URI 是IA的开放源代码，可扩展的，基于整个Web的，归档网络爬虫工程 Heritrix工程始于2003年初，IA的目的是开发一个特殊的爬虫，对网上的 资源进行归档，建立网络数字图书馆，在过去的6年里，IA已经建立了400TB的数据。 最新版本:heritrix-1.15.4 IA期望他们的crawler包含以下几种： 宽带爬虫：能够以更高的带宽去站点爬。 主题爬虫：集中于被选择的问题。 持续爬虫：不仅仅爬更当前的网页还负责爬日后更新的网页。 实验爬虫：对爬虫技术进行实验，以决定该爬什么，以及对不同协议的爬虫 爬行结果进行分析的。 Heritrix的主页是http://crawler.archive.org Heritrix是一个爬虫框架，可加如入一些可互换的组件。 它的执行是递归进行的，主要有以下几步： 1。在预定的URI中选择一个。 2。获取URI 3。分析，归档结果 4。选择已经发现的感兴趣的URI。加入预定队列。 5。标记已经处理过的URI
[编辑本段]部件
主要部件
Heritrix主要有三大部件：范围部件，边界部件，处理器链 范围部件：主要按照规则决定将哪个URI入队。 边界部件：跟踪哪个预定的URI将被收集，和已经被收集的URI，选择下一个 URI，剔除已经处理过的URI。 处理器链：包含若干处理器获取URI，分析结果，将它们传回给边界部件
其余部件
WEB管理控制台：大多数都是单机的WEB应用，内嵌JAVA HTTP 服务器。 操作者可以通过选择Crawler命令来操作控制台。 Crawler命令处理部件：包含足够的信息创建要爬的URI。 Servercache（处理器缓存）：存放服务器的持久信息，能够被爬行部件随时查到，包括IP地址，历史记录，机器人策略。 处理器链： 预取链：主要是做一些准备工作，例如，对处理进行延迟和重新处理，否决随后的操作。 提取链：主要是获得资源，进行DNS转换，填写请求和响应表单 抽取链：当提取完成时，抽取感兴趣的HTML，JavaScript，通常那里有新的也适合的URI，此时URI仅仅被发现，不会被评估 写链：存储爬行结果，返回内容和抽取特性，过滤完存储。 提交链：做最后的维护，例如，测试那些不在范围内的，提交给边界部件
[编辑本段]关键特性
Heritrix 1.0.0包含以下关键特性： 1.用单个爬虫在多个独立的站点一直不断的进行递归的爬。 2。从一个提供的种子进行爬，收集站点内的精确URI，和精确主机。 3。主要是用广度优先算法进行处理。 4。主要部件都是高效的可扩展的 5。良好的配置，包括： a。可设置输出日志，归档文件和临时文件的位置 b。可设置下载的最大字节，最大数量的下载文档，和最大的下载时间。 c。可设置工作线程数量。 d。可设置所利用的带宽的上界。 e。可在设置之后一定时间重新选择。 f。包含一些可设置的过滤机制，表达方式，URI路径深度选择等等。 Heritrix的局限： 1。单实例的爬虫，之间不能进行合作。 2。在有限的机器资源的情况下，却要复杂的操作。 3。只有官方支持，仅仅在Linux上进行了测试。 4。每个爬虫是单独进行工作的，没有对更新进行修订。 5。在硬件和系统失败时，恢复能力很差。
『叁』 heritrix定制
1、编写一个FrontierSchelerForBai.java，代码如下：
package Bai;
import java.util.logging.Logger;
import org.archive.crawler.datamodel.CandidateURI;
import org.archive.crawler.postprocessor.FrontierScheler;
public class extends FrontierScheler
{
private static Logger LOGGER = Logger.getLogger(
.class.getName());
public (String name) {
super(name);
}
protected void schele(CandidateURI caUri) {
String url = caUri.toString();
try {
if (url.indexOf(".com") != -1
|| url.indexOf("robots.txt") != -1
|| url.indexOf("dns:") != -1)
{
getController().getFrontier().schele(caUri);
}
else {
return;
}
} catch (Exception e) {
e.printStackTrace();
} finally {
}
}
}
2、保存代码，然后，在 moles 文件夹中的 Processor.options 中添加一行“org.archive.crawler.postprocessor.FrontierSchelerForBai”
3、最后登录爬虫的web管理页，新建任务，选择使用
org.archive.crawler.postprocessor.FrontierSchelerForBai选项
这样就完成了Heritrix的定制了。
『肆』 heritrix中怎么设置只抓取文本数据，不抓取其它数据
可以利用jsoup将抓取的网页进行过滤，只得到文本
『伍』 Heritrix测试爬虫，为什么没有mirror文件夹呢，在哪儿看下载下来的图片之类的文件jobs里面的文件是
将ARCWriterProcessor这项，修改成MirrorWriterProcessor才会保存为镜像文件的，选择完之后点击Add，这时在看这个选项，发现多了一个mirror write processor,把没用掉的remove掉即可，
『陆』 Heritrix 抓取网页的有关问题
需要用正则表达式来过滤到你不想要的东西,抓取和过滤的原理是一样的,就是具有共性的头和尾,把中间部分抓出来.
正则表达式在抓取中应用比较多,也可以称之为一种规则,你抓取内容要按照一定的规则来抓取,无用的你还得按照一定的规则过滤.
『柒』 Heritrix3.0如何配置控制爬网内容类型
有一种空，叫苍井空！
有一种风，叫松岛枫！
有一种兰，叫武腾兰！
有一种柚，叫柚木提娜！
有一种百合，叫香坂百合！
有一种樱，叫樱井莉亚！
有一种沙，叫村上里沙！
有一种香，叫大泽佑香！
有一种爱，叫饭岛爱！
有一种泽，叫小泽玛利亚！
有一种步，叫吉泽明步！
有一种希，叫冢本友希！
有一种梨，叫佐藤江梨花！
有一种菜，叫深田梨菜！
有一种水，叫水城奈绪！
有一种夏，叫羽田夕夏！
有一种妃，叫濑户早妃！
有一种寻，叫原千寻！
有一种花，叫立花里子！
有一种遥，叫伊东遥！
有一种月，叫持月真由！
有一种原，叫上原空！
有一种杏，叫南波杏！
有一种友，叫爱田友！
有一种衣，叫波多野结衣！
有一种木，叫亚木优！
有一种白，叫真白希实！
有一种野，叫花野真衣
『捌』 求一个简单的网页设计（要求源代码）！非常感谢！
heritrix抓取网页
网页解析的有很多就不说了，不过最好自己写
lucene索引
首先爬虫是需要一个处理器链的，网页的抓取并非几十行代码就能实现的，因为有很多问题出
现。
1.获取网页：判断网页编码，计算网页正文位置，获取页面内url（url的过滤、缓存、存储这部分还需要线程池的优化），url的分配、及线程池的启动。
2.网页持久化。网页解析，网页中样式表、图片等下载以及网页的保存（xml和html）网页快照的生成。
3.网页的消重去噪：去掉没用的网页，如果是垂直搜索引擎则需要更多的判断，可以利用内容模板和空间向量的算法实现。
4.索引的建立及优化，主要是简历倒排索引。
你的分类基本上可以用内容模板和空间向量计算实现。
还有其他很多东西，一时间不能说细了。你想做到什么程度。（比如：空间向量的算法及结果的参考值、网页内容模板的建立。）