相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题： 论文网

(1) 对抓取目标的描述或定义； 

(2) 对网页或数据的分析与过滤； 

(3) 对URL的搜索策略。 

抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。

2.1.3目标抓取 

现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为： 

（1） 预先给定的初始抓取种子样本； 

（2） 预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等； 

（3） 通过用户行为确定的抓取目标样例，分为： 

（a) 用户浏览过程中显示标注的抓取样本； 

（b) 通过用户日志挖掘得到访问模式及相关样本。 

    其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。 现有的聚焦爬虫对抓取目标的描述或定义可以分为基于目标网页特征，基于目标数据模式和基于领域概念三种。 

    基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。具体的方法根据种子样本的获取方式可以分为：预先给定的初始抓取种子样本；预先给定的网页分类目录和与分类目录对应的种子样本；通过用户行为确定的抓取目标样例。其中，网页特征可以是 网页的内容特征，也可以是网页的链接结构特征等。 

    基于目标数据模式的爬虫针对的是网页上的数据，所抓取的数据一般要符合一定的模式，或者可以转化或映射为目标数据模式。 另一种描述方式是建立目标领域的本体或词典，用于从语义角度分析不同特征在某一主题中的重要程度。文献综述

2.1.4网页搜索策略

网页的抓取策略可以分为深度优先、广度优先和最佳优先三种。深度优先在很多情况下会导致爬虫的陷入(trapped)问题，目前常见的是广度优先和最佳优先方法。 

（1）广度优先搜索策略 

    广度优先搜索策略是指在抓取过程中，在完成当前层次的搜索后，才进行下一层次的搜索。该算法的设计和实现相对简单。在目前为覆盖尽可能多的网页， 一般使用广度优先搜索方法。也有很多研究将广度优先搜索策略应用于聚焦爬虫中。其基本思想是认为与初始URL在一定链接距离内的网页具有主题相关性的概率 很大。另外一种方法是将广度优先搜索与网页过滤技术结合使用，先用广度优先策略抓取网页，再将其中无关的网页过滤掉。这些方法的缺点在于，随着抓取网页的 增多，大量的无关网页将被下载并过滤，算法的效率将变低。 

（2）最佳优先搜索策略 来.自/751论|文-网www.751com.cn/

    最佳优先搜索策略按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取。它 只访问经过网页分析算法预测为“有用”的网页。存在的一个问题是，在爬虫抓取路径上的很多相关网页可能被忽略，因为最佳优先策略是一种局部最优搜索算法。 因此需要将最佳优先结合具体的应用进行改进，以跳出局部最优点。将在第4节中结合网页分析算法作具体的讨论。研究表明，这样的闭环调整可以将无关网页数量 降低30%~90%。 网络爬虫互联网信息采集程序的开发(3):http://www.751com.cn/jisuanji/lunwen_73570.html