菜单
  

    第三章主要介绍了系统的需求分析,设计目标、设计原则以及软件的配置等。   

    第四章介绍了系统的总体设计,其中包括系统的功能设计和数据库设计。

    第五章介绍了系统的详细设计和编码,讲述了系统的具体模块功能的实现等。

    第六章全文总结。

    2 系统概述

    2.1 网络新闻采集定义

       网络信息采集的基本含义是,通过或者为了网络传播而进行的信息采集。“通过”网络传播,其实是利用互联网络采集信息,究其结果是从传统大众传媒刊中传播出去。“为了”网络传播,其含义是,信息的采集是为了发布在网络上。

    2.2 采集系统工作原理论文网

       互联网上的页面基本上是通过超链接连接在一起,如果把网页看成一个节点,超链接看成路径,那么互联网看起来就像个蜘蛛网。采集系统的任务则是按照一定的爬行策略,沿着某一路径逐一访问各个节点,故采集系统又称为网络爬虫。

       采集系统一般分为五大模块:URL队列、URL调度模块、抓取模块、解析模块、存储模块。

    2.1.1 网页下载

       超文本传输协议(HTTP)是目前互联网上最为广泛的网络传输协议之一,HTTP规定了客户端与Web服务器之间的通信规则,允许将HTML从Web服务器传送到客户端。

    2.1.2 网页解析

       超链接是互联网上的路径,采集系统要沿着这些路径来采集数据,这些路径一般存在HTML文档中,为了拿到这些路径,就需要去解析HTML文档。

       超链接是以<a>标记开始,然后以</a>标记结束,一般包含一个URL以及一个锚文本,例如:<a href="http://jwc.njust.edu.cn/news.actiong?name=学生姓名">学生姓名</a>就是一个完整的超链接。

       一个HTML文档中通常包含许多超链接,遍历一遍HTML文档就可以获取所有的超链接。但由于超链接有多种形式且规则灵活,通常仍需要对它们进行规范化处理。

    2.1.3 URL去重文献综述

       众所周知,互联网中的超链接数量庞大,在采集系统运行时,会遇到大量相同的URL,如何将这些重复的URL去掉,避免重复抓取同一个网页就是URL去重。

       URL去重有以下几种常见方法:

      (1)基于Hash表:这是最简单的方法,只需维护一个内存中的HashSet就能实现。对于任何一个新的URL,先检查在HashSet中是否存在,如果没有的话就把新的URL加入到HashSet中,同时也加入待采集的URL队列。

      (2)基于压缩URL:因为内存是有限的,HashSet是没有实际使用价值的,但是可以通过压缩URL从而减少内存的消耗,而且MD5算法的碰撞几率比较小,在采集系统中是可以容忍的。

      (3)基于Bloom Filter:以上两种方法都会随着URL数量的增长而消耗更多的内存,除非要抓取的URL比较少,亦或者内存足够大,否则终究会达到瓶颈。1970年Bloom 提出了Bloom Filter算法,其核心思想就是利用多个不相同的Hash函数来解决冲突。但是在使用Bloom Filter时会有一定的错误率,可能把未抓取过的URL认为是已抓取,如果在允许一定的错误率的情况下,这种方法可以大量节省内存。来.自/751论|文-网www.751com.cn/

    2.1.4 工作流程

    一般网络信息采集系统的工作流程为:注入种子URL,选择待采集URL,网页采

    集,网页解析提取OutLink,更新URL队列。然后继续进入选择待采集URL阶段,一直迭代到结束。

  1. 上一篇:SDOCT频域相干断层图像的视网膜色素上皮层抽取研究
  2. 下一篇:多用户MIMO-OFDM系统资源分配技术研究
  1. python+mysql网络习题爬取系统的设计与实现

  2. 神经网络算法在核素识别中的应用研究

  3. 苏州一建集团网络的规划与设计

  4. asp.net网络商城在线购物系统的设计与实现

  5. ASP.NET+SQLSERVER古诗词在线学...

  6. asp.net+sqlserver小型超市管理系统的设计+ER图

  7. asp.net+sqlserver在线家电销售网站的设计与实现

  8. 圆柱绕流国内外研究现状

  9. 合肥老乡鸡连锁餐饮企业的经营策略探析

  10. 文化旅游主题展示设计广富林十里长街设计

  11. 新生代农民工培训现状分析

  12. 《简爱》女性主义的象征

  13. 机器人摩擦焊机头设计

  14. 分光光度法测定水溶液中有机酸含量的研究

  15. 探讨“绿色生态”在都市设计中的体现

  16. 公共服务均等化文献综述和参考文献

  17. 带式输送机技术英文文献和中文翻译

  

About

751论文网手机版...

主页:http://www.751com.cn

关闭返回