菜单
  

    国内的百度、搜狐、新浪等就用的是类似国外的Inktomi 搜索引擎的技术,提供给包括LookSmart、Overtrure、HotBot、MSN 等在内的搜索引擎全文网页搜索的服务,但它本身并不直接面向用户。
    1.2 网络数据抓取系统的分类网络数据抓取系统种类繁多,按照部署位置可分为:客户端:适合部署定主题的数据抓取系统(也叫聚焦爬虫)。实现一个可以与百度或者谷歌等竞争的综合性搜索引擎,其成功的机率是非常小的,但是比价服务、推荐引擎或者垂直搜索的机会便要多得多,比如提取商品价格信息、提取黄页信息或提取竞争对手的广告信息等, 种类数据抓取系统可部署非常多且具有侵略性,同时由于客户端 IP 地址为动态地址,很难被目标网站封锁,因此降低了大量部署的成本[8]。服务器侧:一般为多线程程序,可用 JAVA、PHP、PYTHON 等编写,具有同时下载多个目标HTML 的特点,一般的综合搜索引擎的数据抓取便是这么做的。然而,很可能会被对方封掉服务器 IP,由于服务器IP 不易更改,因此耗用宽带费用较贵。

  1. 上一篇:PHP+mysql自由行旅游网站的设计+源代码+答辩PPT
  2. 下一篇:php+mysql大学众筹网站分析设计+源代码
  1. java+mysql设备监控记录的大...

  2. 基于Hadoop的制造过程大数据存储平台构建

  3. jsp公交刷卡数据统计系统图表的设计与实现

  4. JAVA+MYSQL《算法与数据结构...

  5. python+mysql网络习题爬取系统的设计与实现

  6. java+mysql大数据的疾病种类...

  7. 公交刷卡数据统计系统报表的设计与实现

  8. 酸性水汽提装置总汽提塔设计+CAD图纸

  9. 当代大学生慈善意识研究+文献综述

  10. 大众媒体对公共政策制定的影响

  11. 中考体育项目与体育教学合理结合的研究

  12. 乳业同业并购式全产业链...

  13. 电站锅炉暖风器设计任务书

  14. 河岸冲刷和泥沙淤积的监测国内外研究现状

  15. java+mysql车辆管理系统的设计+源代码

  16. 十二层带中心支撑钢结构...

  17. 杂拟谷盗体内共生菌沃尔...

  

About

751论文网手机版...

主页:http://www.751com.cn

关闭返回