菜单
国内的百度、搜狐、新浪等就用的是类似国外的Inktomi 搜索引擎的技术,提供给包括LookSmart、Overtrure、HotBot、MSN 等在内的搜索引擎全文网页搜索的服务,但它本身并不直接面向用户。
1.2 网络数据抓取系统的分类网络数据抓取系统种类繁多,按照部署位置可分为:客户端:适合部署定主题的数据抓取系统(也叫聚焦爬虫)。实现一个可以与百度或者谷歌等竞争的综合性搜索引擎,其成功的机率是非常小的,但是比价服务、推荐引擎或者垂直搜索的机会便要多得多,比如提取商品价格信息、提取黄页信息或提取竞争对手的广告信息等, 种类数据抓取系统可部署非常多且具有侵略性,同时由于客户端 IP 地址为动态地址,很难被目标网站封锁,因此降低了大量部署的成本[8]。服务器侧:一般为多线程程序,可用 JAVA、PHP、PYTHON 等编写,具有同时下载多个目标HTML 的特点,一般的综合搜索引擎的数据抓取便是这么做的。然而,很可能会被对方封掉服务器 IP,由于服务器IP 不易更改,因此耗用宽带费用较贵。
共3页:
上一页
1
2
3
下一页
上一篇:
PHP+mysql自由行旅游网站的设计+源代码+答辩PPT
下一篇:
php+mysql大学众筹网站分析设计+源代码
java+mysql设备监控记录的大...
基于Hadoop的制造过程大数据存储平台构建
jsp公交刷卡数据统计系统图表的设计与实现
JAVA+MYSQL《算法与数据结构...
python+mysql网络习题爬取系统的设计与实现
java+mysql大数据的疾病种类...
公交刷卡数据统计系统报表的设计与实现
酸性水汽提装置总汽提塔设计+CAD图纸
当代大学生慈善意识研究+文献综述
大众媒体对公共政策制定的影响
中考体育项目与体育教学合理结合的研究
乳业同业并购式全产业链...
电站锅炉暖风器设计任务书
河岸冲刷和泥沙淤积的监测国内外研究现状
java+mysql车辆管理系统的设计+源代码
十二层带中心支撑钢结构...
杂拟谷盗体内共生菌沃尔...
主页
计算机
机械
自动化
关闭菜单
栏目
毕业论文
计算机论文
经济论文
生物论文
数学论文
物理论文
机械论文
新闻传播论文
音乐舞蹈论文
法学论文
文学论文
材料科学
日语论文
英语论文
化学论文
自动化
管理论文
艺术论文
会计论文
土木工程
电子通信
食品科学
教学论文
医学论文
体育论文
论文下载
研究现状
任务书
开题报告
外文文献翻译
文献综述
范文
菜单
毕业论文
刷新
分享
收藏
关于
关闭
关闭
分享本页
返回
关闭
暂无收藏
全部清除
关闭菜单
About
751论文网手机版...
主页:
http://www.751com.cn
关闭
返回