- 上一篇：ASP.net+sqlserver旅游信息网站设计+ER图
- 下一篇：ASP.net小型网上书店的设计与实现
图4.1 系统功能模块图
1) 网页内容抓取模块，即网页数据获取，功能：主要通过与新浪门户的交互，对新浪新闻搜索的文本摘要获取，并对其进行分析。
2) 显示抓取信息文本模块，功能：显示新浪新闻搜索到的每条新闻摘要的基本信息，包括发布机构、时间等信息，利用C#中DATAGRIDVIEW控件显示。
3) 保存指定日期的文本模块，功能：选择显示出来的摘要文本的日期，利用office接口，将这个日期的新闻摘要以word的形式保存到根目录下，以供以后的查阅。
4) 分析统计与显示模块，功能：对摘要段文字分词，并对这些分词进行分析统计，利用冒泡法对出现的次数进行排序。最后通过TEXBOX控件将分词与统计结果显示来。
5) 根据分析结果绘制图表，功能：将分析统计中的分析结果，动词及其出现的次数，以三种形式绘制成图表。
4.2 网页内容抓取模块详细设计
4.2.1 网页内容抓取概述
网页内容抓取，即文本数据源的获取，主要是网页分析，通过对某网页内容的源代码进行分析,通过编程软件获取指定网页内容的设计过程。首先我们必须了解网页的基本格式，熟知HTML。HTML即超文本标记语言或超文本链接标示语言，是目前网络上应用最为广泛的语言，也是构成网页文档的主要语言。HTML文本是由HTML命令组成的描述性文本，HTML命令可以说明文字、图形、动画、声音、表格、链接等。HTML的结构包括头部（Head）、主体（Body）两大部分，其中头部描述浏览器所需的信息，而主体则包含所要说明的具体内容。
熟悉了网页的基本格式，利用C#程序开发软件就能对网页进行分析处理，整理出网页的结构，获取本文所需要的大量文档。
4.2.2 网页内容分析抓取模块流程
图4.2 网页分析流程图
4.2.3 网页内容抓取部分变量
表4.1 网页分析代码部分变量定义
序号 名称 类型 说明
1 URL Sting 网页地址
2 NewsResource Sting 新闻来源
3 NewsTime Sting 新闻发布时间
4 Abstract Sting 新闻摘要
4.2.4 网页内容获取核心代码
public SinaNewsSearch(string searchPhrase, int sinaResultLimit)
{
SearchPhrase = searchPhrase;
SinaResultLimit = sinaResultLimit;
}
public void ExcuteSearch()
{
try
{
string phrase = SearchPhrase;
phrase = HttpUtility.UrlEncode(phrase, Encoding.Default);
string searchurlprefix = "http://search.sina.com.cn/?c=news&q=" + phrase + "&range=all&num=20";
HttpClient httpClient = new HttpClient(searchurlprefix);
-
python+mysql网络习题爬取系统的设计与实现
-
神经网络算法在核素识别中的应用研究
-
苏州一建集团网络的规划与设计
-
asp.net网络商城在线购物系统的设计与实现
-
java局域网络的即时聊天系统设计+源代码
-
网络环境下电子报纸开发利用现状及模式研究
-
基于Agent的突发事件中网络...
十二层带中心支撑钢结构...
当代大学生慈善意识研究+文献综述
乳业同业并购式全产业链...
电站锅炉暖风器设计任务书
杂拟谷盗体内共生菌沃尔...
河岸冲刷和泥沙淤积的监测国内外研究现状
中考体育项目与体育教学合理结合的研究
酸性水汽提装置总汽提塔设计+CAD图纸
java+mysql车辆管理系统的设计+源代码
大众媒体对公共政策制定的影响