摘要随着现代网络技术的进步，移动互联网及互联网的快速发展，云计算、大数据的时代到来了，互联网上的信息日均海量增加，人们对信息的需求也在不断地加大。如何在这些海量的网络数据信息当中抓取到相关有用的信息，再进行有效的分析与决策，成为了越来越多的企业关注的问题。为了实现这种需求，因此需要开发一种网络数据抓取系统。本系统是在 Windows7 操作系统、visualstudio2012 开发平台下，采用 C#语言进行编写的、针对众筹网站的具有网络数据抓取功能的一个系统。 它可以根据用户输入的关键词进行特定相关信息数据的抓取，即能够有效的抓取到用户想获取到的众筹网站上的项目数据信息，从而可以利用这些抓取到的数据信息进行有效的分析， 为今后的决策做一定的数据支撑作用。58553
毕业论文关键词：网络数据抓取系统；多线程；关键词搜索；.Net；C#；Excel
Network Data Capture System: Analysis, Design andDevelopmentAbstractWith the development of the modern network technology, information on theInternet are increasing every day to Mass，so the cloud computing & Big Data era hasarrived, and the demand for information is continually increasing. How to crawl thesevast amounts of data information network among relevant and useful information foreffective analysis and decision-making has become a problem that more and moreenterprises concerned [1]. In order to achieve this demand, it is necessary to develop anetwork crawling system. This system is in Windows7 operating system, under visualstudio2012 development platform, using C # language written for crowdfunding sitesand has a network crawling system function. It can get information about specific dataaccording to user-entered keywords, which means that it can efficiently retrieveproject data the user wants to get to the crowdfunding site, thus you can use these datato fetch information for effective analysis and decision-making for the future to dosome data supporting role.
Keywords: Network Data Capture systems; Keyword Search; .Net; C#; Excel
目录
0 绪论. 1
1 网络数据抓取系统的历史、分类及其发展趋势 1
1.1 网络数据抓取系统的历史1
1.2 网络数据抓取系统的分类3
2 系统分析..5
2.1 需求分析.. 5
2.2 可行性分析. 5
2.3 业务流程分析6
2.4 数据流程分析8
3 系统设计..9
3.1 功能模块设计9
3.2 页面布局设计.12
3.3 代码设计 13
4 系统实现25
4.1 开发环境. 25
4.2 文件结构 25
4.3 各功能模块实现26
5 系统测试和维护..29
5.1 系统测试 29
5.2 系统维护 31
结 论.33
致 谢.34
参考文献.35
网络数据抓取系统的分析、设计与开发0 绪论网络数据抓取系统，俗称为网络爬虫，是一种按照一定的规则和算法，自动抓取互联网信息的程序系统。该程序通过网页的链接地址来寻找网页，一般从网站的首页开始，读取该页面的内容，找到所有的链接并通过分析算法过滤掉一些不相关的链接， 然后通过这些链接地址去寻找下一个网页或者获取该链接内的相关内容，这样一直循环下去直到所有的链接访问完毕为止[2]。在当今这个被称为“大数据”时代的阶段，互联网内容的爆炸性发展带来了人们对内容检索的需求，这就催生了具有网络检索功能的系统。而伴随着诸如谷歌、百度这样的搜索引擎的不断发展，人们的需求也在不断的提高，人们几乎每天都要通过网络信息搜索来获取生活中的各种所需信息，因此，如何让搜索引擎能够时刻满足人们的需求这个问题也日益备受关注。 因此在搜索引擎中最重要的功能之一，便是基于关键词的特定网络数据抓取功能。 C#众筹网络数据抓取系统的分析设计+源代码:http://www.751com.cn/jisuanji/lunwen_63493.html