(3)可扩展性方面:
传统 IDS 都是环境相关的,在新的环境下,它的重用或定制都会较为困难。 再加上目前的 IDS 大多是集中式的,想要对其添加新的检测模块或功能将会变 得相当困难。
目前主要的 IDS 都需要通过人工输入,来创建攻击特征或决定正常行为的有效 模式。但随着入侵行为越来越密集地出现,攻击种类的多样化、复杂化,这样的方式 已经无法适应日益严峻的安全防护形势。
因此,入侵检测系统的实现关键就在于,应该使用怎样的方法,才能在海量数据 中高效地提取出有代表性的特征,来对程序或用户行为加以描述。本毕业设计采用了 云计算环境下的机器学习方式,对 WEB 日志进行安全威胁分析,在一定程度上弥补 了传统 IDS 的不足,对 WEB 安全防护起到了一定的积极意义。
1.3.2 云计算与 Hadoop
云计算是一种基于互联网的新型计算方式。它主要通过使计算分布在大量的分布 式计算机上,借助 SaaS、PaaS、IaaS 等业务模式,将其强大的计算能力供给终端的 用户使用。用户只需关注自己的应用,而免去了对计算机性能的担忧。云计算目前还 没有统一准确的定义[2],根据美国国家标准与技术研究院(NIST)对云计算的定义[3], 云计算是一种按使用量付费的模式,这种模式通过可用、便捷、按需的网络访问, 进 入可配置的计算资源共享池,使这些资源可以被快速使用。用户只需要投入很少的精 力进行管理,或与服务供应商进行尽可能少的交互,就可以获得包括网络、服务器、 存储、应用软件、服务等在内的资源。论文网
得益于云计算的上述特性,现在的计算和存储能力都得到了大幅度提高,可靠性 能有了质的提升,共享计算资源的程度和使用效率大幅提高,很大程度上降低了用户 购买机器和维护的成本。因此,利用云计算进行海量数据的存储及挖掘都是具有理论 和实际应用价值的研究方向。
图 1.1 Hadoo 的基础架构
而 Hadoop 是 Apache 基金会下的一个开源项目,包括许多子项目。它实现了云 计算软件平台的基础架构,如图 1.1 所示。其中最重要的就是分布式文件系统(HDFS) 和 MapReduce 框架。它已成为工业界、学术界进行云计算研究应用的标准平台,被 广泛应用于各大公司,包括国外的 FaceBook、Twitter,国内的百度,阿里等公司。
因此 Hadoop 是云计算技术中重要的组成部分,本课题的具体实现就是利用了云 计算技术中的 Hadoop 技术。
1.3.3 机器学习
机器学习是人工智能中的一门科学,它的主要研究对象是人工智能,着重于基于 从经验中提取已知特征进行预测。随着人工智能的深入发展,现在真正的智能系统应 该是具有自我学习能力的,以往的缺少学习能力的智能系统已经过时。因此,机器学 习渐渐成为人工智能领域研究的核心内容之一。机器学习有监督、无监督、半监督和 增强学习几种。常见的监督学习算法包括回归分析和统计分类两种,包含了很多种算 法,如决策树、支持向量机(SVM)、人工神经网络算法等。其中,决策树算法相对 来说更易于获取特征,分类效率较高,计算量较小,是本课题所采用的机器学习方法。
1.4 本文的组织结构
本文具体的结构如下: