智慧城市背景下的数据质量评估(2)

菜单

4.2 准确性算法实现 21

4.3 实时性算法实现 21

4.4 聚合算法实现 22

5. 实验分析 22

5.1 实验环境配置 22

5.2 数据集 23

5.2.1 数据库表sensor information 23

5.2.2 数据库表AttributesWeight 24

5.3 QoI评估 24

5.4 结果分析 26

5.4.1 确定性评估 27

5.4.2 准确性评估 28

5.4.3 实时性评估 28

5.4.4 信息质量属性聚合 29

5.4.5 结果判定 29

5.5 观察和讨论 30

5.5.1 结果演示 30

6. 未来工作及展望 31

1. 绪论

在现代社会，数据是走向信息化的必要基础，然而随着应用系统数据量的急剧扩大、新应用的不断出现以及应用之间的相互整合，数据质量问题变得日益突出，这些问题主要表现在数据不正确、数据不完整、数据不一致等方面。质量低劣的数据已经成为影响正确决策制定的重要因素，所以数据质量管理必将成为信息化进程中一个必不可少的环节。

针对数据质量问题的各个环节，包括数据清洗、数据整合、相似记录检测、数据质量评估、数据质量过程控制和管理等方面，业界已进行了大量的学术研究和实际应用的探索。在这些环节中，数据质量评估是提高数据质量的基础和必要前提，它能对应用系统的整体或部分数据的质量状况给出一个合理的评估，从而可以帮助数据用户了解应用系统的数据质量水平，并采取相应的处理过程来提高数据质量。

1.1 研究背景

传统城市管理以城市政府作为唯一主体，在管理方法和手段上表现为权力控制、行政命令、制度约束，如“以罚代管”，管理的非人性化相当突出；在滚里的范围上，偏重于经济建设领域，而很少顾及经济与社会、人与自然的协调发展，导致城市发展财政不足、可持续发展能力低、公共产品和公共服务质量差、公共管理成本高、管理效率低下、不能对外界的变化和市民的需求做出灵敏的反应等等问题[1]。随着物联网、互联网、无线网络、云计算、卫星定位等关键技术的发展，智慧城市成为现代城市管理的研究方向。

所谓“智慧城市”[2]，是信息化城市、数字城市、智能城市的高级发展阶段，即集成多种高新技术的应用，通过数字化、信息化、泛在互联、云计算、全面感知、智能分析等手段再现城市的各种资源分布状况及空间地理信息，促进城市不同部门、不同层次之间的信息共享、交流和整合，提高城市资源利用效率，增强城市的聚集、扩散与辐射功能，进而提高城市的规划、管理与发展水平，满足人们对城市各种信息的获取、转换、存储、检索、共享、处理、分析、显示和应用等一系列要求，便于人们最大限度地实现智能感知、资源共享及合理使用，是人们认识、改造和保护城市的一种新手段。

智慧城市管理将传感网技术、射频识别技术、复杂事件处理技术、在线联机分析技术等目前主流技术集中应用到城市管理中，实现城市管理业务的感、传、智、控、评、调一体化，智慧城市管理系统是一种典型的物联网应用项目，物联网技术难以实用化的一个重要原因是数据质量问题。数据质量主要指一个信息系统在多大程度上实现了模式和数据实例的一致性，即模式和数据实例在多大程度上实现了正确性、一致性、完整性、实时性和最小性。物联网具有的非确定、高混杂和强关联等特征为数据质量保证提出了挑战。