一、结构化数据和非结构化数据的概念
(一)定义
结构化数据即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。
不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、标准通用标记语言下的子集xml、html、各类报表、图像和音频/视频信息等等。结构化数据属于非结构化数据,是非结构化数据的特例。
随着网络技术的发展,特别是internet、物联网技术的飞快发展,使得非结构化数据的数量日趋增大。这时,主要用于管理结构化数据的关系数据库的局限性暴露地越来越明显。因而,数据库技术相应地进入了“后关系数据库时代”:基于网络应用的非结构化数据库时代。而随着当今大数据概念的流行,非结构化数据已经逐渐成为了大数据的代名词。
(二)非结构化数据类型
数据无处不在,其数据源也必然随着新技术、新平台和新流程的出现不断进化和发展。大数据的数据源多得难以想象。但从广义分类的角度看,我们认为大数据的最大数据源是内部档案、文件、媒体资料、数据存储、商业应用、公网、社交媒体、机器运行数据、传感器数据等。
这些数据源主要包括:
内部档案:包括扫锚文档、报表、与客户的通讯记录等;
文件:包括pdf, xls, cvs, doc等格式的文档;
媒体资料:包括影像、视频、音频、实时流媒体等;
数据存储:包括sql,和hadoop等系统内文件;
商业应用:包括业务流程方面的具体应用,如crm、员工管理、人力资源、成本管理、市场营销等;
公网:指对天气、交通、法律法规、公共财政、公共健康等方面的公共数据库的跟踪与文本清洗;
社交媒体:包括脸谱、微博、领英、推特、优酷、qq地带、人人网等;
机器运行数据:包括运行事件记录、服务器数据、点击流量数据、客户呼叫记录、移动定位数据、移动应用等;
传感器数据:此类设备包括智能电子测量仪、道路摄像头、游戏机、车载电脑、医疗设备、家用电器等。
二、人防数据的类别
任何基础信息都是自然和社会实体产生的,无论泥石、纸张、计算机甚至生物神经元,都只是人类用于记录信息的载体,并由人来将这些信息实现数据化。同样人防系统的职能也可以通过数据进行量化表现出来,而这些数据也分布在体现人防功能的职能处室中。比如:警报通信建设、人防工程建设、人防指挥所的管理、人防专业队伍、法规与宣传教育、行政审批、人防训练与演练、战备物资储备、重要经济目标监控等。目前,这些数据由分管的技术人员进行数据采集,保存在各种电子和非电子介质之上,类型多为结构化数据,缺少对人防警报器和人防工程的后期的维护管理的跟踪、人防执法情况以及重要经济目标监控的媒体资料等数据。目前来看,这些数据信息尚未被大规模采集和利用,人防功能也无法根据这些数据被精准画像。
三、人防数据应用的现实意义
当今时代,数据已成为国家基础性战略资源,大数据正日益对全球经济运行机制、社会生活方式和国家治理能力产生重要影响。一个以大数据倒逼政府治理能力提升的态势正在形成,政用大数据已经成为大数据创新应用的大势所趋。对此,苏州民防局也决不回避,有条不紊的开展“智慧人防”建设。
近年来,苏州市民防局围绕基于信息系统的人防体系能力建设,以人防指挥信息平台为核心,不断推进人防信息化项目建设和系统功能升级改造,在信息化基础设施建设等方面均取得长足进步。但从人民防空战时防空、平时服务、应急支援的职能使命,以及城市防护的总体布局和功能应用来看,这些年来基于信息系统的人防体系能力建设,主要还是局限于人防信息化硬件的建设,信息共享、数据的深层次挖掘的水平相对较低,与“智慧城市”发展趋势不相适应,更不能满足信息化条件下防空袭斗争的需要。
四、人防数据在日常应用中存在的问题
近年来,苏州民防局先后起用了江苏省民防局牵头建设的江苏民防综合信息管理系系统和国家人防办牵头建设全国人防训练系统。在两套系统运行过程中,不难发现国家人防办和省民防局在对人防数据的分类、采集和分析仍然存在不足之处。
(一)由于两套系统的建设年限间隔比较久,因此两套系统对于人防数据的定义和分类存在一定的差异性,两个系统不能完全兼容。
(二)人防数据的密级定位不够明确。信息安全无小事,从该层意义来讲,无论怎样重视信息安全都不为过。但在重视信息安全的同时,我们要深刻的思考采集人防数据的目的是什么,如何利用人防数据更好的为人民群众服务?人防数据应不应该对人民群众开放或采取什么样的形式开放?
(三)人防数据的采集不够及时和准确。人防系统的各项数据都分散在各个职能处室以及各县(区)民防局(人防办),由于人防专网纵向建设不完整以及数据采集工作的不延续性等原因,导致人防数据的采集不够及时,甚至会出现采集的数据不准确的情况。
(四)人防数据的二次挖掘不够深入。一直以来,我们仅完成人防数据的采集工作即浅尝辄止,对于其二次挖掘以及深层分析仍在探索。2013年建成的苏州民防三维展示系统就是迈出的其中一步。苏州民防三维展示系统涵盖了新版的苏州市区航拍地图、道路管线、人防警报器、人防工程、人防基本指挥所三维展示、人防专业队伍等数据的基本属性信息。但是如何利用已有的数据形成直观的数据动态图、行之有效的战时苏州防空袭预案、快速反应的平时区域性应急救援预案,仍在进一步的探索当中。
五、合理利用人防数据的思考
在当今“数据大爆炸”的时代,毫不夸张的说,数据是无价之宝,同时更要清醒的认识到,虽然我们坐拥数据这座宝山,仍缺少开采宝山的方法和工具。特别是近年来政府需要处理、应对的公共事务的规模和种类海量增长,人民群众对政务服务、民生保障的需求呈现出个性化、多样化的新特点,既有的服务模式面临着多样化、个性化需求的新挑战。因此,我们人防系统在对数据的采集、挖掘和应用中需要与时俱进,紧紧依托“智慧人防”和“智慧城市”建设,以满足人民群众对服务的体验感、参与感、精准化的更高要求。
(一)创新理念。合理利用人防数据要与“智慧人防”和“智慧城市”建设相结合,始终瞄准信息化条件下城市防空袭斗争面临的实际问题来寻求破解之道。针对空袭作战的特点、样式和空袭后果等,查摆城市防空袭可能面临的现实困难和问题,突出重点环节和难点问题来研究应对措施,以此作为人防数据应用的主攻方向和突破口。“思路决定出路。”对我们人防部门来讲,提高信息化条件下城市防空袭斗争能力,要善于和敢于突破传统思想束缚,用创新的思维来研究新情况新问题,用创新的办法来应用新技术、形成新手段。
(二)数据采集。人防系统内部很多场合需要进行数据采集和监控,如:人防警报器、人防工程等。但就目前现状来看,由于人防警报器和人防工程数量多、分布散乱,数据的采集和汇总存在重复性工作、效率低等问题。随着物联网的兴起以及发展的日趋成熟,利用物联网、rfid等新技术,可以实现终端设备的直接联网,实时的识别设备、采集信息,通过有线、无线等基础网络汇聚到人防指挥信息平台以待进一步的分析和应用,最大限度的保障了终端信息记录的完整性和可追溯性。
(三)智能分析。设备运行的基础数据被记录和上传至人防指挥信息平台后,接受其统一管理。但静态的数据本身无法转化成有效价值,想要发挥出终端数据的生产力,需要通过对基础数据进行信息的提炼和数据的二次挖掘。人防数据应用要着眼于实现数据、指挥、协同、保障以及疏散、掩蔽和防护救援的需求与人员、物资、设备、场所供给的最佳匹配,建立数据分析模型,搭建人防指挥信息平台,实时掌握战时防空、应急救援的能力,其中涵盖了掩蔽场所环境情况和容纳能力、应急支援力量的人员、物资、车辆分布情况,现场区域的道路交通情况等,逐步推动人防数据聚力为人防信息化、“智慧人防”建设服务。
此外,还要重视数据的引导作用。比如,根据人防警报器的故障情况归纳警报器元器件的故障率,为以后人防警报器的维护和保养提供参考;根据人防工程平时的利用率反应出相应地区车位的饱和程度,对以后的城市规划也起到反哺的作用;根据季度或年度人防执法情况总结人防执法的重难点问题和区域,可以有针对性的对人防执法频率高的问题和区域加强人防宣传教育,将人防执法与宣传教育相辅相成。充分利用人防系统的各项数据,才能更好的促进人防建设更好的取得战备效益、社会效益和经济效益。