据IDC预测，到年全球将拥有ZB的数据，复合年增长率为61％。在这个数据大爆炸的时代，我们无时无刻不在与数据打交道。在这些数据中，总有那么一些“暗数据”。
暗数据到底是何方神圣？我们应该如何发现它们？如何分析、处理它们？
什么是暗数据？
所谓暗数据，就是从未分析或操作过的典型半结构化或非结构化数据集，其数据源包括服务器日志文件、网站浏览行为或与客户交互和交易有关的地理信息等等。
据最初创造暗数据这个词的Gartner称，暗数据被定义为在日常商业活动中收集、处理和存储信息资产，但通常不会用于其他目的。
暗数据存在的风险
全球企业数据保护和软件定义市场领导厂商VeritasTechnologies委托VansonBourne对15个国家及地区的1,名IT决策者和数据管理人员开展的《发挥企业数据的力量》调研显示，仍有超过半数（52%）的企业数据未进行分类或标记，全球企业的暗数据不断累积，已成大部分企业主要安全盲点。
它就像宇宙中的暗物质，大量充斥，它可能没有被我们发现或者没有被我们利用，却可能暗藏风险，尤其是在网络安全法、等保2.0等政策法规加持之下，暗数据中可能包括了违规的信息。
企业的IT系统中可能充斥着大量的暗数据，而且可能每天在不断地增加，这些数据杂乱无章，用户不知道其存放在何处，是否存放合规或存在风险？所以在做数据整合和迁移之前，要先进行暗数据发现。减少企业的数据使用痕迹不仅可以减少数据安全风险，还可以减少违反网络安全法和其他法规的风险。
另外，我们存储的数据可能是敏感的，包含专用信息、商业机密、个人隐私信息、财务信息和医疗记录。在不确定是否保存了敏感信息时，组织倾向于采用宽松的数据安全流程。然而黑客攻击在不断增多，他们往往是第一个发现这些敏感信息的人。这些破坏可能导致高成本的责任和补救行动。
那么，作为数据安全服务的提供商，世平信息是如何帮助企业来挖掘出数据的“阴暗面”的呢？
世平敏感数据保护解决方案
世平数据安全产品采用多种深度内容识别技术，能够对存储于各类数据库、应用系统、网站、文件系统等海量数据进行快速扫描。按既定策略对敏感数据进行准确定位和整理，并建立索引，对数据分布进行可视化的展示，实现对敏感数据的发现、定位、梳理及治理功能；同时，按照既定策略对敏感数据进行关联分析，对违规存放的数据进行处置（告警、加密、隔离等），使其合规以降低风险，保障敏感数据的安全。主要功能特点如下：
1.数据分类分级
基于自然语言处理技术，利用聚类算法、特征提取、分类算法等技术，准确、高效的实现数据分级分类；
支持分类结果人工审核；
系统自动提取数据特征，为后期发现敏感数据提高检查准确率、降低误报率。
2.数据发现
发现用户存储于各类数据库中的敏感数据，支持MySql、SQLServer、Oracle、DB2、Informix、达梦、MongoDB、Hbase、Redis、人大金仓、南大通用、优炫、虚谷、浩瀚、神舟等等数据库；
发现用户存储于文件服务器（网络共享）、应用系统服务器LotusNotes，Sharepoint，Exchange，web服务器中的敏感数据；
支持主流云平台如阿里云、华为云、腾讯云、电科云等；
基于内容识别的数据类型可扩展，适应各个行业的不同文档类型，支持多种文档解析，如办公文档(doc/x,xls/x,ppt/x…)、PDF、标记文本、源代码、各类图片中文本内容、压缩文件内容等；支持1多种文档类型的识别。
3.事件审计与报表分析
统一的事件展示，丰富灵活的事件查询条件；
基于多维度事件统计、查询与分析。
4.数据全景图形分布
对数据分布进行多维度多层次的可视化展示，包括柱状图、饼图、玫瑰图、折线图、三维地图等；
自动、快速发现和收集敏感数据的分布、更新情况，能够确定敏感数据的存储位置及数据使用流向；
能够在整体上动态反应企业数据安全状况，并对数据分布的发展趋势进行风险预测和评估。
5.告警管理
系统告警：包括CPU告警、内存告警、存储告警、登陆异常告警；
业务告警：审计事件数达到设定的业务告警阈值触发告警事件。
结语
数据分类分级和数据发现对企业来说是一种关键技术，为减少暗数据带来的安全风险，世平信息建议企业利用世平数据安全产品对工作数据进行全面梳理，减少数据泄露风险和昂贵的违规成本，“点亮”企业的暗数据。