海量数据挖掘的关键技术及应用现状

fiona

网络化时代信息膨胀成为必然，如何准确、高效地从丰富而膨胀的数据中筛选出对经营决策有用的信息已经成为企业和机构迫切需要解决的问题，针对于此，海量数据挖掘技术应运而生，并显示出强大的解决能力。Gartner的报告指出，数据挖掘会成为未来10年内重要的技术之一。

一、海量数据挖掘关键技术随时代而变化

所谓海量数据挖掘，是指应用一定的算法，从海量的数据中发现有用的信息和知识。海量数据挖掘关键技术主要包括海量数据存储、云计算、并行数据挖掘技术、面向数据挖掘的隐私保护技术和数据挖掘集成技术。

1．海量数据存储

海量存储系统的关键技术包括并行存储体系架构、高性能对象存储技术、并行I/O访问技术、海量存储系统高可用技术、嵌入式64位存储操作系统、数据保护与安全体系、绿色存储等。

海量数据存储系统为云计算、物联网等新一代高新技术产业提供核心的存储基础设施；为我国的一系列重大工程如平安工程等起到了核心支撑和保障作用；海量存储系统已经使用到石油、气象、金融、电信等国家重要行业与部门。发展具有自主知识产权、达到国际先进水平的海量数据存储系统不仅能够填补国内在高端数据存储系统领域的空白，而且可以满足国内许多重大行业快速增长的海量数据存储需要，并创造巨大的经济效益。

2．云计算

目前云计算的相关应用主要有云物联、云安全、云存储。云存储是在云计算(cloud computing)概念上延伸和发展出来的新概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。

当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

3．并行数据挖掘技术

高效率的数据挖掘是人们所期望的，但当数据挖掘的对象是一个庞大的数据集或是许多广泛分布的数据源时，效率就成为数据挖掘的瓶颈。随着并行处理技术的快速发展，用并行处理的方法来提高数据挖掘效率的需求越来越大。

并行数据挖掘涉及到了一系列体系结构和算法方面的技术，如硬件平台的选择（共享内存的或者分布式的）、并行的策略（任务并行、数据并行或者任务并行与数据并行结合）、负载平衡的策略（静态负载平衡或者动态负载平衡）、数据划分的方式（横向的或者纵向的）等。处理并行数据挖掘的策略主要涉及三种算法：并行关联规则挖掘算法、并行聚类算法和并行分类算法。

4．面向数据挖掘的隐私保护技术

数据挖掘在产生财富的同时也随之出现了隐私泄露的问题。如何在防止隐私泄露的前提下进行数据挖掘，是信息化时代各行业现实迫切的需求。

基于隐私保护的数据挖掘是指采用数据扰乱、数据重构、密码学等技术手段，能够在保证足够精度和准确度的前提下，使数据挖掘者在不触及实际隐私数据的同时，仍能进行有效的挖掘工作。

受数据挖掘技术多样性的影响，隐私保护的数据挖掘方法呈现多样性。基于隐私保护的数据挖掘技术可从4个层面进行分类：从数据的分布情况，可以分为原始数据集中式和分布式两大类隐私保护技术；从原始数据的隐藏情况，可以分为对原始数据进行扰动、替换和匿名隐藏等隐私保护技术；从数据挖掘技术层面，可以分为针对分类挖掘、聚类挖掘、关联规则挖掘等隐私保护技术；从隐藏内容层面，可以分为原始数据隐藏、模式隐藏。

5．数据挖掘集成技术

数据挖掘体系框架由三部分组成：数据准备体系、建模与挖掘体系、结果解释与评价体系。其中最为核心的部分是建模与挖掘体系，它主要是根据挖掘主题和目标，通过挖掘算法和相关技术(如统计学、人工智能、数据库、相关软件技术等)，对数据进行分析，挖掘出数据之间内在的联系和潜在的规律。大体上，数据挖掘应用集成可分为几类：数据挖掘算法的集成、数据挖掘与数据库的集成、数据挖掘与数据仓库的集成、数据挖掘与相关软件技术的集成、数据挖掘与人工智能技术的集成等。

二、海量数据挖掘应用广泛但深度不足

2011年中国数据挖掘软件市场规模达接近2亿元，2012－2014年还将快速增长。从数据挖掘应用行业上看，国内大多数的用户都来自电信、银行、保险、税务、政府等领域。应用主题主要包含：消费者行为分析、信用评分与风险管理、欺诈行为侦测、购物篮分析等方面。目前，国内数据挖掘应用仍停留在初级阶段，行业企业大规模的运用数据挖掘技术尚需时日。

1．国内数据挖掘应用可分为３个层次

从数据挖掘应用层次上看，大体可以分为三个层次：第一层次是把挖掘工具当作单独的工具来用，不用专门建设系统；第二层次则是把数据挖掘模块嵌入到系统中，成为部门级应用；第三层次是企业级应用，相当于把挖掘系统作为整个企业运营的中央处理器。目前，国内的数据挖掘应用的企业基本处于第一层次，偶尔某些企业用户能够做到第二层次。

2．国内有代表性的数据挖掘行业应用情况简评

（1）通信业：国内应用数据挖掘的企业还是以通信企业（移动、联通、电信）为首，应用的深度和广度都处于领先地位。

（2）互联网企业：随着电子商务的普及，各大商务网站已经大规模使用数据挖掘技术，并且迅速从中取得商业价值。例如，国内很多网上商城已经开始使用数据挖掘技术进行客户聚类或者商品关联推广。另外，搜索引擎企业使用数据挖掘技术的需求也非常迫切。

（3）政府部门：我国政府部门中使用数据挖掘技术比较领先的是税务系统。数据挖掘在电子政务中的应用，更多的涉及到报表填制、数据统计。

（4）国内金融行业：操作型数据挖掘应用在国内金融行业应用广泛，尤其是信贷评审领域。中小型银行数据挖掘需求将是未来金融行业数据挖掘市场的主要增长点。未来5年时间里，数据挖掘应用在金融行业仍将高速发展。

（5）国内零售业：跟国外相比，国内零售业对数据挖掘的应用并不太热衷，这可能与客户信息的完整性有关。但是在一些大型的超市、百货、电器等销售企业，数据挖掘技术已经应用，未来还有进一步的应用空间。

（6）现代工业：制造业将是未来数据挖掘新的增长点。目前，作为现代化生产主力的工业部门国内的数据挖掘技术应用却不多，只在电力部门火力发电方向有一些系统的应用，其他领域只有少数零散的应用。


转载自http://www.ccf.org.cn/sites/ccf/nry.jsp?contentId=2704812565679

chenwq

计算机学会通讯 2012年第9期（总第79期） http://www.ccf.org.cn/sites/ccf/ ... entId=2694962949020
         学术界谈“大数据”          
         大数据研究的科学价值(李国杰（院士） 中国科学院计算技术研究所)
         从数据管理视角看大数据挑战          
         大数据科学与工程的挑战与思考          
         大规模科学可视化          
         超大规模数据可视分析十大挑战          
......

Genie

现在是 传统数据挖掘方法 + hadoop = 大规模数据挖掘？？