数据挖掘语言及其标准化分析进展

 

    数据挖掘包含范围广泛的任务，从数据描述到挖掘关联规则、数据分类和演化分析，所以，设计一个全面的数据挖掘语言是富有挑战性的，因为每个任务有不同的要求。一个设计有效的数据挖掘查询语言需要具有对不同种类数据挖掘任务的能力、限制和根本机制的深入理解。定义一个数据挖掘查询形式的数据挖掘任务的过程如下：选择要挖掘的与任务相关的数据和要挖掘的知识类型、在挖掘过程中需要的背景知识、对模式评估的衡量标准和阈值、可视化发现模式的预期表现、数据增长的动态性；以及特殊的挖掘任务比如有针对性的项目集挖掘，流数据挖掘，分布式和分区数据挖掘。

 

    1 数据挖掘语言

 

    数据挖掘语言根据功能和不同的侧重点可以分为3种：数据挖掘查询语言、数据挖掘建模语言、通用数据挖掘语言。

 

    1.1 数据挖掘查询语言

 

    每个用户的数据挖掘任务都不尽相同，一个数据挖掘任务可以用一个数据挖掘查询指定，查询作为数据挖掘系统的输入，数据挖掘查询用以下原语形式定义。

 

    （1）任务相关数据。

 

    （2）要挖掘的知识种类。

 

    （3）背景知识。

 

    （4）兴趣度的度量。

 

    （5）获取模式的可视化表示。

 

    （6）数据维护。

 

    （7）特殊类型的挖掘。

 

    1.2 数据挖掘建模语言

 

    数据挖掘建模语言是对数据挖掘进行定义和描述的语言，为了使不同系统之间共享模型而不是以往的孤立形式，需要开发出一种标准的建模语言，使数据挖掘系统在模型定义和描述方面都遵循它，同样，为了解决无法发现孤立知识的问题，也可以在其他应用系统中嵌入数据挖掘模型，目前主流的数据挖掘建模语言包括PMML（Predictive Model Markup Language）与CWM（Common Warehouse Metamodel）两种。

 

    1.2.1 PMML

 

    PMML是一种基于XML的定义预言模型的语言，允许应用程序和OLAP工具可以不用独立开发数据挖掘模块，直接从数据挖掘系统中获得模型：此外，PMML还可以收集使用大量的潜在模型，并统一管理各种模型集合。

 

    PMML对那些需要分布式学习、全部学习和部分学习的应用程序特别有效，因为它提供了一个灵活的机制来定义预言模型的模式，并同时支持涉及多个预言模型的模型选择和模型平衡，此外，在它的支持下，不同应用程序和系统之间可以很便捷地移动预言模型。

 

    使用PMML进行模型定义包括以下几部分：（1）头文件；（2）数据模式；（3）数据挖掘模式；（4）预言模型模式；（5）预言模型定义；（6）全体模型定义；（7）选择和联合模型及全体模型的规则；（8）异常处理的规则。

 

    其中预言模型定义是必备的，此外必须定义预言模型的模式。PMML标准版提供了一个文档类型定义集合（DTD）来详细说明决策树和多项式回归模型的实体与属性。使用标准的XML解析器对PMML进行解析，应用程序可以决定模型的详细格式、输入输出的数据类型、并且使用标准的数据挖掘术语解释模型结果。并且，使用PMML可以使挖掘模型与应用平台和操作系统无关，无需关心模型的创建过程。

 

    1.2.2 CWM（Common Warehouse Metamodel）

 

    公共仓库元模型CWM由OMG（Object Management Group，对象管理组织）制定，其主要目的是在异构环境下辅助不同平台、不同的数据仓库工具和元数据知识库进行元数据交换，CWM模型包括元数据（技术类与商业类）存储与元数据交换。

 

    CWM标准定义了数据仓库和商业智能工具之间共享元数据的语法规范，包括4个方面：描述数据仓库系统的CWM元模型，CWM元模型的XML表示，数据仓库和商业智能工具共享元数据的DTD交换格式，以及数据仓库和商业智能工具共享元数据的API（应用程序接口）。

（编辑：济南站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!