想知道数据仓库到底是什么？看这一篇文章就够了！
发布时间：2021-11-09 13:21:50 所属栏目：大数据 来源：互联网
导读：在大数据系统平台当中，数据存储、数据库、数据仓库是非常重要的概念，共同支持大数据存储的实际需求。在大数据处理当中，大数据存储这个环节，数据仓库技术起到重要的作用。今天我们来对数据仓库做一个简单的介绍。（大数据认知 | 一篇文章让你读懂大数据）
|
在大数据系统平台当中，数据存储、数据库、数据仓库是非常重要的概念，共同支持大数据存储的实际需求。在大数据处理当中，大数据存储这个环节，数据仓库技术起到重要的作用。今天我们来对数据仓库做一个简单的介绍。（大数据认知 | 一篇文章让你读懂大数据） 什么是数据仓库？ 数据仓库顾名思义就是储存数据的仓库，也可以当做信息的中央存储库。通常，数据定期从事务系统、关系数据库和其他来源流入数据仓库。业务分析师、数据工程师、数据科学家和决策者通过商业智能 (BI) 工具、SQL 客户端和其他分析应用程序访问数据。 数据和分析已然成为各大企业保持竞争力所不可或缺的部分。企业用户依靠报告、控制面板和分析工具从其数据中获得洞察力、监控企业绩效以及更明智地决策。数据仓库通过高效地存储数据以便最大限度地减少数据输入和输出 (I/O)，并快速地同时向成千上万的用户提供查询结果，为这些报告、控制面板和分析工具由数据仓库提供支持。 数据仓库的组成 数据仓库数据库 数据仓库的数据库是整个数据仓库环境的核心，是数据存放的地方和提供对数据检索的支持。相对于操纵型数据库来说其突出的特点是对海量数据的支持和快速的检索技术。 数据抽取工具 数据抽取工具把数据从各种各样的存储方式中拿出来，进行必要的转化、整理，再存放到数据仓库内。对各种不同数据存储方式的访问能力是数据抽取工具的关键，应能生成COBOL程序、MVS作业控制语言（JCL）、UNIX脚本、和SQL语句等，以访问不同的数据。数据转换都包括，删除对决策应用没有意义的数据段；转换到统一的数据名称和定义；计算统计和衍生数据；给缺值数据赋给缺省值；把不同的数据定义方式统一。 元数据 元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类，技术元数据和商业元数据。 技术元数据是数据仓库的设计和管理人员用于开发和日常管理数据仓库是用的数据。包括：数据源信息；数据转换的描述；数据仓库内对象和数据结构的定义；数据清理和数据更新时用的规则；源数据到目的数据的映射；用户访问权限，数据备份历史记录，数据导入历史记录，信息发布历史记录等。 商业元数据从商业业务的角度描述了数据仓库中的数据。包括：业务主题的描述，包含的数据、查询、报表； 元数据为访问数据仓库提供了一个信息目录（informationdirectory），这个目录全面描述了数据仓库中都有什么数据、这些数据怎么得到的、和怎么访问这些数据。是数据仓库运行和维护的中心，数据仓库服务器利用他来存贮和更新数据，用户通过他来了解和访问数据。 访问工具 为用户访问数据仓库提供手段。有数据查询和报表工具；应用开发工具；经理信息系统（EIS）工具；联机分析处理（OLAP）工具；数据挖掘工具。 数据集市（Data Marts） 为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据（subjectarea）。在数据仓库的实施过程中往往可以从一个部门的数据集市着手，以后再用几个数据集市组成一个完整的数据仓库。需要注意的就是再实施不同的数据集市时，同一含义的字段定义一定要相容，这样再以后实施数据仓库时才不会造成大麻烦。 数据仓库管理：安全和特权管理；跟踪数据的更新；数据质量检查；管理和更新元数据；审计和报告数据仓库的使用和状态；删除数据；复制、分割和分发数据；备份和恢复；存储管理。 信息发布系统：把数据仓库中的数据或其他相关的数据发送给不同的地点或用户。基于Web的信息发布系统是对付多用户访问的最有效方法。 如何架构数据仓库？ 数据仓库的架构包含多个层。顶层是通过报告、分析和数据挖掘工具呈现结果的前端客户端。中间层包括用于访问和分析数据的分析引擎。架构的底层是加载和存储数据的数据库服务器。数据使用两种不同类型的方式存储： 经常访问的数据存储在最快的存储装置中（例如，SSD 驱动器） 不经常访问的数据存储在便宜的对象存储区中，例如 Amazon S3。数据仓库将自动确保经常访问的数据被移进“快速”存储以便优化查询速度。 数据仓库如何运作？ 数据仓库可能包含多个数据库。在每个数据库中，数据整理进表和列中。在每个列中，您可以定义数据的说明，例如整数、数据字段或字符串。表可以在 Schema 内整理，您可以将其视为文件夹。提取的数据将存储在 Schema 描述的各种表中。查询工具使用 Schema 来确定要访问和分析哪些数据表。 慧都大数据应用架构及流程 使用数据仓库有哪些优势？ 数据仓库的优势包括： 知情地做出决定 整合多个来源的数据 历史数据分析 数据质量高、一致且准确 将分析处理从事务数据库中分离出来，从而提高两个系统的性能  （编辑：济南站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐