数据仓库与大数据平台概念概述与分析

数据仓库与大数据平台概念概述

基本概念

• 数据仓库与大数据平台的关系
  数据仓库是用于数据存储和分析的系统，而大数据平台则提供处理和分析大量数据的工具和框架。两者结合，实现高效数据处理和深度分析。

分层结构

• 应用层

  • 轻量应用：针对特定功能的简化应用，方便用户使用和访问数据。

• 数据中台

  • 数据治理：确保数据的一致性、来源和质量。
  • 数据智能：利用AI和数据分析技术提取有价值的信息。

• 平台层

  • 数据库（如Oracle）：作为数据存储的核心工具，支持基础的数据处理和查询。
  • 大数据平台（如GreenPlum）：支持大规模数据分析，能够处理PB级别的数据。

• 数据整合与转换（ETL/ESB）

  • 数据整合：将数据从各种来源汇总到一个平台，方便进行统一管理和分析。
  • 数据转换：将数据转化为可分析的格式，使其适应不同的分析需求。

具体工具与技术

• 数据存储及处理工具

  数据库名称	类型	特性
  Oracle	关系数据库	支持复杂查询 和 事务处理
  GreenPlum	分析型数据库	高并发、高性能数据分析
  Spark	大数据处理框架	支持批处理和流处理
  Presto	分布式查询引擎	数据湖查询，支持多种数据源

• 集成与处理流程

  • 非结构化数据处理：通过文件等方式处理不规则数据格式，提升数据的可用性。

复杂数据分析

• 数據中台層的功能包括AI分析、用户行为分析和定制化报告等，能够深入挖掘用户需求和趋势。
• 通过自定义分析，企业可以根据自身特点设定数据分析的方向，以获得更加精确的商业洞察。

Reference: