2025-08-17 约 1800 字预计阅读 4 分钟

数据仓库与计算引擎

当通过逆向和爬虫采集到海量数据后（例如，数亿条用户行为日志、商品信息），如何存储、管理和分析这些数据，就成了大数据领域的核心问题。本节将介绍主流的数据仓库和分布式计算引擎技术。

数据仓库是一个用于存储和分析海量结构化、半结构化数据的系统。它与业务数据库（OLTP）不同，其核心目标是支持复杂的分析查询（OLAP）。

定位: 基于 Hadoop 的一个数据仓库基础架构。
核心思想: Hive 允许你使用标准的 SQL 语言 来查询存储在 Hadoop 分布式文件系统（HDFS）上的大规模数据集。它将 SQL 查询翻译成 MapReduce、Tez 或 Spark 任务来执行。
元数据 (Metastore): Hive 的核心是其元数据存储。它记录了"表"的结构（列名、数据类型）与 HDFS 上的文件（如 CSV, Parquet, ORC 文件）之间的映射关系。本质上，Hive 提供了一种"给文件系统套上一个结构化外壳"的能力。
适用场景:
- 对海量（TB/PB 级）的、非实时的数据进行离线分析和 ETL（提取、转换、加载）。
- 构建企业级的数据仓库，为数据分析师和 BI 报表提供统一的 SQL 查询入口。

定位: 一个分布式的、可伸缩的、面向列的 NoSQL 数据库。它构建在 HDFS 之上，并模仿 Google Bigtable 的设计。
核心特点:
- 海量存储: 专为存储数十亿行、数百万列的超大规模稀疏数据集而设计。
- 实时读写: 与 Hive 主要用于离线批量分析不同，HBase 的核心优势在于支持对海量数据的低延迟随机读写。
- 面向列: 数据按列族（Column Family）组织。一个列族中的所有列在物理上存储在一起，这使得对特定列的读取非常高效。
- 无模式 (Schemaless): 你可以随时向一个列族中添加新的列，而无需预先定义表结构。
适用场景:
- 需要对海量数据进行实时、随机访问的场景，例如用户画像系统、实时推荐引擎的特征库、监控数据的存储。
- 作为数据采集系统的"落地层"，接收实时写入的数据流，然后由 Hive 或 Spark 进行后续的批量分析。

计算引擎负责实际执行数据处理任务。现代计算引擎通过在内存中进行计算，极大地提升了处理速度。

定位: 一个快速、通用、可扩展的分布式计算引擎。
核心概念: RDD (弹性分布式数据集): Spark 的基础数据结构。它是一个不可变的、被分区到集群中多个节点上的元素集合，支持丰富的转换（map, filter, join）和行动（count, collect, save）操作。RDD 的"弹性"体现在其血缘关系（Lineage），任何分区的丢失都可以根据其转换历史被重新计算出来。
DataFrame & Spark SQL: 在 RDD 之上，Spark 提供了更高级的 DataFrame API，它将数据组织成带有命名列的二维表，类似于关系型数据库的表。这使得你可以使用 Spark SQL 来进行结构化数据处理，并且 Spark 的 Catalyst 优化器会自动对你的查询进行优化。
生态系统:
- Spark Streaming: 用于处理实时数据流（Micro-batching）。
- MLlib: 提供了一套丰富的机器学习算法库。
- GraphX: 用于图计算。
适用场景:
- 需要高性能的、迭代式的批量数据处理和机器学习任务。
- 统一批处理和流处理。

定位: 一个以**真正的流处理 (True Streaming)**为核心的分布式计算引擎。
核心特点:
- 流为核心: Flink 的设计哲学是"一切皆是流"，批量计算被看作是流计算的一个特例。它能够以事件驱动的方式，逐条处理数据，实现极低的延迟。
- 状态管理与窗口: Flink 提供了强大的状态管理能力，允许你在流处理中维护和更新状态（例如，一个用户的累计消费金额）。它还支持灵活的窗口操作（如滚动窗口、滑动窗口、会话窗口），用于对无界数据流进行聚合分析。
- 高吞吐与低延迟: 专为低延迟、高吞吐的实时计算场景设计。
适用场景:
- 对实时性要求极高的场景，如实时风控、实时推荐、实时监控大盘。
- 需要进行复杂事件处理（CEP）的场景。

总结: 如果你的主要任务是离线分析和机器学习，Spark 是一个更通用、更成熟的选择。如果你的核心是需要亚秒级响应的实时计算，Flink 则是更专业的工具。在许多现代数据平台中，二者往往会共存，分别处理不同的任务。