Apache Spark Structured Streaming
Spark Structured Streaming 用 DataFrame 做流处理支持事件时间和 Watermark。微批处理默认连续处理可选。适合实时 ETL 和监控。本文用 Spark 实时计算 PV。
18
0
0
2026-07-12
Spark RDD DataFrame DataSet 的区别
Spark 的 RDD 是底层数据抽象DataFrame 有 schema 优化更好DataSets 结合了类型安全和 DataFrames 的性能。Catalyst 优化器对 DataFrame 做查询优化。
11
0
0
2026-07-09
PySpark 数据处理
通过 PySpark 编写 Python 代码运行在 Spark 集群上，进行大规模 ETL 和分析。
35
0
0
2026-06-17
Apache Spark 大数据处理快速入门
使用 PySpark 编写分布式数据处理程序，学习 Spark DataFrame 操作、SQL 查询和常见性能优化，处理 TB 级数据集。
18
0
0
2026-06-12