Lambda架构
定义
- Lambda架构是一种大数据处理架构，设计用于处理大规模数据集，同时满足低延迟读取和更新的需求。
- Lambda架构通过批处理层保证数据的完整性和准确性，通过速度层保证实时性，最终在服务层提供完整且及时的数据视图。这种设计适用于需要同时处理历史数据和实时数据的场景，如日志分析、用户行为分析等。该架构的主要优势是可以平衡数据的准确性、实时性和系统复杂度。 其核心由三层组成：
- 批处理层 (Batch Layer)
- 存储原始数据集
- 预计算大规模数据视图
- 保证数据的完整性和准确性
- 速度层 (Speed Layer)
- 处理实时数据流
- 只关注最新数据
- 补充批处理层的实时性不足
- 服务层 (Serving Layer)
- 整合批处理和速度层的结果
- 响应查询请求
- 提供统一的数据视图