Delta Lake（DeltaLake）如何保证ACID事务？

Question

Delta Lake使用哪些机制来确保用户在DeltaTable上进行的操作的事务原子性、一致性、隔离性和持久性？

- bonnal-enzo

Answer 1

0. DeltaLog

Deltalog = Delta Lake的事务日志。

Delta Log是一组有序的json文件。它作为单一的真实来源，使用户可以访问DeltaTable状态的最新版本。

1. 原子性

• Delta Lake将用户执行的每个操作分解为提交，每个提交由操作组成。
• 只有在每个操作成功完成后（否则将被还原和重新启动或抛出错误），提交才会记录在Delta Log中，确保其原子性。

2. 一致性

通过强制模式检查来保证DeltaTable的一致性。

3. 隔离性

管理提交的并发性以确保它们的隔离性。应用乐观并发控制：

• 当提交执行开始时，线程会快照当前的Delta日志。
• 当提交操作完成后，线程会检查是否在此期间另一个线程已更新了Deltalog：
  • 如果没有，则记录提交到Deltalog中
  • 否则，它会更新其DeltaTable视图，并在需要重新处理后再次尝试注册提交。

4. Durability

包含改变DeltaTable数据的操作的提交需要完成对底层Parquet文件（存储在文件系统上）的写入/删除才能被视为成功完成，使它们具有耐久性。

---

更多阅读材料：

深入了解 Delta Lake：拆解事务日志

ACID 属性

- bonnal-enzo