跳到主要内容

从 Tendermint、QLDB、DoltDB 到三库分离的 SQLite:一条区块链的存储演进复盘

Robert Mao
ArcBlock ChainBlockchainStorageArchitectureTendermintQLDBVerifiabilityLedger

做基础设施时间久了,你常常会体会到一种螺旋式上升的幽默感:花了七八年时间把市面上最时髦、最重型的分布式数据库和搜索引擎挨个折腾了一遍之后,最终让你收获最高性能与最大自由度的,往往是那个最朴素、最 old school 的方案。

在本月 ArcBlock Chain 迈向新一代 Agentic Layer 1 的底层升级中,除了全栈 DID 协议刷新、资产大一统和声明式 DSL 智能合约之外,我们在最底层的存储引擎上完成了一次彻底的返璞归真。

我们告别了过去数年依赖的外部重型数据库与独立搜索引擎集群,全面回归极简、高并发的 SQLite(WAL 模式),并在架构上独创了 Ledger DB(只追加账本库)、State DB(当前状态库)与 Index DB(查询索引库)三库物理分离的设计。

为什么一条现代公链会在演进了八年之后做出这样的选择?这要从我们一路走来的五代存储架构说起。

八年五代存储演进:从 Tendermint、QLDB、DoltDB 到返璞归真

今天很多新入行的开发者看区块链,以为链的存储生来就是固定的;但对于从 2018 年一路实战过来的工程团队来说,链的底层存储其实一直在跟着业务场景和云基础设施的变迁而进化。回顾过去八年,ArcBlock Chain 的存储结构先后经历了五个非常清晰的阶段:

暖调编辑插画:阳光下横跨平静水面的五座演进石砌亭台,从最左侧厚重的铸铁砖石区块引擎起步,依次经过模块化适配拱门、环绕云纹的穹顶高塔、精密复杂的多齿轮温室,最终抵达右侧小巧底座上澄澈轻盈的青绿晶石与黄铜单体柱石

第一阶段:基于 Tendermint 引擎与 LevelDB 的起步期

在 ArcBlock Chain 最早期的版本里,我们的共识与网络层构建在 Tendermint 引擎之上。熟悉那个年代公链架构的朋友都知道,Tendermint 默认自带的底层存储是键值数据库 LevelDB(GoLevelDB)。

在起步阶段,这套组合帮我们快速跑通了区块打包与状态树落盘。但随着业务复杂度的提升,底层键值存储与共识引擎紧耦合的局限很快就暴露了出来:纯 Key-Value 接口表达能力太原始,稍微复杂一点的多维状态检索都得在应用层手写前缀扫描;而且当测试环境、轻量级节点和生产高可用节点对落盘介质提出不同要求时,写死在单一引擎里的存储成了束手束脚的枷锁。

第二阶段:自研存储抽象层,灵活支持 Memory、File 与 DB

为了打破底层存储的绑定,我们在很早的时候就做了一个至今受益匪浅的工程决定:把链的状态存储(StateDB)和索引查询(IndexDB)彻底抽象化,提炼出统一的存储驱动接口,原生支持 memory(内存)、file(本地文件)和 db(专业数据库)三种后端模式。

这一步抽象让我们的链底座瞬间拥有了极高的弹性:跑自动化测试或本地快速沙盒时,直接切到纯内存后端,毫秒级启动、用完即焚;在轻量级单机环境里,直接落盘为本地文件;而在大规模生产节点上,则可以无缝对接企业级数据库服务,上层交易流水线与协议代码一行都不用改。

第三阶段:采用 AWS QLDB 作为生产环境账本引擎

有了统一的存储抽象层之后,我们在生产环境里一直在寻找既具备云原生高可靠、又天然契合区块链“不可篡改可验证历史”特性的数据库。当亚马逊云科技推出 AWS QLDB(Quantum Ledger Database,量子账本数据库) 时,它内置的只追加密码学日志(Append-only Journal)与可验证历史摘要简直和我们的需求一拍即合。

于是,我们基于存储抽象层实现了 QLDB 生产驱动,并在很长一段时间里将 AWS QLDB 作为生产链节点的核心存储底座,稳定支撑了早期众多线上应用与资产流转。

第四阶段:QLDB 退役后迁往 DoltDB,并搭配 Elasticsearch 做索引检索

然而云服务最大的不确定性在于供应商的产品生命周期调整。当 AWS 官方宣布将逐步退役 QLDB 服务时,我们必须为生产环境寻找新的接替者。

既然看重状态的版本演进与历史可追溯性,我们当时自然把目光投向了号称“Git for SQL”的版本化关系型数据库 DoltDB,它在兼容 MySQL 协议的同时,把每一次数据提交做成类似 Git Commit 的版本树。与此同时,在这几个阶段里,为了支撑区块链浏览器、钱包交易历史和多维资产检索,我们一直额外部署着一套 Elasticsearch 集群,专门承担链上的索引(Index)与搜索(Search)工作。

这套“DoltDB + Elasticsearch”的组合在逻辑上看起来无懈可击,但在真实生产环境跑久了之后,工程上的“复杂度税”却越来越让人难受 🤣:

  • 为用不上的通用特性付出了高昂代价:区块链交易流水线本质上是严格线性的确定性状态机,我们永远不会去给链上状态开一个 Git 分支再手动 merge 回来,但却要为每一笔交易的底层版本树提交承担沉重的跨进程网络通信与锁开销。
  • 杀鸡用牛刀的全文搜索引擎:复盘链上的真实查询流量就会发现,区块链和钱包查的是“某个 DID 地址的交易流水”“某个资产工厂下的 NFT 列表”和“按时间戳或金额精确排序”,根本不需要自然语言分词和全文模糊相关性打分!为了不到 5% 的精确索引需求去维护一套吃内存的 JVM Elasticsearch 集群,甚至为了让搜索引擎正确排列大整数余额还得在数字前面手工补零,实在有些 overkill。
  • 运维半径过重,限制了链的轻量化部署:如果跑一条链必须同时拉起关系型数据库进程、版本控制层和一套 Elasticsearch 集群,那你永远不可能把一条主权链塞进几兆内存的边缘节点,或是让开发者在自己的个人设备上一键拉起。

第五阶段:返璞归真,回归 SQLite 并开创 3-DB 分离结构

想明白这一切之后,我们在本轮架构升级中做了一次干脆利落的断舍离:卸下所有用不上的重型外置服务,全面回归以稳定、极速、单文件零外部依赖著称的 SQLite(开启 WAL 并发读写模式)。

没有了跨进程连接池、JVM 垃圾回收和复杂版本树的拖累,链的纯协议执行与落盘延迟直接下降了一个数量级,内存占用从过去的数 GB 骤降到几十 MB。但我们并没有简单地把所有表塞进同一个 SQLite 文件里了事,而是基于第一性原理,设计了独特的三库物理分离架构(3-DB Architecture)。

为什么是三个独立的 SQLite:Ledger、State 与 Index 的物理分离

在很多传统区块链节点里,原始区块交易、当前账户状态和辅助查询索引往往混杂在同一个数据库实例里。一旦索引表膨胀损坏,或者升级协议时需要调整某张状态表的字段,整个节点就得停机做惊心动魄的数据库迁移。

而在升级后的 ArcBlock Chain 中,虽然底层引擎统一用 SQLite,但我们在物理上把它严格拆成了三个职责完全正交、生命周期截然不同的独立数据库文件:

暖调编辑插画:由一道单向发光青绿光束从左至右串联的三座物理隔离阳光建筑厅堂,左侧第一座是堆叠序列水晶铭牌的坚固石砌堡垒金库(Ledger DB),中间第二座是纯粹由左侧光束驱动的精密钟表投影沙盘(State DB),右侧第三座是通透开放、可随时拆换重组的光学棱镜阅览长廊(Index DB)

1. Ledger DB(只追加可验证账本库:唯一的事实真源)

Ledger DB 是整条链唯一不可再生的“命根子”。它只干一件事:按严格单调递增的序列号(Sequence),以只追加(Append-Only)的方式永久记录每一笔经过用户密码学签名的原始交易字节流(Raw Transaction)、哈希链摘要(entryHash)、确定性状态写入集指纹(writeSetDigest)以及经过共识节点多重签名的检查点(Checkpoint)Merkle 根。

在备份策略上,全节点唯一必须持久化备份的只有 Ledger DB。甚至因为它是纯追加的不可变序列,我们天然支持将近期热账本留在高速本地 SQLite 中,而将历史冷账本按段(Segment Bundle)自动归档到对象存储(如 S3 或 Cloudflare R2)里,让节点的活跃磁盘占用永远保持精巧恒定。

2. State DB(当前状态投影库:100% 可由账本重放生成)

State DB 里存放着当前这一秒所有账户的余额、NFT 归属、质押池状态和合约配置。在我们的架构定义里,State DB 不是事实的源头,它只是 Ledger DB 从创世块(或最近一个检查点)重放到当前时刻的确定性数学投影(Deterministic Projection):

text
State(N) = Replay(Ledger[1 .. N])

把 State DB 和 Ledger DB 物理拆开,带来了两个让工程师幸福感爆棚的好处:

  • 状态损坏零惧怕,随时确定性重放自愈:哪怕服务器断电导致 State DB 文件损坏,甚至你直接把 statedb.sqlite 删掉,节点只需要从 Ledger DB 顺着检查点重放一遍交易,就能分毫不差地重建出完整的当前状态,并且重放出的状态哈希与全网密码学承诺 100% 咬合。
  • 协议升级再也不用写脆弱的数据迁移脚本:过去改一个状态字段,最怕写错线上数据 Migration 脚本污染历史账本;现在因为原始交易完好无损地躺在 Ledger DB 里,升级解析逻辑后直接重放生成新状态投影即可,干净利落。

3. Index DB(查询与检索读模型:零备份负担的纯衍生视图)

Index DB 则是专门为钱包、区块链浏览器、DApp 前端和 AI Agent 查询服务的“高速阅览室”。它利用 SQLite 原生的复合 B-Tree 索引与数值排序能力,把按发送方、接收方、交易类型、时间范围、资产标签的复杂检索安排得明明白白,彻底取代了昔日笨重的 Elasticsearch 集群。

因为 Index DB 物理独立于 Ledger DB 和 State DB 之外:

  • 查询流量绝对不会拖慢核心账本共识:不管外部分析工具发起多么密集的复杂聚合查询,都只在只读的 Index DB 上打转,绝不会去争抢交易落盘的写锁。
  • 零备份成本,秒级删库重建:备份节点时完全不需要打包体积庞大的索引库。哪天前端业务想新增十个全新的分析索引维度,直接更新索引器定义、删掉旧的 indexdb.sqlite 自动重算一遍即可,核心账本与资产状态连眼皮都不用抬一下 😝。

越懂复杂,越敬畏简单

从最初套用 Tendermint 与 LevelDB,到自研多后端存储抽象层,再到历经 AWS QLDB、DoltDB 与 Elasticsearch 的生产洗礼,最后收敛到今天三个职责纯净的 SQLite 文件,这八年走下来,我们最大的感触是:架构的最高境界不是往系统里加还能加什么,而是砍到不能再砍为止。

当我们把存储精简到极致的 Ledger + State + Index 三库分离架构后,一条完整的主权可验证区块链不仅可以在数据中心里跑出每秒数百笔即时确认的吞吐量,甚至可以零外部依赖地装进一个轻量级 ARC(Agentic Realm Computer) 应用节点,或者直接跑在 Cloudflare Worker + Durable Object 这样的无服务器边缘容器里。

把沉重的历史包袱卸下,让账本归账本、状态归状态、索引归索引,这就是 ArcBlock Chain 作为新一代 Agentic Layer 1 能够轻装上阵、支撑未来海量人与 AI Agent 自由协作的底气所在。

参考与延伸阅读

本页涉及

产品

  • ARC active

    Blocklet 的运行时。它给开发者一个地方来运行以 Blocklet 描述的应用,连同那个 Blocklet 声明自己需要的资源。

  • ArcBlock Chain active

    为应用的身份、资产与约定而设计的 Layer 1。ArcBlock Chain 将这些常用操作纳入协议,ABT 是公共网络的原生代币。

  • DID Wallet renamed

    在一个应用里创建和管理数字身份(DID),并管理相关凭证。