[译] Snapshot、Chunk、Clone:大规模部署快速 runner
原文:Snapshot, Chunk, Clone: Fast Runners at Scale 作者:Maggie Lou · 原文发表于 2026-01-26。 译注:文中的“我们”指原作者或 BuildBuddy 团队,时效性表述以原文发布日期为准。Bazel 专有名词保留英文,代码和命令未作翻译。 在 BuildBuddy,我们的核心使命是加快构建速度。我们使用 Firecracker 快照来按需保持预热 workers 的可用性。 只需一个curl请求,您就可以在warm worker中运行任何bash命令。 背景 想象一下,每天早上您都必须从头开始重新初始化笔记本电脑上的开发环境,重新安装工具并克隆 git 存储库。接着还得下载容器映像并启动各种应用程序。一想到这些时间和精力我就感到不寒而栗。 不仅设置会很慢,而且所有初始工作负载也会更慢。应用程序和内核必须重新填充各种内存和磁盘缓存,并下载工具和依赖项。 Cold start 是计算系统中常见的问题。GitHub Actions 等 CI 平台会为每次任务初始化新的 worker,AI 编程 agent 也通常运行在尚未预热的 cold runners 上。这样能让环境保持干净、一致,并与其他客户的任务隔离,但每次任务也往往需要多花几分钟。 借助可创建 snapshot 的 runners,只需承担一次初始化 cold worker 的耗时,后续任务就能直接克隆已经预热的 worker。 这些 workers 具有许多有价值的特性: 灵活性:每个worker都有自己的内核,提高安全性并支持需要Docker或自定义映像的复杂工作负载。 写入时复制:可以从共享基线克隆并行workers,同时在写入时复制更改,从而允许不同的工作负载运行而不会产生干扰。 可扩展性:能通过网络克隆,为我们提供可持续扩展的快速 runners 集群。 持久性:可以保存到磁盘,让 workers 在机器重启或自动伸缩后仍能恢复。 高容量:可以处理需要高达100GB磁盘和大量内存的大型工作负载,这对于单一存储库或运行ML模型等内存密集型任务通常是必需的。 增量更新:可以随着每个工作负载进行增量更新,从而减少环境偏差,甚至在数周的开发过程中也是如此。 内存持久性:可以跨工作负载保留内存中状态,允许重复使用昂贵的初始化工作(例如Bazel的分析图和JVM堆状态)。 在我们的代码库中,一次完全命中缓存的 Bazel 构建 大约需要 6 分钟。在 GitHub Actions 上,初始化 worker 就要花 3.5 分钟,包括安装工具、对 GitHub repository 做 sparse checkout,以及在 构建 开始前生成 Bazel 的 analysis graph。这意味着,仅准备工作就占了 CI 时间的三分之一以上! ...