[译] Snapshot、Chunk、Clone:大规模部署快速 runner

原文:Snapshot, Chunk, Clone: Fast Runners at Scale 作者:Maggie Lou · 原文发表于 2026-01-26。 译注:文中的“我们”指原作者或 BuildBuddy 团队,时效性表述以原文发布日期为准。Bazel 专有名词保留英文,代码和命令未作翻译。 在 BuildBuddy,我们的核心使命是加快构建速度。我们使用 Firecracker 快照来按需保持预热 workers 的可用性。 只需一个curl请求,您就可以在warm worker中运行任何bash命令。 背景 想象一下,每天早上您都必须从头开始重新初始化笔记本电脑上的开发环境,重新安装工具并克隆 git 存储库。接着还得下载容器映像并启动各种应用程序。一想到这些时间和精力我就感到不寒而栗。 不仅设置会很慢,而且所有初始工作负载也会更慢。应用程序和内核必须重新填充各种内存和磁盘缓存,并下载工具和依赖项。 Cold start 是计算系统中常见的问题。GitHub Actions 等 CI 平台会为每次任务初始化新的 worker,AI 编程 agent 也通常运行在尚未预热的 cold runners 上。这样能让环境保持干净、一致,并与其他客户的任务隔离,但每次任务也往往需要多花几分钟。 借助可创建 snapshot 的 runners,只需承担一次初始化 cold worker 的耗时,后续任务就能直接克隆已经预热的 worker。 这些 workers 具有许多有价值的特性: 灵活性:每个worker都有自己的内核,提高安全性并支持需要Docker或自定义映像的复杂工作负载。 写入时复制:可以从共享基线克隆并行workers,同时在写入时复制更改,从而允许不同的工作负载运行而不会产生干扰。 可扩展性:能通过网络克隆,为我们提供可持续扩展的快速 runners 集群。 持久性:可以保存到磁盘,让 workers 在机器重启或自动伸缩后仍能恢复。 高容量:可以处理需要高达100GB磁盘和大量内存的大型工作负载,这对于单一存储库或运行ML模型等内存密集型任务通常是必需的。 增量更新:可以随着每个工作负载进行增量更新,从而减少环境偏差,甚至在数周的开发过程中也是如此。 内存持久性:可以跨工作负载保留内存中状态,允许重复使用昂贵的初始化工作(例如Bazel的分析图和JVM堆状态)。 在我们的代码库中,一次完全命中缓存的 Bazel 构建 大约需要 6 分钟。在 GitHub Actions 上,初始化 worker 就要花 3.5 分钟,包括安装工具、对 GitHub repository 做 sparse checkout,以及在 构建 开始前生成 Bazel 的 analysis graph。这意味着,仅准备工作就占了 CI 时间的三分之一以上! ...

2026-11-09 · 4 min · 791 words · Maggie Lou

[译] 使用 Podman 和 SOCI Snapshotter 按需拉取容器镜像

原文:Lazily Pulling Container Images with Podman and SOCI Snapshotter 作者:Iain Macdonald · 原文发表于 2023-11-15。 译注:文中的“我们”指原作者或 BuildBuddy 团队,时效性表述以原文发布日期为准。Bazel 专有名词保留英文,代码和命令未作翻译。 译注:缓存淘汰一节原文末句中的“only require re-indexing except after”疑有笔误。结合上文关于缓存访问与淘汰的说明,本译文将其理解为:经常使用的镜像通常只在容器 registry 中更新后才需要重新建立索引。 我们很高兴地宣布 podman 的性能改进,使在 BuildBuddy 的托管执行服务上拉取容器镜像的速度提高了约十倍,减少了客户 构建 和测试时间,并提高了我们自动扩展 BuildBuddy executor 池的能力。请继续阅读以了解具体细节。 容器化 在 BuildBuddy,我们使用容器来隔离 actions 并支持在我们托管的 remote execution 服务上执行任意代码。在生产中,我们使用 Podman 作为默认容器运行时,但我们也支持 Docker 和 Firecracker。我们在容器设置中遇到的一个重大挑战是,在 cold 启动后拉取容器镜像可能会非常慢。我们的 executor 镜像约为 1 GB,在我们的 GCP 生产环境中提取它们通常需要大约 30 秒的时间。一些客户提供的镜像超过 10GB,并且可能需要几分钟的时间来拉取和提取。 显着的镜像拉取延迟不仅会直接减慢客户的构建和测试速度,还会限制我们自动扩展 executor 池和响应重负载的能力。当新的 BuildBuddy executors 启动时,它们会根据需要拉取容器镜像。这意味着 executor 首次运行使用某镜像的 action 时,要先等待镜像拉取。队列中使用同一镜像的其他 actions 也会被阻塞。因此,我们提取容器镜像的速度越快,我们就能更快地启动新的 executors 并开始运行客户提交的 actions。我们可以通过始终运行更多的 executors 来解决这个问题,或者在高峰时段抢先扩展 executor 池,但这些技巧最多只能部分解决这个问题,并且还有其他缺点。 ...

2026-11-09 · 2 min · 350 words · Iain Macdonald

[译] 我们如何用 ClickHouse 分析数百万次构建的趋势

原文:How We Use ClickHouse to Analyze Trends Across Millions of Builds 作者:Lulu Zhang · 原文发表于 2022-11-22。 译注:文中的“我们”指原作者或 BuildBuddy 团队,时效性表述以原文发布日期为准。Bazel 专有名词保留英文,代码和命令未作翻译。 使用 Buildbuddy 配合 Bazel 构建、测试软件时,Buildbuddy 会记录每次 Bazel invocation 的信息,包括构建次数、构建耗时和 remote cache 性能等。Buildbuddy 的 Trends 页面会把这些数据随时间的变化展示出来。 趋势页面能帮助你判断,所做的优化如何影响平均构建耗时及其他指标,也能暴露待改进的地方。比如,cache hit 率持续下降,可能是构建中存在结果不确定的构建 actions,也可能是新引入的依赖使缓存更频繁地失效。 当我们第一次创建趋势页面时,我们使用 MySQL 查询来聚合 构建 统计数据并生成我们想要显示的数据。有一段时间,这种方法效果很好,但我们很快就遇到了拥有大量构建的客户的性能问题。我们能够通过添加各种索引来暂时提高性能,尽管这有助于减少读取的行数,但这还不够。有些客户每月进行数百万次构建,这些客户的“趋势”页面(可以追溯到一年)需要超过 20 分钟 的加载时间。 趋势页面背后的查询需要多列的聚合,例如cache hits和cache misses。像 MySQL 这样的传统的基于行的数据库并不总是适合这种用例。在基于行的数据库中,数据是逐行存储的。聚合列时,比基于列的数据库需要更多的 I/O 查找,基于列的数据库将每列的数据存储在连续的块中。此外,基于列的数据库具有更高的压缩率,因为同一列的连续值具有相同的类型并且可能重复。 对于基于行的存储,我们可以从该图中看到,计算 cache hit 计数的总和需要我们加载块 1 和块 2。对于基于列的存储,所有 cache hits 数据都存储在同一块中。 因此,我们认为使用 ClickHouse(基于列的数据库)将提高趋势页面所需查询的性能。我们根据我们的用例验证了 ClickHouse 的性能:ClickHouse 处理 150 万行并计算统计数据花了 0.317 秒。相同的查询花费了 MySQL 大约 24 分钟。 ...

2026-11-09 · 1 min · 107 words · Lulu Zhang

[译] 理解 Bazel 的 Remote Caching 与 Remote Execution

原文:Bazel’s Remote Caching and Remote Execution Explained 作者:Brentley Jones · 原文发表于 2022-03-16。 译注:文中的“我们”指原作者或 BuildBuddy 团队,时效性表述以原文发布日期为准。Bazel 专有名词保留英文,代码和命令未作翻译。 译注:本文的 flag 名称和默认行为对应写作时的 Bazel 5.0;相关文档与代码链接也指向该版本。文中保留这些历史名称,以便与原文的执行流程和脚注对应。 Bazel 著名的 remote caching 和 remote execution 功能可以改变游戏规则,但如果您不熟悉它们的工作原理,它们可能会有点神秘。 别担心。我会从基础讲起,介绍 remote caching 和 remote execution,再深入到具体细节,也就是 actions 和 spawns 😄,带你了解 Bazel 的远程能力。 Actions 对于一次请求的 构建,构建 graph 中的每个 rule target,都会在 analysis phase 生成零个或多个 actions。这些 actions 组成 action graph,表示 execution phase 期间需要执行的全部 actions。 示例 action graph。 Actions 按创建它们的 targets 进行分组。箭头连接 actions,显示它们之间的依赖关系。 在 execution phase,Bazel 会遍历 action graph,逐个判断 action 是否需要执行。如果 output base 的 action cache 中没有对应的 action 结果,或者 output base 中的输出与 action 结果记录的输出不一致,就需要执行。 ...

2026-11-09 · 4 min · 779 words · Brentley Jones

[译] 用 Git Bisect 排查 Bazel 构建问题

原文:Troubleshooting Bazel with Git Bisect 作者:Son Luong Ngoc · 原文发表于 2025-02-18。 译注:文中的“我们”指原作者或 BuildBuddy 团队,时效性表述以原文发布日期为准。Bazel 专有名词保留英文,代码和命令未作翻译。 译注:本文保留 2025 年 2 月使用 Bazel 8.0.1、8.1.0 和 rules_go 排查回归的案例。版本号、commit 和日志均是当时的记录,用来演示二分定位方法。 升级 Bazel 和相关依赖项有时会导致意外问题。这些问题的范围从 构建 故障到运行时错误,而且通常很难排除故障。 今天我们来看看,依赖升级后出现 构建 失败,如何用 git bisect 找出根因。 升级 Bazel 后 构建 失败 如果您像我一样,您会喜欢在项目中拥有最新、最好的工具。而我使用最多的工具是Bazel,所以随着最近8.1.0版本的发布,我决定升级我们的BuildBuddy repository来使用它。 $ echo '8.1.0' > .bazelversion $ bazel test --config=remote-minimal //... ... ERROR: /root/workspace/output-base/external/bazel_tools/tools/build_defs/repo/http.bzl:137:45: An error occurred during the fetch of repository 'rules_cc+': Traceback (most recent call last): File "/root/workspace/output-base/external/bazel_tools/tools/build_defs/repo/http.bzl", line 137, column 45, in _http_archive_impl download_info = ctx.download_and_extract( Error in download_and_extract: com.google.devtools.build.lib.remote.common.CacheNotFoundException: Missing digest: abc605dd850f813bb37004b77db20106a19311a96b2da1c92b789da529d28fe1/178823 ... 哎呀!将 Bazel 升级到 8.1.0 后,构建 似乎失败了。返回到 8.0.1 问题就消失了,这意味着问题是在 Bazel 8.1.0 中引入的。 ...

2026-11-09 · 7 min · 1436 words · Son Luong Ngoc

[译] 通过分布式调度加快构建

原文:Distributed Scheduling for Faster Builds 作者:Tyler Williams · 原文发表于 2022-04-07。 译注:文中的“我们”指原作者或 BuildBuddy 团队,时效性表述以原文发布日期为准。Bazel 专有名词保留英文,代码和命令未作翻译。 先向还不了解的读者介绍一下 BuildBuddy。我们为 Bazel 构建提供 UI、分布式缓存和 remote execution 平台,安全地编译代码、缓存 artifacts,并展示结果。使用这套服务,可以在笔记本上用不到 5 分钟构建 Tensorflow 等项目,而原先需要 90 分钟。 显然,要做到这一切,我们必须应对一些棘手的工程挑战,其中之一就是安排远程执行。为此,我们有一个调度程序。调度程序只是将我们的 API 接收到的 actions(基本上是作业)与实际执行工作的远程 workers 相匹配。如果您将 Tensorflow 之类的完整 构建 视为 10 道菜的餐食,那么单个 action 就相当于该餐食一小部分的食谱。为了更容易可视化,这里有一个来自构建 BuildBuddy 的真实 action: # this action just uses gcc to compile zlib/infback.c into an object file, zlib/infback.o /usr/bin/gcc -U_FORTIFY_SOURCE -fstack-protector -Wall -Wunused-but-set-parameter \ -Wno-free-nonheap-object -fno-omit-frame-pointer -g0 -O2 -D_FORTIFY_SOURCE=1 \ -DNDEBUG -ffunction-sections -fdata-sections -MD -MF \ bazel-out/k8-opt-exec-34F00540/bin/external/zlib/_objs/zlib/infback.d \ -frandom-seed=bazel-out/k8-opt-exec-34F00540/bin/external/zlib/_objs/zlib/infback.o \ -iquote external/zlib -iquote bazel-out/k8-opt-exec-34F00540/bin/external/zlib \ -isystem external/zlib/zlib/include \ -isystem bazel-out/k8-opt-exec-34F00540/bin/external/zlib/zlib/include -g0 \ -Wno-unused-variable -Wno-implicit-function-declaration -fno-canonical-system-headers \ -Wno-builtin-macro-redefined -D__DATE__="redacted" -D__TIMESTAMP__="redacted" \ -D__TIME__="redacted" -c external/zlib/infback.c -o \ bazel-out/k8-opt-exec-34F00540/bin/external/zlib/_objs/zlib/infback.o 这是另一个: ...

2026-11-09 · 2 min · 227 words · Tyler Williams

[译] Bazel 的 strategies 是什么?

原文:What are Bazel’s strategies? · Julio Merino · 2019 年 12 月 14 日。译文保留原文当时的技术描述。 “strategies?你要聊 Bazel 称霸世界的战略 🙀?”呃……不完全是。 过去几个月,dynamic execution 一直是我工作中的热门话题,我也正准备写一系列文章来介绍它。不过,在此之前,得先回顾一下 Bazel 的 execution strategies。要理解 dynamic execution 是什么、如何实现,execution strategies 很重要。 简单来说,strategies 是 Bazel 对一套子进程运行机制的抽象,用于执行 action 的一部分工作,比如调用编译器。它们本质上就是加强版的 Unix exec() 系统调用或 Windows CreateProcess,能让子进程在差别很大的环境中运行。 不过,有一条约束始终不变:strategy 不影响执行语义。也就是说,同一条命令行交给 strategy A 和 strategy B 执行,必须生成相同的输出文件。因此,切换 strategy 不会让 analysis graph 失效。 有了这个保证,就可以在运行时混用不同的 strategy,而不影响输出行为。Bazel 通过可重复指定的 --strategy 参数提供这项能力,参数值的形式是 [mnemonic]=strategy。你可以用它指定某一类 action 使用哪个 strategy。例如,--strategy=remote --strategy=Javac=worker 会把默认 strategy 设为 remote,只有 Java 编译使用 worker。另外,--strategy_regexp 可以根据 action message 选择 strategy,不过这里先不谈这套“魔法”。Bazel 也有一些挺巧妙的机制,支持自动选择 strategy。 ...

2026-11-09 · 2 min · 272 words · 翟志军 Jack Zhai

[译] Skylark 设计一瞥

原文:A glimpse of the design of Skylark 作者:Laurent Le Brun。原文发布日期:2017 年 3 月 21 日。 译注:本文保留原文的 Skylark 名称和 2017 年的技术语境,文中的“当前”等时间表述均以原文发表时为准。原文来自 Bazel 官方博客,其源码仓库采用 Apache License 2.0。本文为中文翻译。 本文介绍 Skylark 的设计。Skylark 是 Bazel 中用于描述构建的语言。 简史 很多年前,Google 使用 Makefile 构建代码。正如其他人也曾指出的那样,Makefile 很难应对大型代码库。一个临时方案是用 Python 脚本生成 Makefile:构建描述保存在 BUILD 文件中,以调用 Python 函数的形式表达。但这个方案实在太慢了,瓶颈就在 Make。 Blaze 项目于 2006 年启动,后来以 Bazel 的名字开源。它用一个简单的解析器读取 BUILD 文件,只支持函数调用、列表推导式和变量赋值。当 Blaze 无法直接解析某个 BUILD 文件时,就会先执行一个预处理步骤:用 Python 解释器运行用户编写的 BUILD 文件,生成一个简化版的 BUILD 文件,再交给 Blaze 使用。 这种方法很简单,也允许开发者创建自己的宏。但它又带来了许多维护、性能和安全方面的问题。由于 Blaze 本身无法解析这些 BUILD 文件,各类工具的开发也变得更加复杂。 在当前版本的 Bazel 中,我们移除了 Python 预处理步骤,让系统变得更加合理。不过,为了迁移现有代码库,我们保留了 Python 语法。无论如何,这似乎都是个好主意:许多人喜欢 BUILD 文件的语法,其他构建工具,例如 Buck、Pants 和 Please,也采用了这种语法。 ...

2026-11-05 · 1 min · 134 words · 翟志军 Jack Zhai

Precise Testing Is Wrong — It's Just a Byproduct of Incremental Builds

There’s a popular idea in the testing world called precise testing (精准测试). In short, it is the ability to run only the tests affected by a change, instead of running the entire suite every time. I think the idea is right — but the way our industry usually implements it is wrong. In this post I’ll first explain what precise testing is and why the mainstream approach is heading in the wrong direction, and then show a different path: precise testing turns out to be nothing more than a byproduct of incremental builds. ...

2026-06-29 · 9 min · 1818 words · 翟志军 Jack Zhai

Setting up EKS with Bazel, Jsonnet and Terraform

Overview In this document, I’ll describe my solution from the following parts: Part1 Architecture: describe the desired state of the architecture Part2 Implementation: Code Structure Introduce How to Build it Deploy Nginx Controller using Helm Part1: Architecture We assume that the project has a project named: health. Here’s the architecture graph, which draw by Excalidraw Network Architecture I created 4 subnets that are evenly distributed to 2 Availability Zones. Each availability zone has 2 subnets, one is public subnet,and another one is private subnet. The public subnet goes out through the Internet gateway and the private subnet goes out through the NAT gateway. ...

2024-01-20 · 7 min · 1300 words · 翟志军 Jack Zhai