[译] 编写 Bazel rules(一):simple binary rule

原文:Writing Bazel rules: simple binary rule 作者:Jay Conrod,曾在 Google 的 Go 团队工作,现就职于 EngFlow。 原文发表于 2018-07-31,更新于 2025-09-08。 译注:文中的“我”指原作者。版本号和工具行为保留原文发表或更新时的语境,示例代码与技术术语保留原样。 Writing Bazel rules 系列: 编写 Bazel rules(一):simple binary rule 编写 Bazel rules(二):library rule、depset 和 provider 编写 Bazel rules(三):data 和 runfiles 编写 Bazel rules(四):将逻辑移到 execution phase 编写 Bazel rules(五):repository rules 编写 Bazel rules(六):platform 和 toolchain 编写 Bazel rules(七):module extensions Bazel 是 Google 开发的开源 build tool。它很适合大型项目,原因包括高度并行的 remote build 和 execution、remote caching、对多种语言的成熟支持,以及扩展到数十亿行代码规模的 monorepo 的能力。 与 Make 这类简单的 build tool,或 Maven 这类面向特定语言的工具相比,Bazel 的学习曲线可能相当陡峭,尤其是你想扩展 Bazel、让它做一些新事情的时候。 ...

2026-11-10 · 7 min · 1341 words · Jay Conrod

[译] 编写 Bazel rules(七):module extensions

原文:Writing Bazel rules: module extensions 作者:Jay Conrod,曾在 Google 的 Go 团队工作,现就职于 EngFlow。 原文发表于 2025-10-14。 译注:文中的“我”指原作者。版本号和工具行为保留原文发表或更新时的语境,示例代码与技术术语保留原样。 Writing Bazel rules 系列: 编写 Bazel rules(一):simple binary rule 编写 Bazel rules(二):library rule、depset 和 provider 编写 Bazel rules(三):data 和 runfiles 编写 Bazel rules(四):将逻辑移到 execution phase 编写 Bazel rules(五):repository rules 编写 Bazel rules(六):platform 和 toolchain 编写 Bazel rules(七):module extensions 本文也发布在 EngFlow blog。 距离本系列上一篇文章最初发表,已经快六年了。这次有不少新内容可聊! 过去几年最大的变化,是引入了 Bazel modules,也就是 Bzlmod,并弃用了 WORKSPACE mode。我已经更新了前面的全部文章,使它们兼容 Bazel modules。这次则介绍新增的功能:如何编写 module extension,以及为什么需要它。 什么是 module extension? Bazel 的新 module system,与其他 build tool 使用的 package management system 相似,例如 Go modules、npm packages、Maven artifacts 和 Cargo crates。Module 作者先在 Bazel Central Registry(BCR) 发布一个版本,使用者再将它列入 MODULE.bazel,就能建立依赖。Bazel 启动时,会从包含当前目录的 root module 开始,对每个 MODULE.bazel 求值,并递归处理全部依赖,然后使用 minimal version selection 为每个依赖选定版本。 ...

2026-11-10 · 6 min · 1254 words · Jay Conrod

[译] 编写 Bazel rules(三):data 和 runfiles

原文:Writing Bazel rules: data and runfiles 作者:Jay Conrod,曾在 Google 的 Go 团队工作,现就职于 EngFlow。 原文发表于 2020-02-01,更新于 2025-09-08。 译注:文中的“我”指原作者。版本号和工具行为保留原文发表或更新时的语境,示例代码与技术术语保留原样。 Writing Bazel rules 系列: 编写 Bazel rules(一):simple binary rule 编写 Bazel rules(二):library rule、depset 和 provider 编写 Bazel rules(三):data 和 runfiles 编写 Bazel rules(四):将逻辑移到 execution phase 编写 Bazel rules(五):repository rules 编写 Bazel rules(六):platform 和 toolchain 编写 Bazel rules(七):module extensions Bazel 有一个很方便的功能,可以简化 test 和 executable 的许多工作:通过 data attribute,让数据文件在运行时可用。你可能见过这样的 rule: cc_library( name = "server_lib", srcs = ["server.cc"], data = ["private.key"], ) 文件被列入 data attribute,或行为与 data 类似的 attribute 后,Bazel 会让通过 bazel run 启动的 executable 在运行时能够访问这些文件。这可用于 plugin、配置文件、certificate、key、resource 等许多场景。 ...

2026-11-10 · 3 min · 565 words · Jay Conrod

[译] 编写 Bazel rules(二):library rule、depset 和 provider

原文:Writing Bazel rules: library rule, depsets, providers 作者:Jay Conrod,曾在 Google 的 Go 团队工作,现就职于 EngFlow。 原文发表于 2018-08-15,更新于 2025-09-08。 译注:文中的“我”指原作者。版本号和工具行为保留原文发表或更新时的语境,示例代码与技术术语保留原样。 Writing Bazel rules 系列: 编写 Bazel rules(一):simple binary rule 编写 Bazel rules(二):library rule、depset 和 provider 编写 Bazel rules(三):data 和 runfiles 编写 Bazel rules(四):将逻辑移到 execution phase 编写 Bazel rules(五):repository rules 编写 Bazel rules(六):platform 和 toolchain 编写 Bazel rules(七):module extensions 上一篇文章编写了一个 go_binary rule,用一组源文件编译并链接出 Go executable。这次我们来定义 go_library rule,用它编译一个可供其他 library 和 binary 依赖的 Go package。 本文关注 rule 之间如何传递信息,建立可供 linker 或类似 linking action 使用的 dependency graph。全部代码都来自 rules_go_simple 的 v2 branch。 ...

2026-11-10 · 5 min · 916 words · Jay Conrod

[译] 编写 Bazel rules(五):repository rules

原文:Writing Bazel rules: repository rules 作者:Jay Conrod,曾在 Google 的 Go 团队工作,现就职于 EngFlow。 原文发表于 2019-11-09,更新于 2025-09-10。 译注:文中的“我”指原作者。版本号和工具行为保留原文发表或更新时的语境,示例代码与技术术语保留原样。 Writing Bazel rules 系列: 编写 Bazel rules(一):simple binary rule 编写 Bazel rules(二):library rule、depset 和 provider 编写 Bazel rules(三):data 和 runfiles 编写 Bazel rules(四):将逻辑移到 execution phase 编写 Bazel rules(五):repository rules 编写 Bazel rules(六):platform 和 toolchain 编写 Bazel rules(七):module extensions 前几篇文章中,我们写出了一套功能不多、但已经实用的 Bazel rules。不过,它们有一个大问题:依赖 host system 上安装的工具。这样一来,开发者就必须安装一些本来可能用不着的工具。团队成员最终很可能用着不同版本,构建出不同的 binary,程序也可能在一台机器上正常、换一台就不行。这还会破坏 remote execution 和 caching,因为 host 的 toolchain 未必存在于 remote platform。 ...

2026-11-10 · 4 min · 783 words · Jay Conrod

[译] 编写 Bazel rules(六):platform 和 toolchain

原文:Writing Bazel rules: platforms and toolchains 作者:Jay Conrod,曾在 Google 的 Go 团队工作,现就职于 EngFlow。 原文发表于 2019-12-07,更新于 2025-09-10。 译注:文中的“我”指原作者。版本号和工具行为保留原文发表或更新时的语境,示例代码与技术术语保留原样。 Writing Bazel rules 系列: 编写 Bazel rules(一):simple binary rule 编写 Bazel rules(二):library rule、depset 和 provider 编写 Bazel rules(三):data 和 runfiles 编写 Bazel rules(四):将逻辑移到 execution phase 编写 Bazel rules(五):repository rules 编写 Bazel rules(六):platform 和 toolchain 编写 Bazel rules(七):module extensions Bazel 最重要的优势之一,是能将构建与 host system 隔离。这使 reproducible build 和 remote execution 成为可能,也让 Bazel 能扩展到巨型项目。但隔离并不完全自动:host platform、execution platform 和 target platform 可能各不相同,rule 必须与 Bazel 配合,确保使用正确的工具。 ...

2026-11-10 · 7 min · 1439 words · Jay Conrod

[译] 编写 Bazel rules(四):将逻辑移到 execution phase

原文:Writing Bazel rules: moving logic to execution 作者:Jay Conrod,曾在 Google 的 Go 团队工作,现就职于 EngFlow。 原文发表于 2018-12-26,更新于 2025-09-09。 译注:文中的“我”指原作者。版本号和工具行为保留原文发表或更新时的语境,示例代码与技术术语保留原样。 Writing Bazel rules 系列: 编写 Bazel rules(一):simple binary rule 编写 Bazel rules(二):library rule、depset 和 provider 编写 Bazel rules(三):data 和 runfiles 编写 Bazel rules(四):将逻辑移到 execution phase 编写 Bazel rules(五):repository rules 编写 Bazel rules(六):platform 和 toolchain 编写 Bazel rules(七):module extensions 本文会把新的逻辑放进 execution phase,进一步扩展这套 Bazel rules 的能力。跟着动手的读者可以在 rules_go_simple 的 v4 branch 找到新代码。 你可能还记得,Bazel 的工作分为三个阶段: Loading phase: Bazel 读取并求值 build file,找出用户要求构建的 target,并递归加载这些 target 的依赖所对应的 build file。这些工作在调用 Bazel 的机器上进行,target graph 会缓存在内存中。 Analysis phase: Bazel 对 target 及其依赖的 rule implementation function 求值。Implementation function 声明待生成的文件、生成文件所需的 action,以及 action 的输入。和 loading phase 一样,这些工作也在调用 Bazel 的机器上完成,action graph 会缓存在内存中。 Execution phase: Bazel 找出哪些文件已经过期,并执行生成这些文件所需的 action。Action 可以在本地 sandbox 中执行,也可以通过 execution service 远程执行。输出文件会缓存在本地,或存入 remote caching service。 Ruleset 作者可以为任意一个阶段编写代码,同一个问题也往往有多种解决办法。不过,execution phase 有许多优势。在这个阶段执行的代码可以完整地通过 I/O 访问源文件,因此能做更灵活的判断;可以用任意语言编写,因此可能比 Starlark 更快,也更灵活;工作还能分散到多台机器上执行,结果可以持久缓存,因此能让大型开发团队的构建更快。 ...

2026-11-10 · 6 min · 1229 words · Jay Conrod

[译] 我的 Bazel 构建为什么这么慢?

原文:Why is my Bazel build so slow? 作者:Maggie Lou · 原文署名日期为 2024-04-02。 译注:文中的“我们”指原作者或 BuildBuddy 团队。所译网页已包含 Bazel 8.7、9.1 等后续版本的补充说明,使用 flags 时请核对自己的 Bazel 版本。Bazel 专有名词、命令和代码保持英文;原文几处参数及缓存行为说明的修正见脚注。 Bazel 承诺的是快速构建。可构建还是很慢,该怎么办?去骂当初说服公司迁移到 Bazel 的开发者吗?当然不会!你肯定不会这么做,对吧?🙂 BuildBuddy 可以帮忙。Bazel 提供了大量排查构建耗时的信息,难的是知道该从哪里看起。 也许你连续运行了两次构建,本以为第二次会命中缓存,结果却依然很慢。也许你只运行了一次构建,想弄清时间究竟花在哪里。下面介绍几个排查起点,并结合我们自己的慢构建案例说明。 本文会多次用到 BuildBuddy UI。即使不用它,大部分步骤也能完成,只是需要自己从 Build Event Stream 中查找、解析信息,工作量会大一些。如果你还没有使用 BuildBuddy,可以给构建添加以下 flags,将 Build Events 免费发送到我们的服务器。完整设置步骤见文档。 --bes_results_url=https://app.buildbuddy.io/invocation/ --bes_backend=grpcs://remote.buildbuddy.io 添加后,构建日志中会出现类似 Streaming build results to: https://app.buildbuddy.io/invocation/XXX 的一行。打开这个链接,就能使用下文介绍的许多功能。 1)我使用了正确的 flags 吗? ⭐ Bazel 的配置选项很多,排查时可以先确认本次构建究竟应用了哪些 flags。下面这些 flags 值得检查:它们可能需要添加,也可能已经设置好了。 --nolegacy_important_outputs 去掉重复的文件引用,减少上传的 Build Event Stream 数据量。 --remote_build_event_upload=minimal 原文将它概括为不向缓存上传标记为 no-cache 的 blob,从而减少网络流量。具体的 BEP 上传范围见译注。1 --remote_download_outputs 限制从缓存下载中间构建 artifacts,减少网络流量。这个 flag 需要指定取值,并非只写名称就会生效。2 --experimental_remote_cache_async 在后台进行缓存 I/O,改善 remote cache 性能。 --noremote_upload_local_results 不向 remote cache 上传本地执行的 action 输出,减少上传量。这会降低后续构建的 cache hit rate;但上传速度受限时,例如网络连接较差,可能值得这样取舍。 --remote_cache_compression 压缩缓存中的 blob,提高 remote cache 吞吐量。 --experimental_remote_cache_chunking remote cache 支持该功能时,以 content-defined chunks 上传、下载大型输出,提高吞吐量。该功能适用于 Bazel 8.7 和 9.1+。 --digest_function=BLAKE3 使用更快的哈希算法,改善大文件的 digest 计算性能。该功能适用于 Bazel 6.4+。 --jobs 允许更多 actions 并行执行,提高执行吞吐量。我们建议从 --jobs=50 开始,再逐步调高。 如果希望每次构建都默认使用这些 flags,可以把它们写进 .bazelrc 文件。我们会把 .bazelrc 提交到 Git,让所有开发者使用统一的构建选项。 ...

2026-11-09 · 4 min · 734 words · Maggie Lou

[译] Action Merging

原文:Action Merging 作者:Iain Macdonald · 原文发表于 2026-01-05。 译注:文中的“我们”指原作者或 BuildBuddy 团队,时效性表述以原文发布日期为准。Bazel 专有名词保留英文,代码和命令未作翻译。 BuildBuddy 的 remote execution 引擎会合并相同 actions 尚未完成的执行,为用户节省时间和资源。本文会介绍 action merging 为什么有用、具体如何实现,以及我们多年来在生产环境中积累的经验。 概述 缓存 action 结果是 Bazel 的核心性能优化之一。但本地缓存和 remote Bazel 缓存都不能共享尚未完成的执行结果。比如,Alice 提交一项后端改动,需要运行 BigSlowTest。测试尚未结束,Bob 又提交一处很小的前端改动,Bob 仍得重新运行同一个 BigSlowTest。这会拖慢他的 invocation,还可能重复消耗模拟器许可证或配额等外部资源。 A Alice 和 Bob 未合并的 BigSlowTest 执行的时间线。 这个例子并不只是设想。下文介绍的 action merging 系统,在生产高峰期每秒会合并超过 1,000 个 actions,为某些长时间运行的测试节省接近 3 小时。Stripe 也曾在这篇文章中介绍过他们解决同类问题的内部方案。 背景 Actions 和执行 Actions 是 Bazel 的工作单元,作为更大的 invocation 的一部分运行。 action 可能是编译或链接命令。每个 action 都有一个 ID,称为 Action ID,它是 action 的定义(命令、环境变量)和所有输入的哈希值。 ...

2026-11-09 · 2 min · 314 words · Iain Macdonald

[译] Remote Cache CDC:复用已有字节

原文:Remote Cache CDC: Reusing Bytes 作者:Tyler French · 原文发表于 2026-05-01。 译注:文中的“我们”指原作者或 BuildBuddy 团队,时效性表述以原文发布日期为准。Bazel 专有名词保留英文,代码和命令未作翻译。 目标:移动更改的字节,而不是整个输出。 BuildBuddy 的 Remote Cache 使用内容定义分块(CDC),让大型构建输出也能按增量传输。如果二进制文件、bundle、package 或归档文件的大部分内容未变,BuildBuddy 就能复用已经保存的 chunks,无需重新上传或下载整个文件。 在为 Bazel 实现缓存分块的 PR中,我们对 BuildBuddy 自己的代码库做了基准测试,观察到上传数据量减少 40%,disk cache 体积也减小了 40%。要在 BuildBuddy 上启用客户端 CDC,请使用 Bazel 8.7 或 9.1+,并传入 --experimental_remote_cache_chunking。 背景 构建缓存下一步要减少的,不只是需要执行的 actions,还有需要传输的字节。 构建 缓存已经取得了长足的进步。 Bazel 和 remote caching 允许团队在机器和 CI 作业中重复使用 action 输出,而不是在每次编辑后重建世界。在实践中,构建已经从接近 O(存储库大小)转向 O(变更大小)。 不过,“改动大小”可能会产生误导。真正重要的是,这次编辑影响到的传递性 actions 有多大。即使各个输出实际改变的都只是一小部分,一处很小的源代码修改仍可能波及许多二进制文件、package、bundle 和其他大型输出。 这类缓存失效符合预期:构建系统在输入变化时,本来就应重新运行 action。remote cache 的问题出在后续传输上。即使 blob 的大部分字节都和上一版一样,只要摘要变化,缓存仍会传输整个 blob。 传递式 Actions 链接、捆绑、打包和归档是最常出现的情况。它们将许多传递输入组合成一个输出。 ...

2026-11-09 · 4 min · 729 words · Tyler French