软件工程师,10 年+ 经验:5 年 Java 后端开发 + 5 年 DevOps / SRE 实践。
📖 《Jenkins 2.x 实践指南》作者(销量 5000+)。自 2015 年笔耕至今,已写下 120+ 篇文章。
✍️ 这里记录我对 DevOps、SRE、Cloud Native、持续交付、领域驱动设计(DDD) 以及 职场成长 的思考与实践。信奉 Everything as Code。
软件工程师,10 年+ 经验:5 年 Java 后端开发 + 5 年 DevOps / SRE 实践。
📖 《Jenkins 2.x 实践指南》作者(销量 5000+)。自 2015 年笔耕至今,已写下 120+ 篇文章。
✍️ 这里记录我对 DevOps、SRE、Cloud Native、持续交付、领域驱动设计(DDD) 以及 职场成长 的思考与实践。信奉 Everything as Code。
译注:本文按用户提供的英文全文翻译,保留原文的章节和论述。CAS 统一译作“内容寻址存储”,首次出现时保留英文全称。原文把内容完整性校验、不可变写入、留存策略与法规合规多次混为一谈,也有依赖具体实现的性能断言;相关位置附有译注,不能将正文中的这些断言直接视为技术保证或合规结论。核对日期为 2026-11-11。 大多数存储系统回答的是“这份数据在哪里”。它们把文件放进目录,分配块地址,再沿着层级结构检索内容。这套模式通常够用,直到同一份文件在备份基础设施里出现了 17 份,直到监管机构要求证明某条记录自 2019 年以来从未被改动,或者直到一次存储审计发现,40% 的容量被无人刻意创建的重复内容占据。 内容寻址存储(Content Addressable Storage,CAS)回答的是另一个问题:“这份数据是什么?”它根据内容本身识别和检索数据,为每个对象生成唯一的密码学指纹,并把这个指纹作为永久地址。这一变化带来了自动去重、内建不可变性,以及验证已存数据未被改动的能力。这些能力源自寻址模型,无须事后另加一套工具。1 本文从架构层面介绍 CAS 的工作方式,并说明它与对象存储的区别,也会介绍企业中的应用场景和大规模部署时需要考虑的问题。 什么是内容寻址存储,它如何工作 内容寻址存储是一种存储架构。每个数据对象都有一个由自身内容生成的唯一标识符,而不是用存储位置来标识。这个标识符是根据数据计算出的密码学哈希,通常使用 SHA-256。哈希值成为对象在系统中的永久地址。读取时提供哈希值;验证时,对取回的内容重新计算哈希,再与保存的标识符比较。一致,说明数据完整;不一致,说明内容发生了变化。2 这种基于内容的寻址方式直接带来两个结果。第一,相同内容总会产生相同哈希。同一份文件即使出现在多个位置,也会映射到同一个标识符,系统只保存一份。去重直接由寻址方式产生,无须管理员单独配置这项功能。第二,内容只要变化,就会产生不同哈希。无法悄悄修改已存对象,再让它以原地址被取回。修改后的内容要么作为新对象写入并获得新地址,要么在校验时因哈希不匹配而被发现。 CAS 架构的三个层次 CAS 系统由三个协同工作的功能层组成。索引引擎负责哈希计算与查找。写入数据时,它先计算哈希,再检查索引中是否已有这个值。如果有,就引用已有对象;如果没有,就写入数据,并把新哈希加入索引。 存储库保存实际的数据对象。对象不可变,写入后就不再修改。文件变化时,新版本作为新对象存储,获得新的哈希。原对象仍可通过原地址访问,因此系统无需额外工具就能跟踪版本。3 元数据层把每个哈希与上下文信息关联起来,包括时间戳、留存策略、访问控制和合规设置。元数据单独存储、独立管理,不影响内容哈希,但决定了对象在整个生命周期中如何被处理。4 数据如何流经 CAS 系统 应用向 CAS 写入数据时,系统按固定顺序处理:计算输入内容的哈希,在索引中查找匹配项,然后创建新记录,或返回对已有对象的引用。读取时,应用提供内容地址,系统在存储库中定位对应对象。如果启用了校验,系统会在返回数据前重新计算哈希,确认内容在存储期间没有被改动。 在分布式部署中,每个节点执行同样的过程。相同内容无论在哪里计算,都会产生同一个哈希。因此,一份文件在芝加哥节点存储,再复制到法兰克福节点,标识符仍然相同。这种全局一致的标识方式,是 CAS 在分布式和多站点环境中的一项实用优势。2 CAS 与对象存储有什么区别 内容寻址存储和对象存储经常被放在一起讨论,因为二者都把数据作为独立对象管理,而不是按目录层级中的文件或卷中的数据块来管理。区别在于如何标识对象,以及系统如何保证对象在长期存储中的完整性。 对象存储在创建对象时分配唯一标识符,通常是 UUID 或系统生成的 key。标识符由系统分配,与对象内容无关。对象内容可以修改,key 保持不变。这使对象存储适合媒体文件、应用资源和配置对象等会变化的数据。内容需要更新,标识符又要在多个版本间保持稳定。5 CAS 根据内容生成标识符。内容变化,标识符也随之变化,每个不同版本因此被保存为独立对象。CAS 对象无法原地更新,只能创建带有新哈希的新版本。这是其不可变性保证的来源,也是主要约束。CAS 适合不应变化的数据,例如合规记录和审计日志,也包括归档文档、医学影像和数字证据。1 两种架构在企业存储中的位置 对象存储适合大规模的活跃数据,以及频繁访问或更新的工作负载。云原生应用、媒体处理流水线和数据湖可以使用 RESTful API 访问数据、进行分层存储,也能更新对象,无须自行管理版本哈希。S3 兼容生态已经成熟,对象存储也容易融入高频读写的应用架构。 CAS 适用于必须保持不可变的工作负载。监管人员或审计人员要求证明文档归档后未被修改时,CAS 可以重新计算内容哈希,与最初的指纹比较,提供验证依据。开启版本控制的对象存储可以展示变更历史,但如果不在存储系统外单独跟踪并校验哈希,就无法保证某个版本从未被改动。5 不少企业同时使用两者。对象存储承载活跃业务和动态内容,CAS 保存归档、合规记录及受法律保全措施约束的数据。数据根据访问模式和留存要求在两层之间迁移。两种架构互为补充。 CAS 中的数据去重与单实例存储 去重是内容寻址最直接的运维收益之一。传统存储需要单独的去重过程:扫描重复数据块,转而引用唯一副本,再移除冗余副本。在 CAS 中,这一步发生在数据写入时。内容到达后,系统计算哈希。如果索引中已有同一哈希,就指向已有对象,不再写入另一份。因此无需单独运行去重任务,无需后处理,也无需管理员配置。6 单实例存储及其容量影响 单实例存储(Single-Instance Storage,SiS)是 CAS 去重带来的存储原则:每份唯一内容在存储库中只保留一个实例。无论引用来自哪个应用、备份任务或用户,都指向同一实例。内容大量重复时,SiS 能显著节省容量。7 备份是最直观的例子。假设数据库每天备份,两次备份之间有 95% 的记录没有变化,那么只有变化的 5% 会作为新对象写入。未变化的记录已按原哈希保存在 CAS 存储库中,备份任务只需引用,无须再次复制。随着时间推移,备份占用增长会比逻辑数据总量增长慢得多,因为存储库积累的是唯一内容,而不是内容大体相同的快照副本。6 ...
原文:The Oracle Problem in Software Testing: A Survey。作者为 Earl T. Barr、Mark Harman、Phil McMinn、Muzammil Shahbaz 和 Shin Yoo。正式发表信息为 IEEE Transactions on Software Engineering,2015 年,第 41 卷第 5 期,507–525 页。UCL Discovery 提供开放获取版本。 译者说明:本文依据所提供的 31 页 PDF 翻译。该 PDF 的生成日期为 2014 年 11 月 17 日,章节和引用编号沿用这份稿件。文中的“当前”“近年来”和研究展望均指原文写作时期。本文将 test oracle 译为“测试预言”,其余计算机技术名词保留英文,首次出现时酌加中文说明。参考文献保留英文著录。原文公式中需要注意的记号问题另列译注。UCL 将原作标注为 CC BY 3.0。本文为中文译文,配图来自原作。 摘要 测试通过检查系统行为来发现潜在 fault。给定系统输入,如何区分预期的正确行为和可能错误的行为,就是测试预言问题(test oracle problem)。自动化测试预言,有助于消除制约整体测试自动化的一项瓶颈。缺少自动化测试预言时,人必须判断观察到的行为是否正确。 已有研究提出了多种测试预言自动化技术,包括建模、specification、contract-driven development 和 metamorphic testing。这些技术都不足以解决问题时,最终的测试预言信息来源仍然是人。人可能掌握非形式化 specification 与领域知识,也可能了解预期和惯例,用它们指导判断。包括人工判定在内,所有形式的测试预言都面临降低成本、增加收益的问题。本文全面综述测试预言问题的现有解决方法,并分析这一软件测试研究与实践领域的发展趋势。 关键词:测试预言;automatic testing;testing formalism。 1 引言 软件测试研究一直希望在可行且合适的范围内,尽可能自动化测试过程,让测试更快,降低成本并提高结果的可靠性。要做到这一点,需要测试预言(test oracle),即区分 System Under Test(SUT,被测系统)正确行为与错误行为的判定过程。 ...
原文:Writing Bazel rules: simple binary rule 作者:Jay Conrod,曾在 Google 的 Go 团队工作,现就职于 EngFlow。 原文发表于 2018-07-31,更新于 2025-09-08。 译注:文中的“我”指原作者。版本号和工具行为保留原文发表或更新时的语境,示例代码与技术术语保留原样。 Writing Bazel rules 系列: 编写 Bazel rules(一):simple binary rule 编写 Bazel rules(二):library rule、depset 和 provider 编写 Bazel rules(三):data 和 runfiles 编写 Bazel rules(四):将逻辑移到 execution phase 编写 Bazel rules(五):repository rules 编写 Bazel rules(六):platform 和 toolchain 编写 Bazel rules(七):module extensions Bazel 是 Google 开发的开源 build tool。它很适合大型项目,原因包括高度并行的 remote build 和 execution、remote caching、对多种语言的成熟支持,以及扩展到数十亿行代码规模的 monorepo 的能力。 与 Make 这类简单的 build tool,或 Maven 这类面向特定语言的工具相比,Bazel 的学习曲线可能相当陡峭,尤其是你想扩展 Bazel、让它做一些新事情的时候。 ...
原文:Writing Bazel rules: module extensions 作者:Jay Conrod,曾在 Google 的 Go 团队工作,现就职于 EngFlow。 原文发表于 2025-10-14。 译注:文中的“我”指原作者。版本号和工具行为保留原文发表或更新时的语境,示例代码与技术术语保留原样。 Writing Bazel rules 系列: 编写 Bazel rules(一):simple binary rule 编写 Bazel rules(二):library rule、depset 和 provider 编写 Bazel rules(三):data 和 runfiles 编写 Bazel rules(四):将逻辑移到 execution phase 编写 Bazel rules(五):repository rules 编写 Bazel rules(六):platform 和 toolchain 编写 Bazel rules(七):module extensions 本文也发布在 EngFlow blog。 距离本系列上一篇文章最初发表,已经快六年了。这次有不少新内容可聊! 过去几年最大的变化,是引入了 Bazel modules,也就是 Bzlmod,并弃用了 WORKSPACE mode。我已经更新了前面的全部文章,使它们兼容 Bazel modules。这次则介绍新增的功能:如何编写 module extension,以及为什么需要它。 什么是 module extension? Bazel 的新 module system,与其他 build tool 使用的 package management system 相似,例如 Go modules、npm packages、Maven artifacts 和 Cargo crates。Module 作者先在 Bazel Central Registry(BCR) 发布一个版本,使用者再将它列入 MODULE.bazel,就能建立依赖。Bazel 启动时,会从包含当前目录的 root module 开始,对每个 MODULE.bazel 求值,并递归处理全部依赖,然后使用 minimal version selection 为每个依赖选定版本。 ...
原文:Writing Bazel rules: data and runfiles 作者:Jay Conrod,曾在 Google 的 Go 团队工作,现就职于 EngFlow。 原文发表于 2020-02-01,更新于 2025-09-08。 译注:文中的“我”指原作者。版本号和工具行为保留原文发表或更新时的语境,示例代码与技术术语保留原样。 Writing Bazel rules 系列: 编写 Bazel rules(一):simple binary rule 编写 Bazel rules(二):library rule、depset 和 provider 编写 Bazel rules(三):data 和 runfiles 编写 Bazel rules(四):将逻辑移到 execution phase 编写 Bazel rules(五):repository rules 编写 Bazel rules(六):platform 和 toolchain 编写 Bazel rules(七):module extensions Bazel 有一个很方便的功能,可以简化 test 和 executable 的许多工作:通过 data attribute,让数据文件在运行时可用。你可能见过这样的 rule: cc_library( name = "server_lib", srcs = ["server.cc"], data = ["private.key"], ) 文件被列入 data attribute,或行为与 data 类似的 attribute 后,Bazel 会让通过 bazel run 启动的 executable 在运行时能够访问这些文件。这可用于 plugin、配置文件、certificate、key、resource 等许多场景。 ...
原文:Writing Bazel rules: library rule, depsets, providers 作者:Jay Conrod,曾在 Google 的 Go 团队工作,现就职于 EngFlow。 原文发表于 2018-08-15,更新于 2025-09-08。 译注:文中的“我”指原作者。版本号和工具行为保留原文发表或更新时的语境,示例代码与技术术语保留原样。 Writing Bazel rules 系列: 编写 Bazel rules(一):simple binary rule 编写 Bazel rules(二):library rule、depset 和 provider 编写 Bazel rules(三):data 和 runfiles 编写 Bazel rules(四):将逻辑移到 execution phase 编写 Bazel rules(五):repository rules 编写 Bazel rules(六):platform 和 toolchain 编写 Bazel rules(七):module extensions 上一篇文章编写了一个 go_binary rule,用一组源文件编译并链接出 Go executable。这次我们来定义 go_library rule,用它编译一个可供其他 library 和 binary 依赖的 Go package。 本文关注 rule 之间如何传递信息,建立可供 linker 或类似 linking action 使用的 dependency graph。全部代码都来自 rules_go_simple 的 v2 branch。 ...
原文:Writing Bazel rules: repository rules 作者:Jay Conrod,曾在 Google 的 Go 团队工作,现就职于 EngFlow。 原文发表于 2019-11-09,更新于 2025-09-10。 译注:文中的“我”指原作者。版本号和工具行为保留原文发表或更新时的语境,示例代码与技术术语保留原样。 Writing Bazel rules 系列: 编写 Bazel rules(一):simple binary rule 编写 Bazel rules(二):library rule、depset 和 provider 编写 Bazel rules(三):data 和 runfiles 编写 Bazel rules(四):将逻辑移到 execution phase 编写 Bazel rules(五):repository rules 编写 Bazel rules(六):platform 和 toolchain 编写 Bazel rules(七):module extensions 前几篇文章中,我们写出了一套功能不多、但已经实用的 Bazel rules。不过,它们有一个大问题:依赖 host system 上安装的工具。这样一来,开发者就必须安装一些本来可能用不着的工具。团队成员最终很可能用着不同版本,构建出不同的 binary,程序也可能在一台机器上正常、换一台就不行。这还会破坏 remote execution 和 caching,因为 host 的 toolchain 未必存在于 remote platform。 ...
原文:Writing Bazel rules: platforms and toolchains 作者:Jay Conrod,曾在 Google 的 Go 团队工作,现就职于 EngFlow。 原文发表于 2019-12-07,更新于 2025-09-10。 译注:文中的“我”指原作者。版本号和工具行为保留原文发表或更新时的语境,示例代码与技术术语保留原样。 Writing Bazel rules 系列: 编写 Bazel rules(一):simple binary rule 编写 Bazel rules(二):library rule、depset 和 provider 编写 Bazel rules(三):data 和 runfiles 编写 Bazel rules(四):将逻辑移到 execution phase 编写 Bazel rules(五):repository rules 编写 Bazel rules(六):platform 和 toolchain 编写 Bazel rules(七):module extensions Bazel 最重要的优势之一,是能将构建与 host system 隔离。这使 reproducible build 和 remote execution 成为可能,也让 Bazel 能扩展到巨型项目。但隔离并不完全自动:host platform、execution platform 和 target platform 可能各不相同,rule 必须与 Bazel 配合,确保使用正确的工具。 ...
原文:Writing Bazel rules: moving logic to execution 作者:Jay Conrod,曾在 Google 的 Go 团队工作,现就职于 EngFlow。 原文发表于 2018-12-26,更新于 2025-09-09。 译注:文中的“我”指原作者。版本号和工具行为保留原文发表或更新时的语境,示例代码与技术术语保留原样。 Writing Bazel rules 系列: 编写 Bazel rules(一):simple binary rule 编写 Bazel rules(二):library rule、depset 和 provider 编写 Bazel rules(三):data 和 runfiles 编写 Bazel rules(四):将逻辑移到 execution phase 编写 Bazel rules(五):repository rules 编写 Bazel rules(六):platform 和 toolchain 编写 Bazel rules(七):module extensions 本文会把新的逻辑放进 execution phase,进一步扩展这套 Bazel rules 的能力。跟着动手的读者可以在 rules_go_simple 的 v4 branch 找到新代码。 你可能还记得,Bazel 的工作分为三个阶段: Loading phase: Bazel 读取并求值 build file,找出用户要求构建的 target,并递归加载这些 target 的依赖所对应的 build file。这些工作在调用 Bazel 的机器上进行,target graph 会缓存在内存中。 Analysis phase: Bazel 对 target 及其依赖的 rule implementation function 求值。Implementation function 声明待生成的文件、生成文件所需的 action,以及 action 的输入。和 loading phase 一样,这些工作也在调用 Bazel 的机器上完成,action graph 会缓存在内存中。 Execution phase: Bazel 找出哪些文件已经过期,并执行生成这些文件所需的 action。Action 可以在本地 sandbox 中执行,也可以通过 execution service 远程执行。输出文件会缓存在本地,或存入 remote caching service。 Ruleset 作者可以为任意一个阶段编写代码,同一个问题也往往有多种解决办法。不过,execution phase 有许多优势。在这个阶段执行的代码可以完整地通过 I/O 访问源文件,因此能做更灵活的判断;可以用任意语言编写,因此可能比 Starlark 更快,也更灵活;工作还能分散到多台机器上执行,结果可以持久缓存,因此能让大型开发团队的构建更快。 ...
原文:Integration tests are best tests 作者:Jay Conrod · 原文发表于 2026-01-15。 作者简介:Jay Conrod 是软件工程师,目前在 EngFlow 改进 Bazel 等构建系统的 remote builds 性能。他此前在 Google 的 Go 语言团队工作,参与过 Go modules、fuzzing、Bazel 支持和 command-line tools 的开发。 译注:文中的“我”指原作者,测试数量和工具的相关描述保留原文发表时的语境。 我想谈一个可能不太受欢迎的测试观点:integration tests 是最重要的一类测试。你应该尽量做好 integration test coverage,把相对少一些的时间花在 unit tests 上。自从参与 Go 的构建工具 cmd/go 的开发以来,我就一直这么想。当时我们有一套很出色的 integration tests,写起来容易,跑得快,也能可靠地发现 regression。 这个观点与通常的建议相反。大家一般认为,应该有充分的 unit test coverage、适量的 integration test coverage,再加上少量的 end-to-end test coverage。这通常被画成 Testing Pyramid: ...