Transcript Testing: Helping Humans Verify AI Code

AI 摘要

一位开发者在 Apache DataFusion 项目中提出「Transcript Testing」（记录式测试）方法：让测试生成人类可读的系统行为记录（如 I/O 请求序列），再与预期记录比对，而非依赖难以理解的底层计数器断言。作者指出，AI 编码工具使 PR 中的测试数量充足但动辄数百行、难以人工审阅，而记录式测试能让审查者直观理解行为变化。该方法并非全新，源自 Oracle 内部工具和 SQLite 的 sqllogictest，但过去因编写成本高而少用，如今借助 AI 生成成本大幅降低。