AI 交付的东西,可以分四层验收:看起来对、算得对、跑得通、有结果。大多数时候我们只验了第一层;要用在真实业务里的东西,至少要验到第三层:交给真实的人用一次,不出问题。
AI Agent 交付东西的速度,已经快过人检查它的速度。
在我们的一次实测里,把“开一门 299 元的线上摄影课,第一期招 30 个人”交给腾讯 WorkBuddy,10 分钟左右,我们拿到了市场调研、课程设计、运营话术、一份第二期方案和一个很像样的招生页。交给金数据 Jiri,9 分钟左右,我们拿到了招生页、带收款的报名表、短信通知、结课反馈表和第二期报名表。
问题随之变了:过去是“AI 能不能做出来”,现在是它做完了吗?你怎么知道?
一个看起来完成的招生页
先看那次实测里 WorkBuddy 生成的招生页。页面首屏有课程名、299 元的价格、6 节直播课、30 个名额,往下是痛点、卖点、大纲、报名表单和支付入口。从页面上看,这是一个能直接发出去的招生页。

图:实测中 WorkBuddy 生成的招生页首屏
要先说明:WorkBuddy 在交付总结里已经讲清楚了,这一版的报名数据存在浏览器本地,只适合演示,正式招生要接入云数据库;收款要我们放个人收款码,或者注册微信支付商户号。它没有隐瞒什么。

图:WorkBuddy 的交付总结,最后两段写明了收款和数据存储要我们自己补
我们打开页面,逐段读了它的文字和页面里的脚本(没有真的提交报名),把“演示版”具体意味着什么列了出来:
- 报名信息只存在报名者自己的浏览器里。页面写着“付款成功即报名成功”,但提交时没有把数据发到任何服务器,招生的人看不到这条报名。
- 30 个名额对每个人都是 30 个。剩余名额是按“这个浏览器里存了几条报名”算的,所以每个新访客打开都看到 30 / 30,名额上限不能跨人生效。
- “我已完成支付”只是一个提示。点下去会弹出一句话,订单状态一直停在“待支付”。收款码的位置,要你自己放一张收款码图片进去。
- 说了会发邮件,但没有发邮件的代码。弹窗写着“开课前你会收到确认邮件和进群邀请”,页面里找不到任何发送邮件的逻辑。
另一次运行时,WorkBuddy 则把报名数据存进了它的云数据库,不过收款那一块仍是一段占位文字,要我们自己换成收款码。
这个例子要说明的不是 WorkBuddy 做得不好,而是:看起来完成,和能运转,是两回事。一个页面可以每一屏都对,却没有一个人能真正报上名。
同一次实测里还有一个细节:同一个调研问题问两次,结论可能不一样,任何大模型产品都是这样。我们让 WorkBuddy 跑了两次同样的需求,两份调研给出的定价结论就不一致;金数据 Jiri 只跑了一次,没有做这项对比。
四层验收:看起来对、算得对、跑得通、有结果
AI 的交付物,可以按下面四层来验收。层级越高,越接近你真正想要的东西,也越难验。
| 层级 | 验什么 | 怎么验 |
|---|---|---|
| 第一层:看起来对 | 排版、文案、图表像不像样 | 看一遍。最容易过,也最不说明问题 |
| 第二层:算得对 | 数字、名单、结论能不能对上原始数据 | 事先算好答案、抽查明细、总数对账、同一问题问两次 |
| 第三层:跑得通 | 交给真实的人用一次,会不会出问题 | 换一台手机打开、真的提交一次、付一笔小额、看通知有没有收到、看数据有没有存下来 |
| 第四层:有结果 | 业务结果有没有发生 | 报名人数、收款金额、到课人数、第二期回来的老学员 |
一条简单的规则:只是自己看的东西,至少验到第二层;要发给客户、学员用的东西,必须验到第三层。
大多数 AI 交付物,我们只验到了第一层。页面好看、文档通顺,就当它完成了。
第二层需要一个“正确答案”。我们做“三场活动报名数据合并、查重、统计”的对比时,提前把正确答案算好了,所以能说 WorkBuddy 和金数据 Jiri 两边都算对了。没有这一步,“报告质量不错”只是一种感觉。详见:处理报名、问卷数据,用 WorkBuddy 够吗?
第三层和第四层,才是“一门课开起来”的意思。
交付物落在哪里,决定能验到第几层
一个交付物能验到第几层,很大程度上取决于它落在哪里。
交付物是文档、PPT、方案或一个独立网页时,它本身是完整的,但“收到报名”“收到钱”“发出通知”这几件事,要等你把数据库、支付和通知接上才会发生。WorkBuddy 能提供云数据库,但在我们的实测里,收款这一步两次都要我们自己接。所以那一次,WorkBuddy 的招生页停在了第一、二层,第三层要我们自己补。
Pro Agent 的交付物,默认落在业务系统里。Pro Agent,是建在 SaaS 软件基座上的通用型 Agent:既充分使用 SaaS 软件的软件能力和业务背景,又具备通用型 Agent 的智能和自由。以金数据 Jiri 为例:
- 报名表是一张真的在收数据的表,每一条报名都是一条记录,招生的人马上能看到。
- 收款挂在商户上,每一笔付款都有订单,付没付、付了多少,有确定的答案。
- 短信通知有发送记录,发没发出去,也有确定的答案。
在同一次实测里,金数据 Jiri 的交付总结写的是:报名表挂着 299 元的商品收款,绑定了商户;30 人是上限,第 31 份提交会被挡住;付款成功后发报名成功短信,开课前 3 天自动发开课提醒。这些说法来自它的交付总结,我们还没有逐项做第三层验收。你可以自己验:报一次名、付一笔最小金额、看手机有没有收到短信、看后台有没有这条记录。详见:在线卖课要收款,WorkBuddy 和金数据 Jiri 各做到了哪一步?

图:同一次实测里金数据 Jiri 的交付总结,部分信息已打码
交付物落在有记录的系统里,结果就能拿记录核对。Pro Agent 的交付默认落在这样的系统里,所以更容易验到第三、第四层;它写的报告和结论,仍要按第二层的方法核对。AI 交付的东西都要验收,金数据 Jiri 也一样。
一份按交付物分类的验收清单
不管你用的是 WorkBuddy、金数据 Jiri,还是别的 AI,都可以照着这份清单验收。
| 交付物 | 上线或使用前,至少做这几件事 |
|---|---|
| 数据分析和报告 | 总数和原始数据对一下;随机抽 3 条明细回查;让它写清统计口径,比如怎么去重、按什么分组 |
| 调研和方案 | 让它列出每个结论的出处;同一个问题换个说法再问一次,看结论是否一致 |
| 网页、招生页 | 用手机打开,再发给另一个人打开;每个按钮都点一下,看它去了哪里;页面上承诺的事,比如“报名后会收到短信”,有没有真的配好 |
| 报名表、收款 | 自己报一次名,付一笔最小金额;看通知有没有收到,后台有没有这条记录;名额有上限的,测一下满了以后还能不能报 |
| 批量修改数据 | 改之前先要一份“改前、改后”对照;改完让它读回来核对;自己再抽查几条 |
| 自动任务 | 先手动运行一次,看结果对不对;按数据变化触发的,提交一条测试数据,看它有没有按时执行 |
金数据 Jiri 改数据时,会先读出每一条的现值,答复里的“旧值 → 新值”两头都来自真实数据;改完再读回来,分清哪些改成了、哪些没改成;在对话里删除数据之前,它会先请你确认。这是把第二层验收做进了它自己的流程里。
交给 AI 的,应该是结果,而不是页面
验收的难度,其实在你交代任务的那一刻就定下了。
如果你交给 AI 的是“做一个招生页”,它交回一个招生页,你也只能验这个页面好不好看。如果你交给它的是“招满 30 个学员,收到 299 元的报名费”,验收就自然落到了数据上:报了几个人,收了多少钱。
这也是我们做金数据 Jiri 的出发点:从交付工具,到交付结果。结果要能验收,就得落在能产生记录的地方。金数据 Jiri 是一个 Pro Agent:长在金数据里的通用型 AI Agent,既能理解需求、做网页、写报告,又能直接用上金数据的表单、收款、通知和业务数据,把报名、问卷、订单这些事从搭起来做到持续运转。想试试的话,打开金数据 Jiri,交给它一件要办成的事,再按上面的清单验收。
想进一步算算 AI 到底有没有帮你赚到钱,可以看:用 AI 一个月,钱赚回来了吗?;关于金数据 Jiri 的完整资料,见:金数据 Jiri 是什么?和 WorkBuddy 有什么不同
常见问题
Q1:AI 交付的东西怎么验收?
A:分四层:看起来对(排版文案像样)、算得对(数字能对上原始数据)、跑得通(交给真实的人用一次不出问题)、有结果(真的有人报名、钱到账)。只是自己看的东西,至少验到第二层;要发给客户、学员用的东西,必须验到第三层。
Q2:WorkBuddy 生成的报名页能直接收报名吗?
A:WorkBuddy 能生成带云数据库的网页应用。在我们的一次实测里,它交付的是演示版:报名存在报名者自己的浏览器里,名额按每个浏览器单独计算,“我已完成支付”只是一个提示,收款要自己放收款码,WorkBuddy 也在交付总结里说明了这一点;另一次运行时,报名存进了它的云数据库,但收款仍要自己接。正式招生前,建议自己报一次名、付一笔小额测一遍。
Q3:AI 做的网页上线前要检查什么?
A:三步:用手机打开,再发给另一个人打开;把每个按钮都点一下,看它去了哪里;核对页面上承诺的事有没有真的配好,比如“报名后会收到短信”“满员后停止报名”。有报名或付款的页面,自己报一次、付一笔小额。
Q4:AI 生成的数据报告,怎么检查对不对?
A:把报告里的总数和原始数据对一下,随机抽几条明细回查,并让 AI 写清统计口径,比如按什么去重、按什么分组。重要的报告,最好事先自己算出一两个关键数字作为答案。
Q5:金数据 Jiri 交付的东西还需要验收吗?
A:需要,AI 交付的东西都要验收。不同的是,金数据 Jiri 的交付物落在金数据里,报名、收款、通知都有记录,可以用数据核对:报一次名、付一笔小额、看通知和后台记录,就能验到“跑得通”这一层。
Q6:为什么说 Pro Agent 的结果更容易验收?
A:因为 Pro Agent 的交付物默认落在有记录的业务系统里。一笔钱收到没有、一个人报名没有、一条通知发出去没有,都有确定的答案。它写的报告和结论,仍要用对数、抽查的方法核对。
