先说这次测试怎么做的
我从一句最普通的指令开始:
把下面这段流水账改成周报(给领导看):
周一开会讨论新版首页方案,确定了配色和布局方向。
周二改了两个bug,一个是登录按钮位置,一个是列表分页错乱。
周三和设计对接,拿到了首页切图。
周四写首页的静态页面,大概完成70%。
周五首页做完,自测通过,提交给测试。
四个模型,四份输出。
结果是:两份基本能用,一份要改,一份直接给我挖了坑。
差别不在模型聪不聪明,而在于它们各自"多说了多少"。而它们多说或多说的东西,恰好暴露了写提示词时最容易漏掉的三件事。
第一个漏洞:你没说给谁看,模型就自己编一个
文心一言那份输出,读起来最像专业周报。五节结构,全是"全量推进""锁定统一标准""回归验证全部通过"这类词。
但逐条对原文,它写了这些原文里完全没有的东西:
- 「3 个工作日内完成所有 bug 修复与二次验证」
- 「配合后端团队完成首页接口联调」
- 「确保周五前实现前后端全流程打通」
- 「确认所有资源符合前端开发规范,无缺漏或标注偏差」
原文里根本没有"后端"这个角色。它是自己设想了一个"项目周报应该有跨团队协作"的场景,然后替你写进去了。
这些如果原样交上去,全成了你自己的承诺。
根因:我只写了"给领导看"。但"领导"是谁?技术总监看的是风险,产品经理看的是进度,老板看的是产出。模型不知道是哪一种,就按最"全面"的模板填。
改法:把受众具体到一个人的关注点。
读者是我的直属技术主管,他关心两件事:这周有没有卡住的地方、下周会不会延期。
按这两点组织,不需要写"协作方",也不要编任何计划。
关键不是写得礼貌,而是告诉模型"判断标准是什么"。
第二个漏洞:你只说"要什么",模型就自动补"还应该有什么"
四个模型,全都在周报里自动加了一节"下周工作计划"。
我一个字都没提下周。
Kimi 加得最克制(两条,从"提交给测试"顺推出来);DeepSeek 加了"下周计划"和"风险与需协调事项(暂无)";文心一言加了三条例行计划;豆包加了一条。
这不是 bug,是模型的默认行为。 它训练数据里的周报就是长这样的。
DeepSeek 那句"风险与需协调事项:暂无"最典型——它替你做了一个判断:本周没有风险。
万一这周确实有风险(切图晚了一天、开发压到周四),你没写,它也不会问,还会帮你声明"暂无"。
改法:明确说"不要什么",比说"要什么"更管用。
只使用我给的事实。不要添加原文没有的内容、数字、日期或承诺。
信息不足的地方写"待补充",不要自行补全。
不要新增"下周计划""风险事项"这类原文没有的章节。
加这一段之后,模型仍然可能少加一点,但至少它知道边界在哪。
第三个漏洞:最危险的不是加内容,是改数字
这一条我一开始没注意,是对比文心一言那份时发现的。
原文写的是「周四写首页的静态页面,大概完成70%」。
文心一言写的是:
70% 和"全部完毕"之间,隔着一整个通宵。它把这个事实抹平了。
这种改动你根本不会注意到——因为它读起来更顺,而且更"好看"。加一段下周计划你一眼能看出是新的,但把 70% 悄悄变成 100%,看起来只是"润色得更专业"。
改法:把数字和日期单独拎出来要求。
原文里的所有数字、百分比、日期必须原样保留,不得改动、不得四舍五入、不得推断。
如果需要补充,用括号标注"(原文未提供)"。
四份输出放在一起看
| | DeepSeek | 文心一言 | 豆包 | Kimi |
|---|---|---|---|---|
| 响应时间 | 6.4 秒 | 8.4 秒 | 8.4 秒 | 约 25 秒 |
| 五天事实 | 全保留 | 全保留 | 全保留 | 全保留 |
| 「完成70%」 | 保留 | 改成"达100%" | 保留 | 保留 |
| 编造原文没有的内容 | 中 | 多 | 少 | 极少 |
| 能不能直接用 | 删一节 | 必须大改 | 基本可以 | 基本可以 |
规律:写得越"专业"的那个,编得越多。
因为要写出"专业感",就得有具体的数字、承诺、协作方。而你的原文里没有这些原料,模型只能自己造。
所以看到特别漂亮、特别整齐的输出,第一反应应该是警惕,不是高兴。
什么情况下提示词救不了
有三件事,提示词写得再好也没用,这点必须说清楚:
一、模型不知道的信息,它不会问,会编。
上面三个漏洞都是这个机制。你能做的是把"不许编"写进约束,但没法保证它 100% 遵守。所以每次都要自己核对。
二、任务本身没有标准答案时,提示词只能让输出更整齐,不能让它更正确。
比如"帮我分析这个方案的优缺点"——你说得再详细,模型给出的优点是不是这个方案真正重要的优点,取决于它对这个行业的理解,不取决于你的措辞。
三、模型能力上限。
同一个任务,Kimi 用 25 秒给的输出比文心一言 8 秒的更克制。这不是提示词能决定的。
我的判断:什么叫"有效"
不是"模型输出让我满意"。
是"我能预测它会输出什么,并且能一眼看出它哪里越界了"。
做到这两点,提示词才算写对了。
按这个标准,上面那段周报指令的有效性提升路径很清楚:
第一版:把下面这段流水账改成周报(给领导看)
↓ 能跑,但输出不可控
第二版:加受众具体化 + 禁止添加 + 数字原样
↓ 输出可预测,仍需核对
第三版:把"验收标准"也写进去(什么算合格)
↓ 你能一眼判断对不对
每一次改进,增加的都不是"描述更详细",而是"约束更明确"。
这是我这轮测试最实在的收获。