AI 智能体 · 第三章:别让它闯祸
智能体会翻车,你得盯着
钱、账号、对外发布,永远留一道人工确认
这节课你会...
知道智能体能把小事惹成大事,以及哪几道关必须自己把着。
一个小错,会被它放大成一串错
聊天机器人答错了,你顶多重问一次,损失是一句话。
智能体不一样。它错一步,会照着这个错往下走十步。
举个例子。你让它"把这学期的成绩整理成表"。它把某门选修课看成了必修课,这是第一个错。接着它按错的分组算学分,得出一个错的绩点,又用这个绩点写了一段"你下学期该补哪几门"的建议,最后生成一份看着很专业的报告。整条链上只有第一步错,后面每一步都"很合理"。
最麻烦的是它不会停下来怀疑自己。 它每步都觉得自己干得不错,越干越有信心。你看到那份报告,格式漂亮、结论清楚,很容易就信了。
所以盯智能体的方式和盯聊天机器人完全不同。聊天机器人你只要看答案,智能体你得看过程。
权限别给满,这四类单独确认
给权限的时候,宁可少给。下面四类,每次都要它先问你:
| 类别 | 为什么单独确认 |
|---|---|
| 支付 | 花出去的钱收不回来 |
| 账号密码 | 一旦泄漏,后面所有事都失控 |
| 发消息 | 挂着你的名字发出去,别人会当真 |
| 删文件 | 删了就没了,尤其是自动同步的网盘 |
做法很简单:能不开免密就不开,能给只读就不给可写。 让它整理一份资料没问题;让它直接改你网盘里的原文件,先想想有没有必要。
还有一条容易忽略:别把主账号交出去。 要用某个服务,单开一个只干这件事的账号,出问题了好收拾。
钱会悄悄花掉
智能体跑的时候,背后是在调接口、调模型,这些大多按用量算钱。
真正烧钱的不是它干得慢,是它转圈。一个页面打不开,它试一遍,再试一遍,试三十遍。你设的流程没跑通,但它每小时自动跑一次,跑了一整晚。
还有一类:你让它"找最便宜的机票",它在几个网站之间反复比价,比得停不下来。
能做的就三件:设上限(单次最多跑多久、最多花多少)、设次数(一天最多跑几轮)、看账单(头几天每天都瞄一眼)。
这三件事花你五分钟,能挡掉大部分意外。
任务跑偏了怎么办
三个动作,都好用。
第一,让它每步汇报。 别让它闷头干到底,跟它说"每做完一步,用一句话告诉我你干了什么、拿到了什么"。
第二,设检查点。 关键步骤前停一下,等你点头。比如"找完三个耳机先给我看,我确认了再做成表"。
第三,先要计划再让它动手。 这段话值得存下来:
开工之前先给我计划,不要直接动手。
计划里写清楚:
1. 你打算分几步
2. 每步你会做什么、用什么工具或网站
3. 哪几步可能失败、失败了你怎么处理
4. 哪几步需要我确认
我看到计划说"可以"你再开始。中途改计划要重新问我。
它要动手删东西、发东西、付钱的时候,再用这句拦一下:
停。这一步你先别做。
告诉我:你要动的是哪个文件 / 哪个账号 / 多少钱,
做完之后能不能撤销,不能撤销的话给我两个替代做法。
最后补一句也很有用:"哪一步你最没把握,先告诉我。" 它说出来的那一步,通常就是真会出事的那一步。
哪些事永远别全自动
有几类,不管工具多成熟,最后一下都该由人来做。
涉及钱的:付款、转账、退款、下单。让它比价、算账、写清单都行,点确认那一下你来。
涉及法律和签字的:合同、报名、申报、声明。它写草稿可以,签字不行。
涉及别人隐私的:别人的电话、病历、聊天记录,它不该看,更不该替你发出去。
对外发布的:公众号、群公告、给老师或客户的邮件。发出去就收不回来。让它写,你读一遍再发。
这四条不是技术问题,是责任问题。出事的时候,没人会去找那个 AI,都是找你。
记住这一句:智能体不怕它笨,怕它错得自信、错得连贯。钱、隐私、签字、对外发布这四件事,最后一下永远自己按。
课后测验
4 道题,通过线 60 分。
盯智能体比盯聊天机器人费劲,最麻烦的地方在哪?
学习助手(可选)
需要时可以提问;没配 AI 也不影响课程、练习和测验。