见
跳到主要内容

AI 智能体 · 第三章:别让它闯祸

智能体会翻车,你得盯着

钱、账号、对外发布,永远留一道人工确认

入门约 10 分钟智能体安全

这节课你会...

知道智能体能把小事惹成大事,以及哪几道关必须自己把着。

一个小错,会被它放大成一串错

聊天机器人答错了,你顶多重问一次,损失是一句话。

智能体不一样。它错一步,会照着这个错往下走十步。

举个例子。你让它"把这学期的成绩整理成表"。它把某门选修课看成了必修课,这是第一个错。接着它按错的分组算学分,得出一个错的绩点,又用这个绩点写了一段"你下学期该补哪几门"的建议,最后生成一份看着很专业的报告。整条链上只有第一步错,后面每一步都"很合理"。

最麻烦的是它不会停下来怀疑自己。 它每步都觉得自己干得不错,越干越有信心。你看到那份报告,格式漂亮、结论清楚,很容易就信了。

所以盯智能体的方式和盯聊天机器人完全不同。聊天机器人你只要看答案,智能体你得看过程。

权限别给满,这四类单独确认

给权限的时候,宁可少给。下面四类,每次都要它先问你:

类别为什么单独确认
支付花出去的钱收不回来
账号密码一旦泄漏,后面所有事都失控
发消息挂着你的名字发出去,别人会当真
删文件删了就没了,尤其是自动同步的网盘

做法很简单:能不开免密就不开,能给只读就不给可写。 让它整理一份资料没问题;让它直接改你网盘里的原文件,先想想有没有必要。

还有一条容易忽略:别把主账号交出去。 要用某个服务,单开一个只干这件事的账号,出问题了好收拾。

钱会悄悄花掉

智能体跑的时候,背后是在调接口、调模型,这些大多按用量算钱。

真正烧钱的不是它干得慢,是它转圈。一个页面打不开,它试一遍,再试一遍,试三十遍。你设的流程没跑通,但它每小时自动跑一次,跑了一整晚。

还有一类:你让它"找最便宜的机票",它在几个网站之间反复比价,比得停不下来。

能做的就三件:设上限(单次最多跑多久、最多花多少)、设次数(一天最多跑几轮)、看账单(头几天每天都瞄一眼)。

这三件事花你五分钟,能挡掉大部分意外。

任务跑偏了怎么办

三个动作,都好用。

第一,让它每步汇报。 别让它闷头干到底,跟它说"每做完一步,用一句话告诉我你干了什么、拿到了什么"。

第二,设检查点。 关键步骤前停一下,等你点头。比如"找完三个耳机先给我看,我确认了再做成表"。

第三,先要计划再让它动手。 这段话值得存下来:

开工之前先给我计划,不要直接动手。

计划里写清楚:
1. 你打算分几步
2. 每步你会做什么、用什么工具或网站
3. 哪几步可能失败、失败了你怎么处理
4. 哪几步需要我确认

我看到计划说"可以"你再开始。中途改计划要重新问我。

它要动手删东西、发东西、付钱的时候,再用这句拦一下:

停。这一步你先别做。

告诉我:你要动的是哪个文件 / 哪个账号 / 多少钱,
做完之后能不能撤销,不能撤销的话给我两个替代做法。

最后补一句也很有用:"哪一步你最没把握,先告诉我。" 它说出来的那一步,通常就是真会出事的那一步。

哪些事永远别全自动

有几类,不管工具多成熟,最后一下都该由人来做。

涉及钱的:付款、转账、退款、下单。让它比价、算账、写清单都行,点确认那一下你来。

涉及法律和签字的:合同、报名、申报、声明。它写草稿可以,签字不行。

涉及别人隐私的:别人的电话、病历、聊天记录,它不该看,更不该替你发出去。

对外发布的:公众号、群公告、给老师或客户的邮件。发出去就收不回来。让它写,你读一遍再发。

这四条不是技术问题,是责任问题。出事的时候,没人会去找那个 AI,都是找你。

记住这一句:智能体不怕它笨,怕它错得自信、错得连贯。钱、隐私、签字、对外发布这四件事,最后一下永远自己按。

课后测验

4 道题,通过线 60 分。

智能体怎么用测验第 1 / 4 题

盯智能体比盯聊天机器人费劲,最麻烦的地方在哪?

学习助手(可选)

需要时可以提问;没配 AI 也不影响课程、练习和测验。

学习助手需要时再用
助手说:你好,我是课程里的可选学习助手。正文、练习和进度都在这里,不需要我也能继续。 卡住时,把具体的一段代码或一句话贴过来就好。我们可以一起拆概念、改描述,或者把一个小想法拆成几步来做。