见
跳到主要内容

用得靠谱 · 第一章:别被它骗

AI 为什么会一本正经地胡说

细节越具体,越可能是编的

入门约 8 分钟安全思辨

这节课你会...

知道 AI 为什么会一本正经地编瞎话,编的时候长什么样,哪些问题最容易翻车。

它不是查资料的,是在接着往下写

你问 AI 一句话,它做的事其实很简单:猜下一个字最可能是什么。

你说"今天天气真",它会猜"好"。你说"中华人民共和国成",它会猜"立"。它一个字一个字往下猜,猜出一整段回答。

这跟你在手机上打字时的联想候选词是一个道理,只是它猜得快得多、长得多。

关键在于:它没有"查过"这个过程。

你问它某个法条是第几条,它不是在数据库里翻,而是在猜"第几条"后面跟什么数字最顺。数字猜错了,句子照样通顺,读起来一点破绽都没有。

这就是"幻觉"。不是它成心骗你,是它分不清自己是在回忆还是在编。

编得最像真的,是这几类东西

下面这些场景,是翻车重灾区:

你问的东西它容易编出什么为什么危险
法律条文《XX法》第三十七条、第某款条号看着很专业,你当场没法反驳
医学建议某种药每天吃多少、某病的标准疗法数字看着合理,但可能过时或根本不存在
论文和书作者、期刊名、年份、页码全齐拿去引用才发现查无此文
电话和地址某单位咨询电话、某机构地址格式全对,拨过去是空号
价格和标准某项收费多少、某个标准编号你以为是最新的,其实是拼出来的
人名和头衔某人的职务、某公司的高管名字对不上,职务更是编的

有个共同点:越具体的细节,越容易编。

"民法典里有关于违约的规定",这句它基本不会错。 "民法典第五百七十七条",这个数字它就开始猜了。

日期、数字、姓名、条号、电话、金额、版本号,都算具体细节。你越需要精确的地方,它越容易给你一个漂亮的错答案。

它为什么很少说"我不知道"

你可以试一下:随便问它一个特别冷门的东西,比如某个小县城的第十九任县长是谁。

它多半不会说"我不知道"。它会给你一个名字。

一个原因是它被训练成要把话接下去。你问问题,它答"不知道",对话就断了,这在训练里是扣分的。它更倾向于给你一个完整的、有用的回答。

另一个原因是它自己也不知道自己不知道。它脑子里没有"这句话是查来的还是编的"这种开关。回忆和编造在它那儿是同一件事,输出的都只是一串概率最高的字。

所以你问它"你确定吗",它回的"确定"也只是接着往下写的字,不能当证据。

那还能不能用

能。但你得换个用法。

把它当成一个很会说话、知识面很杂、但从不承认自己没把握的实习生。它写的东西,你都得自己过一遍。

遇到下面几种情况,先别急着信:

  • 里面有数字、日期、人名、条号、电话、金额
  • 你打算照着做,而且要花钱、签字或者吃药
  • 你准备把它转发给别人

给你一段直接能用的问法,粘进对话框就行:

下面三个问题,请逐条回答。
每条回答后面加一个信心标记:【确定】【不太确定】【不知道】。
如果不确定,就直接说不知道,或者告诉我该去哪里查。
不要为了答完整而编一个答案。

1. 我 68 岁的母亲血压偏高,日常饮食要注意什么?
2. 劳动合同里约定"试用期三个月",法律上有没有限制?
3. 我所在城市的社保业务咨询电话是多少?

多试几次你会发现,有些产品会老实回答"不知道",有些产品照样编。同一句话,不同产品表现不一样,这很正常。别把任何一个产品当成不会出错的那个。

AI 不是在查资料,是在接着往下写。它说得越具体,你越要自己去查一遍。

学习助手(可选)

需要时可以提问;没配 AI 也不影响课程、练习和测验。

学习助手需要时再用
助手说:你好,我是课程里的可选学习助手。正文、练习和进度都在这里,不需要我也能继续。 卡住时,把具体的一段代码或一句话贴过来就好。我们可以一起拆概念、改描述,或者把一个小想法拆成几步来做。

这一课以阅读为主。想看概念演示可以去 可视化演示。

用得靠谱 · 同轨道下一节怎么验证 AI 说的话