见
跳到主要内容

跟上浪潮 · 第一章:模型本身在变

能看图、听声音之后,能干什么

先说你要什么,再说图里是什么

入门约 10 分钟前沿多模态

这节课你会...

知道拍一张照片、截一张图、发一段录音之后能拿它干什么,也知道了哪些照片一张都不能发出去。


拍一张照片,比打字快得多

以前碰到说不清的东西,你得先描述半天。现在拍一下就行。

四个最常见的用法。

设备出毛病。 宿舍的空调遥控器不亮、打印机卡纸、路由器一直亮红灯。拍一张问它这是怎么回事。它不一定能修好,但能帮你把"到底哪儿坏了"缩到两三个可能。

不认识的东西。 校园里那棵树、超市里那种没见过的菜、衣服上的洗标。拍下来问它是什么、能不能吃、该怎么洗。

英文说明书。 买了台电器,说明书全英文还带图解。拍一页,让它翻译加解释,比一句句查词快得多。

检查作业。 拍一张自己写的解题过程,问"我这一步有没有问题"。注意是问思路,不是让它直接把答案给你——直接给答案对你没好处。

截图和录音,是另外两个高频入口

写代码、做表格、用学校的教务系统,最容易碰上报错。截图发过去,比手打那行报错快,而且不会抄错。

这是我运行的时候报的错,帮我做三件事:
1. 这行报错到底在说什么,用大白话
2. 最可能是哪几个原因,按可能性从高到低排
3. 我下一步该先查什么

我用的是【软件或网站名】,报错出现在【哪一步操作】的时候。
图里就是我的操作界面。如果信息还不够,你直接说还要我截哪里。

录音也一样。老师讲课、小组开会、采访,录一段发过去让它整理成要点。这个用法省下的时间最多。

但录音转文字会出错。人名、专业名词、数字最容易转错。整理出来的东西里有这几样,回原音频对一遍再发出去。

它能看到什么,看不到什么

它看图的能力跟你想的不太一样。

看得比较准的:整体是个什么东西、大概什么颜色、画面里发生了什么、这张截图是哪个界面。

容易出错的:

情况会怎么错
照片糊了、抖了、光线暗认成别的东西,而且说得很肯定
有遮挡挡住的关键部分它会自己脑补
密集的小字数字和小数点最容易看错
表格截图行列对不齐,串行
手写字认错字,连笔最惨
一堆相似的物件个数数错

一句话总结:它对画面整体的判断还行,对精确读数的判断很差。 图上有型号、串号、金额、日期,别信它转述的,自己抄一遍。

拍照提问,先说你要什么

很多人拍完就发一句"这是什么"。它的回答会很泛。

把顺序调一下,效果差很远:先说你要什么,再说图里是什么。

图里是一台【什么电器】的遥控器,屏幕上显示【E5】。
我要的是:这个代码一般指什么问题,我自己能试哪几步。
如果最后必须找维修,也告诉我上门该怎么说。

同一张图,"这是什么"和上面这段,它能给你的东西完全不是一个量级。先说你要什么,等于告诉它该往哪个方向看,它就不会因为图里东西多而乱答一气。

这几类照片,一张都别发

这条是硬线。

  • 清晰的人脸,尤其是别人的
  • 身份证、学生证、护照、银行卡、车票
  • 别人发在群里的聊天记录、朋友圈截图
  • 带姓名学号的名单、成绩单、体检报告
  • 实验室的、实习单位的、还没公开的材料
  • 你签过保密协议的任何东西

原因很直接:你不知道这张图会被存到哪儿、存多久、拿去做什么。你觉得无所谓,被拍进去的那个人可能不觉得。

还有一条容易被忽略:拿别人的脸和声音去做搞笑视频、做假的聊天记录,哪怕只发在宿舍群里,也可能出事。这个后面讲数字人那节还会说。

真要问,就把关键信息挡掉再拍。名字涂黑,号码遮住,只留你要问的那一块。


记住这一句:它能看图,但看得不精。凡是精确的数字和字,自己抄一遍;凡是别人的隐私和你没公开的材料,一张都别发。

学习助手(可选)

需要时可以提问;没配 AI 也不影响课程、练习和测验。

学习助手需要时再用
助手说:你好,我是课程里的可选学习助手。正文、练习和进度都在这里,不需要我也能继续。 卡住时,把具体的一段代码或一句话贴过来就好。我们可以一起拆概念、改描述,或者把一个小想法拆成几步来做。

这一课以阅读为主。想看概念演示可以去 可视化演示。

跟上浪潮 · 同轨道下一节AI 搜索和知识库:让它基于真材料回答