Prof. Judy Fan: Cognitive Tools for Making the Invisible Visible

本文根据斯坦福大学心理学助理教授范洁如（Judy Fan）在麻省理工学院脑与认知科学系系列讲座上的报告与现场问答整理而成，主持人为该系教授、计算认知科学学者约什·坦嫩鲍姆（Josh Tenenbaum）。范洁如主持斯坦福的「认知工具实验室」，研究人们如何借助绘画、图示、数据图表这类外部表征去学习、发现与沟通。报告分两部分，前半部谈徒手绘画中的视觉抽象，后半部首次公开分享实验室关于数据可视化的新工作，末尾是现场问答。以下依据现场录音编译整理，仅删去口语枝节、寒暄与重复，论点、例证与现场交锋一概保留。

主持人开场

坦嫩鲍姆： 今天非常荣幸请到范洁如做我们的系列讲座报告人。范洁如是我最喜欢的认知科学家之一，不分年龄。按任何一种客观标准衡量，她都属于年轻一代里领先的那批人。她在斯坦福做助理教授已经有几年了，我想这个估计大致不差。无论怎么看，她都是我们这个领域里正在升起并且已经在发光的明星。

坦嫩鲍姆： 她拿过不少奖，格卢什科博士论文奖、美国国家科学基金会的青年学者奖（NSF Career Award），我记得这个你也拿到了。这算是现场实时的介绍。但这些都不是我们请她来的真正理由。在我认识的研究者里，不分资历、不分领域，范洁如是最有创造力的几位之一，这话我说得很认真。

坦嫩鲍姆： 她的学术出身是神经科学，所以从很多方面看，她跟这栋楼里的人是同类，跟那些从大脑里记录信号、再用计算方法去解读它们的人聊天完全没有隔阂。这类工作她做过很多。她与我们熟悉的同行合作过，比如丹·亚明斯（Dan Yamins）就是她的导师之一；她研究过视觉，她的底子有很大一部分是视觉心理物理学、视觉神经科学和计算神经科学。

坦嫩鲍姆： 但如果你看她现在的研究，也就是今天你们会看到的一部分，以及今天根本来不及看的更大一部分，她已经走向了很多别的方向，或者说走向了一个关键方向：从知觉里那些最基础、可以用漂亮而精致的计算模型描述的过程，走向那些真正使我们成为人的认知层面，无论从生物意义上还是从文化意义上。

坦嫩鲍姆： 今天你们一定会看到这一面。这意味着她研究的是艺术表达、视觉与其他媒介里的创造性表达。她对叙事表达很感兴趣，对教育、学习和教学很感兴趣，对我们如何借助符号、数据与解释来理解世界很感兴趣。她越来越靠近那些更复杂的认知过程，那些在生物和文化两个意义上都独属于人类的过程，而它们在我们这个时代的分量也越来越重。

坦嫩鲍姆： 但她没有放弃任何一分严谨，或者说没有放弃对严谨的那种口味。我跟她打过很多次交道，我知道让她夜里睡不着的是什么：怎么用我们许多人从视觉神经科学、计算神经科学里学来并为之着迷的那种严格与精确，去抓住这些真正重要又真正棘手的东西。我不能说她已经彻底解决了这个问题，因为这大概还要花些时间，但这是个了不起的挑战。

坦嫩鲍姆： 她处理这个挑战的方式让我很受启发，我也希望我们都能从中学到东西、受到鼓舞，看看她现在走到了哪里，又要往哪里去。范洁如，请。

范： 好，哇。这真是太客气了，约什。谢谢你，也谢谢在座各位。今天到现在为止有多美好，我其实说不出来。我对这个系、这个共同体，以及各位工作中体现出来的那些价值，无论是科学上的还是别的方面的，都怀有很深的喜爱和敬意，所以能用这几十分钟跟大家讲讲我们最近做的事，对我来说是一种享受。

数轴不是自然给的

范： 我们研究的是认知工具。什么叫认知工具？我们从一个再熟悉、再简单不过的东西开始：数轴。自然界没有把数轴交给我们，是我们把它发明出来的。西班牙建筑师高迪说过，自然界里没有直线，也没有尖角。可这并没有拦住我们，我们照样把它们造了出来。几百年前，我们又把数轴延伸开去，做出了直角坐标系，而它后来被证明极其好用。

范： 那在当时是货真价实的前沿思维工具，是用来推导新数学发现的工具。笛卡尔和他同时代的人意识到，可以把代数表达式和几何曲线挂起钩来，从而解决各种数学难题，包括这个困扰了世界上千年的问题。在座有多少人熟悉所谓的「提洛问题」，也就是提洛神谕之谜？它问的是：怎么把一个正立方体的体积变成原来的两倍？用那个共同体、那个时代的数学方法去做，这非常非常困难。

范： 而这就是它的解法。要评价这项发明在过去四个世纪里的影响，怎么说都很难说过头。这项技术把一大类问题，比如你想找出同时满足两个方程的那组值，转换成了另一件事：在两条曲线之间找交点。现在设想一下，这个革命性的工具接下来遭遇了什么。它变成了我们习以为常的东西。它太好用了，好用到成了每一代人受教育时都绕不开的基础设施。

范： 地球上几乎每一份数学课程大纲，都会引入一套符号记法和图形记法的组合，用来表示和操作数学对象。而我们反复琢磨的问题是：我们是怎么走到这一步的？人的心智里究竟有什么，使得这种持续不断的创新成为可能？可以从很多学科视角切进这个问题，历史学、人类学、经济学都可以，而我认为认知科学在这里也有非常重要的贡献。

让不可见变可见

范： 我想这个故事至少要从三万到八万年前讲起。解剖学意义上的现代人开始在自己的物理环境上留下标记，包括你们看到的这些洞穴岩壁，等于是把周围的物体和表面挪作他用，让它们成为意义的载体。我们当然没有停在岩壁上。人类学习与发现的历史，同「让不可见之物变得可见」的技术史深深缠绕在一起。这里是我很喜欢的几个科学史例子。

范： 这是达尔文的雀鸟，图是鸟类学家约翰·古尔德画的，达尔文与他合作得非常紧密。只有当这些个案被并排放在一起看，形态上的差异才真正凸显出来、跳到你眼前。这是伽利略用来观察木星卫星运动的望远镜，正是那种分辨率，让他有底气去质疑关于太阳系结构的正统说法。这是卡哈尔那些广受赞誉的视网膜素描，画的是显微镜下所见，告诉我们神经系统的那一部分长什么样，各部分之间又是怎么连起来的。

范： 到了二十世纪，我们有了费曼图，以物理学家理查德·费曼命名，它让我们看见亚原子粒子如何一闪而生、一闪而灭，而这些事件我们肉眼根本无法直接观察，将来也永远不可能。

范： 我想把大家的注意力先拉回这张幻灯片上的差异。请注意，其中有些图像相当细致，如果可以这么说的话，相当忠实于我们睁开眼时视觉世界呈现的样子，比如左上角达尔文的雀鸟。另一些则要图式化得多。但所有这些例子的共同点是，它们都在利用我称之为「视觉抽象」（visual abstraction）的手段，把我们看到和知道的东西，以一种突出「什么值得注意」的格式传达出去。

范： 在此之上，我们还会把这种不断扩张的自然知识拿去做别的事，用这些学习工具去创造新东西。举个例子，正是因为我们对力学有了细致的理解，才能设计并造出高精度的计时装置。技术进步很大程度上是由这样一种能力推动的：我们能够不断把对世界的理解重新表述成有用的抽象，而这些抽象又让我们有可能按照自己的设计去重新改造物理世界。于是，生物学洞见变成了生物工程，物理理论变成了先进的物理仪器，神经科学变成了医疗器械，量子力学变成了现代电子学。

范： 这就是我从中汲取灵感的那类现象的一个取样。我们持续琢磨的问题是：我们身上的什么东西，使这一切成为可能？

缺席的两块拼图

范： 过去几年我一直用这张示意图帮自己梳理其中的关键行为现象，它也可以作为一个框架，把我今天要讲的几条工作线索放进去。这一版画的是认知心理学，也就是我的本行，传统上的做法：关注人如何加工外部世界提供的信息。

范： 加进社会认知的研究之后，这张图会变得更丰富一些：它同时考虑多个个体的行为，以及他们如何互相影响。当这些活动被用来了解世界、并把知识分享给别人时，有人主张，即便由非专业者在日常情境中进行，它们也与正规科学有着重要的相似之处。

范： 沿着这个传统往下走，并且带着「理解人类是怎么做出刚才那些非凡的发现与发明」这个目标，我想主张这张图里还缺了两样关键的东西。第一样是关于认知工具或者说认知技术的解释：那些编码了信息、并且意在影响我们心智，影响我们如何思考、思考什么的物质对象。第二样，我想说，是时候接纳科学天然的另一半了，那就是工程：人们如何利用自己对世界的理解，不管这理解来自直接经验还是来自他人，去创造出新的、有用的东西。因为如果不认真对待这幅图的工程那一半，我斗胆说一句，我们永远无法解释我们所知的这个世界为什么会变成今天这样。

范： 说得直白一点，我的团队做的研究，核心就是要把这个环闭上：一方面发展心理学理论，解释我们如何找到那些能说明世界运作方式的有用抽象；另一方面同时发展理论，解释我们如何运用这些抽象去造出新东西。

范： 今天的计划是讲两条线上已经做出来的一些工作。第一部分，我会讲讲我们自认为搞清楚了什么：人如何利用视觉抽象来传达语义知识，核心案例是徒手绘画。按常规，第二部分我该讲我们关于人如何在搭建实物时学习和协调「程序性抽象」的研究，那对应工程那一半。但今天我想跟各位试点新的。我想改讲我们正在展开的一批工作，我很想听听大家的反应，那就是数据可视化的认知基础：人如何调动多种信息模态，图形元素、文字和数字，去进行统计推理。

范： 换句话说，如何从有限的证据中，去了解那些单靠一个人直接观察很难甚至不可能了解的世界面向。关于实物装配和物理推理的工作，我很乐意在酒会上跟大家聊。

相似还是约定

范： 进入第一部分。我们该怎么开始思考「人如何用视觉抽象传达自己所知与所见」这个问题？这里有三种层层叠加的行为值得区分。

范： 第一当然是视觉知觉，也就是我们如何把原始的感觉输入转换成有语义、有意义的知觉体验；有了它，才谈得上视觉生产，即生成一组标记、在物理环境中留下有意义且可见的痕迹的能力。这两者又在视觉沟通中汇合：我们如何决定把这些图形元素怎样排布、以什么顺序排布，好对别人的心智产生某种特定的影响，无论目的是告知、教学、说服、协作，还是我们能赋予这些痕迹的任何其他用途。

范： 接下来我会走一遍三项研究。先从这个问题开始：理解某一类图画在表示什么，其知觉基础是什么？为了起步，我们选了视觉抽象最具体、最熟悉的那种形态，就是徒手画出一张看起来像世上某物的画。为什么我们能毫不费力地判断，这张幻灯片左边的素描对应的是右边那只写实渲染的鸟？

范： 对这个问题有很多种回答，其中两种占主导。第一种观点认为，我们之所以觉得图画有意义、在表示某物，根本上是因为图画就是长得像世上的对象。这幅画字面意义上看起来像那只鸟，我们就是这么知道的。第二种回答认为，图画指代对象主要是约定的事，我们是从别人那里学到哪种图配哪个对象、配哪个意思的，比如这个汉字。

范： 在更早的一条工作线里，我和我的紧密合作者丹·亚明斯，以及我的博士导师尼克·布朗发现，通用视觉算法，这里指的是由多层可学习的空间卷积堆叠而成、在自然照片上训练的神经网络，能够相当强地泛化到那些一点也不写实的稀疏素描上。这似乎暗示，图画意义与相似性的问题，也许只要建立更好的腹侧视觉通路模型就能解决，尤其是那种能准确刻画相应脑区所执行运算的模型。

范： 发现这一点的不止我们。谷歌学术里能检索到的计算机视觉论文，轻轻松松就有上千篇用某种卷积网络或别的神经网络作为主干，把素描和自然图像编码起来，服务于各种应用。所有这些结果，你都可以看作是为一个升级过的、现代版的「相似论」背书。这个洞见对我们自己也很有用，还带来了别的实际后果。

范： 在更近的一项工作里，由实验室从前的硕士生查尔斯·卢主导，与加州大学圣迭戈分校的王小龙合作，我们在这些早期发现之上继续加压测试相似论：拿一个卷积网络当主干，在上面训练一个解码器，让它把素描里的局部元素映射到照片里对应的元素上，约束条件是你可以把素描揉皱、扭曲，但不能撕出洞来。

范： 这个方法能奏效，我这里只是做个演示，算不上正式结果，它提示我们，素描的各部分与它们所要表示的真实物体的各部分之间，遵循着相当强的空间约束。很好。我们已经有了足够好用、可训练的素描理解模型，可以拿去做下游应用，效果也不错。看来可以收工回家了。当然，这远不是故事的全部。

语境决定抽象层次

范： 一个静态、确定性的视觉加工解释，无法说明我们如何生成、又如何读懂这样的图，而这类图在这栋楼里到处都是。这些团块、方框、波浪线和箭头是什么意思，取决于我们正在谈什么。所以我们下一个目标是搞清楚怎么把语境信息纳进来，从而涵盖我们实际用于沟通的、更多样的图形表征，从左边这些比较忠实的图画，一直到右边那些明显是符号性的记号。

范： 我们处理这个问题的第一篇论文问的是：人们怎么知道什么时候必须画得更忠实，什么时候可以糊弄过去、画得图式一点、抽象一点？在那项研究里，我们把两个人配成一组玩一个画画游戏。画者看到的界面大致是这样，任务是把高亮的目标物体画出来，也就是第三个，而我们操纵的是界面上其他物体是什么。在「近」条件下，干扰项全部属于同一个基本层次范畴；在「远」条件下，干扰项来自不同范畴。

范： 用这个非常简单的操纵，我们发现普通人调整描绘方式的能力有多么灵活：在「近」试次上，当他们需要让画唯一地指认某一个具体样例时，他们会画得更细致、更忠实；而在「远」试次上，范畴层面的抽象就够用了，他们画得就更稀疏。这里是那项研究里收集到的一些真实作品。

范： 我们发现，在「远」试次上画者用的笔画更少、墨水更少、时间更短，而在「把目标视觉概念的身份传达给观看者」这一根本任务上仍然维持了天花板水平的准确率，观看者在这些试次上做判断的时间也更短。

范： 为了刻画这种行为模式，我们提出了一个关于画者的计算模型，由两部分组成：一个卷积网络，把视觉输入编码进一个泛用的抽象特征空间；再加一个概率决策模块，根据语境推断该画哪一种画。因为我很想赶紧讲后面的工作，这里我只给结论。模型消融实验的结论是：视觉抽象的能力（我们把它操作化为视觉编码器模块里的网络层）与对语境的敏感性，两者对于解释人们如何在恰当的抽象层次上谈论这些物体，都是不可或缺的。

范： 在更近的工作里，我们把这个想法又推了一步，不只看当前的指称语境如何影响沟通，还看新的图形约定可能在什么条件下涌现出来：当人们记得自己与同一个人此前的互动时，他们会逐渐产生更抽象、甚至可以说带有原始符号性质的记号，而这些记号的意义更强地依赖于那段共享历史。

范： 这些进展让我很兴奋。但当然，人对世界的知识远不止「这东西叫什么」和「它长什么样」。

解释图与描绘图

范： 视觉抽象还有一个特别重要的用途，在科学里尤其如此，就是传递关于事物如何运作的机制性知识。当人们做出这一步跨越时，他们脑子里发生了什么？也就是说，越过某只鸟身上那些视觉上最显眼的特征，转而去凸显底层的物理机制，比如鸟类总体上是怎么实现飞行的。

范： 所以你可以想象，当实验室里一位很出色的前博士生霍莉·休伊（现在在 Adobe Research）同样被这个问题迷住时，我有多高兴。我们从弗兰克·凯尔和同事们非常漂亮的工作中知道，人在向他人学习时会优先看重机制性解释；从芭芭拉·特沃斯基、米琪·奇、塔尼娅·隆布罗佐等人的工作中知道，人可以通过生成解释来学习。但我们意识到，关于人怎么想「视觉解释」这件事，我们还有很多不知道的：人们认为一张说明「某物如何运作」的图里应该有些什么？这样的图跟一张只求「看起来像」的普通插图，区别又在哪里？

范： 一种可能，我把它叫作「累加假设」，是说人们基本上把视觉解释看成普通描绘的加长加料版。照这张表看，解释会具备描绘所具备的一切，用来传达视觉外观，然后再额外加上关于物理机制的信息。另一种可能，我把它叫作「可分离假设」，是说人们认为解释这类图像会挑出机制性的抽象，同时大幅弱化视觉外观。这里存在一种选择性。

范： 为了把这两种可能拆开，霍莉设计了一项研究，从两个方向下手：第一，细致刻画视觉解释的内容，并与视觉描绘作比较；第二，测量这两类图像究竟能在多大程度上帮助下游的观看者完成任务，提取他们真正需要的信息，无论那是关于外观还是关于机制的信息。

范： 与其上一堂鸟类飞行课，那当然迷人但也复杂，霍莉动手做了六台新奇的小装置，它们闭合电路、点亮灯泡的机制清晰可见。这是其中一台机器，以及被试观看的教学视频。被试其实看了两遍，也就是演示了两次，就是这样。

范： 请注意，这台机器由三类零件组成。有因果零件，它们必须转动才能把灯点亮。有非因果零件，长得很像，但并不导致灯亮。还有背景性的结构件，它们颜色鲜艳、把其他零件撑起来，非常重要，但并不直接参与点灯的那条回路。

范： 每位被试都会为一部分机器画解释图，为另一部分画描绘图。在解释试次上，我们请他们设想，自己的画会被别人用来理解这个物体是怎么运作的。在描绘试次上，我们请他们设想，自己的画会被别人用来从一排长相相似的物体里认出是哪一个。操纵就这么简单。用这个流程，我们为这六台机器各收集了大量的描绘图和解释图。

范： 用肉眼扫一遍，这些画看上去是有区别的。描绘图里背景似乎稍微多一点，解释图里箭头似乎多一些。但霍莉想把这件事做得非常系统，于是她众包了标注，把每张画里的每一笔都归入四个类别之一：三类物理零件各占一类，即背景、因果、非因果，第四类是符号的兜底类别，在这个情境下指的是箭头和运动线。然后用这些标签去比较两种条件下人们各自强调了怎样的语义信息配比。

范： 她发现，虽然两种条件下人们都会画因果零件和非因果零件，但在解释图里分配给因果零件的笔画更多。他们在描绘图里对背景的强调略多于解释图；而正如我们猜想的，他们在解释图里花在符号性表达上的墨水更多，用来表示运动和零件之间的相互作用。仅凭这些结果，就已经与累加假设的强版本不相容了，因为按后者的预测，即便加入了箭头，背景、因果零件和非因果零件之间的相对强调也该保持不变。

范： 不过，这些差异再稳定，也可能只是风格上的变化，对它们所要支持的任务并没有实际的用处上的影响。所以，为了测量这些决策的功能后果，霍莉设计了三项推断任务。第一项问的是：你多容易看出操作这台机器需要哪种动作，是拉、是转还是推？这正是一张好的机制解释图应当讲清楚的。

范： 第二项测量每张图用于物体辨认的效果，这正是描绘图该干的事。第三项是更难的视觉辨别任务：你要判断两个被高亮的零件里哪一个是因果零件，这要求你在图的各部分与真实机器的各部分之间建立细致的对应关系。这种事，你只能指望一张既讲清了机制、又保留了足够多整体外观与零件组织信息的解释图来完成。

范： 按累加假设，我们应当看到解释图在所有任务上都至少不输给描绘图；而按可分离假设，解释图在动作任务上可能更好，在物体辨认任务上反而更差。霍莉的发现更符合可分离的那一版：解释图更好地传达了机制如何运作，而描绘图更好地传达了物体的身份。

范： 有意思的是，在这个样本里，解释图在第三项更难的任务上，也就是指认因果零件，并不占优。这与下面这个想法一致：由于略去了大量背景细节，某些解释图恰恰把那些能让人把画中特定部位与机器部位对应起来的信息给抽掉了。

范： 这些研究的底线是：即便是第一次被要求画一张视觉解释图，人们对「解释图里应该有什么」也共享着某种直觉。而这可能意味着牺牲视觉上的逼真度，去凸显更抽象的机制信息。更一般地说，这项工作表明，要理解人们为什么这样画、描绘图为什么长成这样，沟通语境与沟通目标至关重要；它也提供了一套实验与分析工具，用来刻画人们传达与目标、语境相关的视觉信息时所采用的策略。

SEVA 与人机差距

范： 接下来这一节我们要问：要造出能像人一样进行视觉抽象的人工系统，需要什么？为什么问这个？因为我们根本上想要的是关于视觉沟通的、有用的科学模型。我到目前为止讲的工作，代表了我们把投入优先放在哪里，那就是开发实验范式与数据集，在更广的情境里、以更完整的方式测量和刻画这些行为。

范： 与此同时，我们也花了相当大的力气去评估：那一批不断进步的机器学习系统里，究竟有哪些成员有可能继续成为有前景的候选者，用来刻画人在这些高维任务中更细致的行为模式，具体来说，既作为人类图像理解的模型，也作为图像创作的模型。

范： 我们考虑的任务设定，灵感来自毕加索这组著名的素描。其中有些非常细致，最后几幅极其抽象，但每一幅都毫无疑问是公牛。任何一个称得上合格的、关于人类视觉抽象的科学模型，都应当能够表示这些公牛彼此之间有何不同，同时又能表示它们骨子里都很「公牛」，更准确地说，是像真实的人类观察者所看到的那样「公牛」。

范： 这项工作是一次巨大的团队努力，由库辛·穆克吉主导，他这周五就要答辩，然后会以博士后身份加入实验室；霍莉、查尔斯·卢、亚埃尔·温克勒（她今天也在场）和里奥·阿吉纳-康都有贡献。

范： 我们的前提是：要检验我们是否走在通往那种科学模型的正确道路上，一个强有力的检验就是看我们能不能造出像人一样生成和理解抽象图像的算法。素描理解就属于那种看似简单、实则对通用视觉算法构成根本挑战的问题。一来，它要求对稀疏程度的差异保持稳健，因为有些素描比另一些细致得多；二来，它要求对语义歧义有容忍度，因为素描完全可以稳定地唤起多种意义。

范： 于是我们造了一个基准，叫作 SEVA，把这些挑战明确摆上台面。我们收集了九万张手绘素描，来自大约五千五百人，涵盖一百二十八个视觉概念，且在不同的「生产预算」下完成。这里是一些例子：人们看到一张照片作为提示，然后在越来越短的时间里画出来。照片取自 THINGS 数据集，不知道大家熟不熟悉。到只剩四秒的时候，那画是真的相当潦草了。我们把这些画同时拿给人和十七种当时最先进的视觉算法看，这些算法在架构取向、策略与训练方案上覆盖面很广。

坦嫩鲍姆： 插一句澄清性的问题。人在计时开始之前有没有时间先想一想，还是说他们一看到就只有四秒？

范： 这个问题折磨了我两年。没想够。不是的，他们看到图像，然后就得开始画。所以我们并不确切知道具体是怎么回事，整个试次的总时长是受限的。

坦嫩鲍姆： 所以这里面「想」和「画」是混在一起的。

范： 想和画混在一起。我认为，要真正逼近那个「公牛现象」，我应该给他们无限的规划时间，只限制执行时间，那才是正确的做法。但这一版不是那样。所以还有另一个数据集尚未诞生，能更直接地把这一点分离出来。是的，四秒的那些画确实相当「呆」，这是这个领域的专业术语。但在那种条件下，人们画出来的就是这样。

范： 于是我们手上有了这些不同的素描，在那些条件下它们就长成那个样子。然后让人和这些视觉算法执行同一项素描分类任务，这样我们就能测出每一张素描所唤起的完整标签分布。

范： 我们首先确认的是：随着给人更多时间去思考如何画、再动手画出细致的素描，这些素描对模型和对人都变得更容易辨认；用标签分布的熵来衡量，它们的歧义也更小。而且即便猜错了，也就是最高概率的那个标签不对，它至少也更可能落在正确的语义邻域里，这一点是用语言嵌入估计的。

范： 这算是让人放心。但再往深处挖，我们发现，虽然确实有些模型在识别任务上货真价实地比别的模型更强，但模型之间的表现差异，完全被模型与人之间的差距压得看不见，人类识别中的可靠信号要大得多。这在左边的表现指标上是如此，在「对一张素描意义的相对不确定性」上也是如此。所以这说明，在素描理解上，人与模型之间还有相当可观的对齐差距需要弥合。

范： 尽管如此，在我们做这个基准的当时，我们注意到用 CLIP 训练的模型表现优于其他模型，这使它成为一个合理的起点，可以在其上探索素描生成的模型。于是我们考察了一个特别酷的素描生成算法的能力，它叫 CLIPasso，开发工作由亚埃尔·温克勒主导。我们也让 CLIPasso 生成素描，并同样操纵它的生产预算。只不过这里的单位、这里的「货币」变成了笔画数，我知道这跟人那边不一样。

范： 我们发现，在四种生产预算下，人的画和 CLIPasso 的画可辨认程度相当接近。顺带说一句，可辨认度上的这种重合完全是巧合，毕竟两边的单位根本不同。而真正耐人寻味的发现是：人和 CLIPasso 「变稀疏」的方式不一样。右边纵轴上画的，是人给「他人所画素描」和「CLIPasso 在各预算下所画素描」分别指派的标签分布之间的散度。

范： 换句话说，如果你认真对待这样一种功能主义的看法，即素描是为了传达概念而存在的，并且用它所唤起的完整标签与意义分布来刻画它的意义，那么就会发现：三十二笔的 CLIPasso 作品和三十二秒的人类素描，看上去是不一样的，风格上确实有别，但它们在功能上相当接近，也就是所传达的意义集合、所唤起的意义分布相当接近。

范： 另一方面，随着生产预算被收紧，人与 CLIPasso 之间的分歧才真正开始大幅拉开。我们希望 SEVA 这个基准能成为一份有用的资源，供那些有志于开发「类人视觉抽象」模型的人使用。

数据可视化的力量

范： 现在进入第二部分，我想它会短一些。我给大家提前透露一下我们最新的、基本尚未发表的工作，关于多模态抽象，以及它们如何支撑统计推理。让我们回到笛卡尔坐标平面。

范： 在座都是科学家，用不着我说：你对世界做观测时，从来不会有这么干净的东西。我们实际收集到的往往是这样一堆数据点。它们落在哪里就是哪里，我们要从中推断某种底层结构，推断真正产生它们的那个生成过程。这一步推断是科学推理的基本构件，而我们绝不是靠把见过的一切都背下来、再拼命动脑子做到的。

范： 我们靠的是技术。在报告开头，我给各位看了徒手绘画的一些用例，它是一种特别持久、特别多用、也特别易得的工具，用来让不可见变得可见。我认为这很了不起，值得被理解。但在现代产生的技术里，影响最大的，恐怕要数数据可视化的发明。

范： 跟望远镜、显微镜一样，图表帮我们分辨出那些无法直接看见的世界部分。但与这两种光学技术不同的是，它让你看见那些用肉眼看太大、太嘈杂、太缓慢因而看不见的模式与现象。它们在新闻里无处不在，是商界与政界循证决策的基石，在每一个科学与工程领域都不可或缺。

范： 这里是历史上最早的时间序列图之一，威廉·普莱费尔画于一七八六年，展示英格兰在一七〇〇年到一七八〇年这八十年间进出口的平衡。有一段时间进口超过出口，然后在一七五〇年代关系反转，出口大幅上扬。

范： 但关键在这里。跟一幅达尔文雀鸟的素描不同，如果你此前从没见过这类图像，你可能压根不知道自己在看什么。可一旦学会了怎么看，它就是一种超能力。海量的单个观测可以被浓缩进一张图，而这张图讲的故事，你只要看一眼就能读出来。

范： 值得关心图表的理由还不止这些。正因为它是帮助人们更新和校准自己关于复杂世界的信念的有力工具，培养读图、解图乃至制图的能力，长期以来一直是这个国家 STEM 教育的目标之一，而且这件事的分量还在变重。

范： 《纽约时报》曾报道过一则新闻，其实已经是大约一年前的事了，讲的是新冠疫情造成的数学学习损失的恢复情况，基础是我们斯坦福和哈佛的教育学同行主导的研究。看上去在不少州都有橙色箭头，意味着确实有所恢复，但离恢复到位还有很长的路。我认为，能够解释人们如何用这类图像去发现并传达重要定量洞见的成功理论，会帮助我们让人们更普遍地具备所需的定量数据素养。

六项测试的错法

范： 我要简要讲三个我们正在推进的方向。第一个问题是：理解图表需要哪些底层操作？我们采取的策略是：先找到那些至少能应付关于数据可视化的问题的机器学习系统，评估它们与人的对齐程度，然后追问这些差距的来源。当然，要起步就得先有办法测量「理解」。

范： 大概长这样。假设我们一起看这张堆叠柱状图，有人问你拉斯维加斯的花生价格。花点时间把它看进去，四处扫一扫。假设那个人给了你四个选项。如果你觉得是 A，那你是对的。那个炭灰色的小方块是我加的。但面对同一个问题，几个知名的视觉语言模型给出的答案并非如此。

范： 在实验室现任研究助理阿纳夫·维尔马主导的一次堪称大力气的基准工作中（他今年秋天就要进入这里的项目），我们在六项常用的图表推理测试上，对人和 AI 系统做了细致比较，这些测试分别来自教育学、健康、可视化、心理学和机器学习等不同共同体。

范： 六项测试都尽可能以平行的方式施测给人类被试和若干所谓的多模态 AI 系统，而进入这份基准的模型，都是曾被宣称在其他视觉落地推理任务上具备胜任力的。我们不仅记录人和模型的总分，还记录它们产生的全部错误模式，这样即便模型或人答错了，我们也能看看它们错的方式是否相似。

范： 结果如何？这六项测试的名字都挺古怪，GGR、VLAT、CALVI、HOLF、HOLF-multi，最后那个难听的名字是我们自己起的，怪我；另外还有 ChartQA 的一个子集。我们计算每个模型的表现，就是横轴上蓝色、橙色、紫色、红色那几个，再与人的表现比较，人的表现是绿色。这里的人是至少上过一门高中数学课的美国成年人。

范： 先给大家一个感觉，这些人做得如何，这是我们的参照点。这是所有模型的表现。这项研究里包含了 Blip2-FlanT5 的两个变体、三个基于 LLaVA 的模型、MatCha 这样的专用系统及其基础模型 Pix2Struct，最后还有一个闭源的商业模型 GPT-4V。在所有这些测评上，无论采用较宽松还是较严格的评分标准，我们都看到了模型与人之间实实在在的差距。

范： 如果我们只依赖机器学习文献里当下最流行的那些图表理解基准，这个差距很可能会被漏掉，这也正是我们要把 ChartQA 纳进来的原因，也就是这张幻灯片最右边那一格，那里的差距看上去小得多。第三项 CALVI 特别有意思，因为它是对抗性设计的图，纵轴的取值范围很古怪，逼你非得看得很仔细不可，所以那一项上我们也看到了比较大的差距。

范： 我们还分析了完整的错误模式，在没有谁接近天花板的时候，这种分析特别能说明问题。毕竟，全部答对只有一种方式，但错的方式有很多种，而且可以错得很稳定。我们发现，尽管 GPT-4V 看上去在接近人的水平，但包括 GPT-4V 在内，没有任何一个模型产生了类人的错误模式。这一点体现在所有的点都明显落在绿色阴影区域下方，那片区域代表人类的噪声上限。

范： 所以结论是：当前不断发展的视觉语言模型，作为「可视化理解的可能认知模型」的假设空间来说，仍然是令人兴奋、值得参数化的试验床，但仍存在系统性的行为差距，值得继续追问下去，才能把这些模型的潜力真正发挥出来。

选图看得懂受众

范： 与此同时，我们也在开发实验范式，去探测可视化理解的另一个相关侧面：为你的认识目标挑选或设计合适的图表的能力。

范： 我们是这样设定问题的。设想你对某个数据集有某个问题，我一直称之为「认识目标」（epistemic goal），比如「哪一组更好」。假设左边这位要挑一张图，去恰当地改变对方的信念；但如果对方心里的问题不同，也许就需要另一张图。直觉就是这么来的。这条线索由霍莉·休伊开启，我们在一项研究里编了几百个原则上可以用真实的、公开数据集回答的问题，这里用的是 R 语言基础包自带的数据集。

范： 这是一个听着挺吓人的例子，追踪飞机与鸟撞。问题是：在阴天飞行、并在零到五千英里高度遭遇鸟撞的飞机，其平均速度是多少？然后我们给被试一份菜单。

听众： 洁如，我能问个问题吗？

范： 当然。

听众： 五千英里是什么？

范： 高度。

听众： 你确定不是五千英尺？

范： 抱歉，五……等一下。这可能是我这边的笔误。我想这个错误没有传到题目里去。

听众： 总之，别在意。

范： 我开始在意了，但我现在要克制住这个冲动。

听众： 不过如果这就是标准，这些题里恐怕到处都是各种笔误。

范： 这是用模板生成的，题目是套模板出来的。基本上这里面有不少问题问得挺滑稽，我觉得当初本可以再打磨得平顺一些。这个意见很好。

范： 总之，我们有了这一堆问题。有些问得比另一些讲究。我们给被试一份可选图表的菜单，让他们挑一张展示给别人，好帮对方回答那个问题，不论他们自己是怎么理解那个问题的。反正呈现给人的就是那些字符串。他们可以从菜单里挑柱状图、折线图或散点图，有些图更浓缩，有些更展开。然后我们统计每一种被选中的频率，构造出一个关于图表的选择分布。

范： 这是我们刺激材料中「读取数值」这一类问题的平均结果。这是其中一类任务，另外还有一些任务要求你计算两个数值之间的某种差。这里是「读取数值」这一子集。接着我们检验了人们在挑图时可能采用的各种假设策略。

范： 黑色曲线显示，他们显然存在某种偏好。紫色曲线代表「柱状图原教旨主义者」「折线图原教旨主义者」「散点图原教旨主义者」的预测，也就是不管图上画了三个变量还是更多，一律只选柱状图之类。我们也考虑过另一种可能：人们总体上偏好更有针对性的可视化，但并不真的在意分享的是哪种图型；或者他们偏好展示更多数据的图；或者偏好那些更少掩盖数据变异的图。

范： 我们考察过的候选里最好的一个，是这样一种设想：人们其实对那些「与回答该问题相关」的图表特征是敏感的。而这个「相关性」，实际上是由另外大约一千七百名被试的表现来预测的，他们要用每一张可能的图去回答每一个问题，不管问题问得多古怪。我们真的去测了他们的表现，再根据这些表现水平构造分布，然后用这项任务的数据去生成「受众敏感」假设的预测。

范： 这是只考虑「读取数值」类题目时，那些曲线的形状。而如果看整个数据集，我们发现「受众敏感」这个假设全面表现良好。我这里展示的本质上是一个模型拟合指标，定义在预测的选择分布与真实的人类选择分布之间的散度上。它有个名字，叫詹森-香农散度，也就是双向 KL 散度的平均。

范： 我对这个结果感到兴奋，一方面因为它初步验证了一种用更开放的任务去测量可视化理解的策略；另一方面因为它表明，即便是非专家，是那些并非职业科学家的人，也能察觉图表的哪些特征使它更适合回答某些问题。说实话，作为一个靠教统计学导论谋生的人，这让我看到希望。

这些测试测的是什么

范： 旅程的最后一段，我们要再一次批判性地看待「测量」这个问题。几分钟前我给大家看了用那六项数据可视化理解测试得到的结果。我们手上现在只有这些，所以基准研究里用的就是它们。而这最后一项研究，现在已经在出版流程中，由我们实验室一位出色的博士后埃里克·布罗克班克主导，阿纳夫·维尔马也参与，我们问的是：这些测试到底在测什么？它们测这些技能的方式是最好的吗？我们能不能做得更好？

范： 这里是回答这些问题的最初几步。为了找到抓手，我们先从 GGR 和 VLAT 入手，因为它们是使用最广、最成熟的两项测试。我们把 GGR 和 VLAT 合成一份综合测试，施测给一个规模大、构成多样的美国成年人样本，其实是两个样本：一个在加州大学圣迭戈分校校园招募，另一个通过 Prolific 招募，并要求在人口统计学上具有代表性。左边显示的是，在校园样本和全美代表性样本中，我们对单个题目难度的估计相当一致，我觉得这挺让人安心。

范： 右边显示的是，在一项测试上做得好的人，往往在另一项上也做得好，这提示两项测试也许在测量某些相同或相近的东西。问题是：那些东西究竟是什么？

范： 一种可能是，这两项测试追踪的是某些图表比另一些更容易理解的程度。若是如此，那些图应当在各处都稳定地难或稳定地易，比如柱状图容易，堆叠面积图更难。但在我们看来，这里显然还有别的事情在发生。

范： 对于给定的图型，表现并不总是一致，无论是在同一项测试内部还是跨测试之间；而且题目数量根本不足以在图型与表现之间建立直接联系，因为这些测试里每一类图通常只有一道题。这也让分析变得困难。

范： 我们还深入分析了人们犯错的模式，结果发现，在这两项测试上，预测这些模式的最佳变量既不是图的类型，也不是问题的类型，比如「找最大值」「识别聚类」「刻画分布」「读取数值」。这些都是描述图表任务分类体系时常见的说法，但从这次分析看来，真正更有效地解释错误模式的，是另外一些底层因素，而现有的分类体系并没有很好地描述它们。

范： 这里我展示的是，一个简洁的四因子模型，比那种按你直觉上会用来组织「读图所需技能」的分组方式，要好多少。这张幻灯片我不打算逐项拆解，它只是想说明：这里似乎存在某种东西，而它并不能明显地对应到我们平时谈论「读图的组成技能」的方式上，也就是你在教科书或教学材料里看到的那套入门框架。

范： 即便现有测评未必是以最好的方式在测量和刻画可视化理解，我们也想把这件事当作一个「杯子半满」的行动号召，去开发更好的测量工具。所以，敬请期待。

尾声：教育与设计

范： 更一般地说，我之所以认为这项确立数据可视化的知觉与认知基础的工作如此重要，是因为它让我们有机会把学到的东西用起来，最终去帮助真实教育情境中的学习者，校准他们对一个复杂多变、而我们永远只能观察到其一部分的世界的理解。这类把基础科学与我们共同生活的更大世界连起来的整合性努力，正是这一切最终的去向。

范： 我们真正想做的，是发展心理学理论，解释人如何使用我们继承下来、并且仍在不断创新的这一整套认知技术；我们想弄明白这套工具箱为什么长成今天这样，未来的认知工具可能怎样才会更好用。

范： 从长远看，我认为理解这些工具如何运作、如何把它们做得更好，真的很重要，因为正是这些工具支撑着我们最有影响力、最具生成性的两项活动。第一是教育，这是一种制度，或许更重要的是一种期待：每一代学习者都应当站在上一代的肩膀上，看得更远。第二是设计，是那一整套活动与思维习惯，它们让人不断重新想象世界可以变得多好，然后走出去把它变成现实。

范： 讲到这里，我要感谢所有参与这些工作以及实验室其他工作的人。没有一支了不起的研究团队，没有分布在很多地方、也包括这里的合作者与同行网络，这些都不可能完成。谢谢他们，也谢谢各位的专注。如果还有时间，我很乐意回答问题，虽然可能已经没时间了。好，谢谢。

问答：画错了的画

听众： 非常感谢你的报告。我好奇的一点是，在你很多关于描绘的例子里，似乎存在一条一维的轴，一端是更细致、更忠实，另一端是更稀疏。但我想问的是那些人们「跑偏」的情况，也就是他们画出的东西其实是假的、与事实相反的。比如我要画一杯水，为了表示杯子是满的，我会把里面涂成蓝色，尽管现实里杯子装了水并不会变蓝。我觉得这跟文化和语言关系很大。我说的那种语言里，水就是被形容成蓝色的；我周围的游泳池内壁通常也漆成蓝色，如此等等。所以我想知道，你怎么看这类情况？

范： 是的。哲学里的美学领域有一大批文献，我从中获益不少，它们的出发点跟你说的很像：我们究竟怎么可能理解那些「假」的图画，比如虚构人物的画像、独角兽的画像，或者装着蓝色水的杯子，哪怕现实里根本不是那样？

范： 我们在自己的实证工作里采取的路径，是不从这个前提出发。与其把它们看成「假的」，不如说这就是人在某个目标之下真实生成的数据，而我们要做的是搞清楚那个目标是什么。至于他们为什么把杯中的水画成那样，我们感兴趣的正是你指出的那种权衡：在多大程度上忠实于视觉外观，忠实于「一只玻璃杯就摆在你面前的房间里」那种看的现象学，又在多大程度上依循一种习得的约定，也就是「水该怎么画」。

范： 我认为这些都是很合理的约束来源，能解释人们为什么做出那样的表征决策。所以，与其把某些画判为好或坏、真或假，我们觉得更有用也更有产出的想法是：在那些条件下，人们画出来的就是这些画。为什么？为什么它们是这个样子，而不是别的样子？希望这有帮助。谢谢你的问题。

问答：如何诊断误读

听众： 谢谢。我很好奇你只是很简短带过、但我觉得潜力巨大的一点，就是人工系统在图形与可视化上所犯错误的「类人程度」。某种意义上，这对人工系统来说尤其有用，因为当我做一张可视化时，我知道别人如果理解正确会得到什么，但我很难想象它可能被怎样误解。所以「这张图还可能被怎样误解」本身就是一个任务，而且我觉得会非常非常有价值。我想问的是，关于图表如何被误解，我们目前最好的模型是什么？通常它们是怎么被误解的？而且这在科学上是不是一个可解释的问题，能让我们看清内部到底发生了什么？

范： 这个问题问得非常非常好，我来正面接一下。在座有些人研究的一个现象叫「视角采择」，它很难，但在某些情境下是做得到的。想象世界从别人的视角看起来是什么样，这是可能的，也有各种范式在研究它。而且看起来，快速而准确地做到这一点的能力是会随练习而改变的，所以专长与经验在塑造这种能力上是有作用的。

范： 这一点的一种表现形式是这样，这里我完全不提视觉语言模型的结果，只勾勒问题的形状：教师，真正高水平的教师所发展出的众多专长中的一种，就是在听学生描述自己怎么想一道题时，能够诊断出所谓的「迷思概念」。学生给出的最终答案可能是错的，但事情不止于「错」。相关的问题往往不只是对还是错，而是：这个迷思概念、这个误解的性质是什么？在规范上正确的表征方式与推进步骤，同学生实际做的事情之间，差在哪里？

范： 如果可以的话，我很简短地说一下，在超大规模机器学习系统的今天，我们是怎么想这个问题的：去追问这些系统在答对或答错时，究竟依赖了哪些运算、哪些概念性的基元，用的是「机制可解释性」名下的那一整套工具。你也可以把它叫作人工神经网络的认知系统神经科学，目的就是诊断正确答案和错误答案分别从哪里来。

范： 那会非常非常好。由于时间关系我不展开细节。但这是一种可能的策略，把这些系统内部执行的、并不能立刻被解读的运算，同人们通常所说的「知识图谱」，也就是一个人心里持有或不持有的那张底层知识网络，连起来。

范： 我想这是一种设定问题的方式。有时候瓶颈就在知觉本身，另一些时候瓶颈或者说落差出在某一个推理步骤上，而目标是把这些步骤真正暴露出来，并且拥有诊断它们的工具，这样原则上你就能用它去诊断任何人、任何系统身上的迷思概念、误知觉、错误和失步。这当然非常非常难。但我认为，正是这些困难的问题，是我们朝那个方向前进时可以借用的工具。希望这些多少讲通了，我关于这个问题的想法很多。

听众： 我能追问一句吗？

范： 可以。

听众： 我觉得，你在这里其实帮了我们一把，因为你把图上该注意的那个位置标了出来。

范： 我确实这么干了。

听众： 我只是想确认自己有没有理解。你在回答这个问题时可能遇到困难的原因之一，是你不知道该注意这东西的哪一部分。

范： 对。

听众： 或者你知道该看哪一部分，但不知道拿它怎么办，不知道怎么把那个红色矩形跟纵轴上的信息对起来。又或者，即便你知道怎么对起来，你也不知道怎么把它转化成问题所要的答案。就是这一类。

范： 是的，而这些正是人类教师可能会采取的教学动作。

听众： 有人甚至试着把它拆开过，比如埃里克·舒尔茨的团队，他们会去问模型或者问人：第二列那个红色矩形有多大？这就不需要任何推理。或者问：哪一个蓝色矩形最高？你们做的是这类事情吗？

范： 是的，正是这样。我们从这类刺激材料开始，这是非常非常新的工作，由亚历克莎·塔尔塔利尼主导，与克里斯·波茨合作。我们从这些真实世界里的图和问题开始，然后意识到我们需要往下钻。所以一方面是拿这些图去问各种不同的问题，包括刚才说的那些更基础的问题；另一方面我们也意识到，得把它剥到简单得多的版本，同时仍保留其中的核心多模态整合挑战。我们现在正在用数轴刺激做实验，本质上是想理解人如何判断数轴上两个数据点之间的距离。总之通往这个问题的路径有很多条，因为关键在于这件事本身很复杂，把它分解开来正是挑战的一部分。

听众： 而且这大概也关系到怎么教这些技能，把它们拆解开来。

范： 正是。对，就是这样。所以既有测评的一面，另外，我之所以在图上放那个炭灰色的方块，是因为我心里有一个猜测：迅速看向图上恰当的那个特征，其瓶颈可能在哪里。

问答：孩子怎么读图

听众： 我能再追问吗？

范： 当然，请。

听众： 我第一眼看这张图的时候，觉得它其实是有歧义的，我不确定这些柱子是不是都从零开始、我们看到的是一根挡在另一根前面。

范： 我知道，我知道。

主持人： 就那些最便宜的……

范： 就好比 dodge 参数设成了 true。

听众： 但这不是我的问题。我的问题是：你一直关注的是成年人，是那些已经接触过大量各类媒介的成年人，问的是怎样呈现信息才能让人高效地读懂。但还有另一个问题。当我们第一次见到一种新的图型时，比如这张图可能真的是我头一次见到这样堆叠起来的，至少已经很久没见过了。

范： 那挺让人兴奋的。

听众： 头一次看到的时候，它并不那么显而易见。

范： 确实不。

听众： 而当我们看惯了某一种，再看到不一样的，反而会变得更难。比如事件相关电位图里负值朝上，每次看到都让我抓狂。

范： 对，就是这样！

听众： 所以我想问，你怎么看这个问题：这类表征该如何设计，才能让孩子容易学会？孩子一开始这些表征一个都没有。你会在最早那批要教给孩子的表征里放进什么？之后又该怎么推进？

范： 这是个好问题。其实是有一些版本的。几分钟前我还和南希聊到一件相关的事，就是人究竟是怎么「打进」这类视觉输入的。某种意义上，你是在大量神经典型的、普通的视觉与认知发展之上再往上建，才能把握到不同形状处在特定空间排布中这件事。它还依赖于识读能力本身。你需要先建立起一批概念性基元和更基础的能力。

范： 也许存在某个经验序列，可以一步步搭上去。这问题问得真好。关于课程设计这个问题我没有答案，但我认为它是个很好的问题。

听众： 看起来皮层后三分之一整个都在做视觉，那是一套极其了不起的机器，能从朝向到高度到形状到景观，抽取出各种各样丰富的视觉表征，而所有这些都是我们可以利用的空间。所以做出一张好图的精髓，似乎就是想清楚怎么设计一个可视化，去接上其中某一部分机器，从而建立映射。

范： 什么样的视觉场景总体上更容易、更流畅地被加工？不那么杂乱的场景。如果你关心的是在这类场景中做视觉搜索的问题，那么其中一部分加工过程会被征用，用来确定该看这张图像的哪个子区域。你可以设想，把最早那批图设计得更贴合这类场景。

范： 然后还有一步，是把这些场景的组成部分映射到你同样需要学习的概念上，这一步一开始会非常难，随后会越来越快、越来越容易。我觉得这个过程中发生的事情真的很迷人。

主持人： 这真的很精彩。要不我们就到这里，让需要离开的朋友先走。

范： 好的。

主持人： 其他人请留步。你还会待一会儿，我们有酒会，大家有四十五分钟左右可以继续盘问你。

范： 太好了。谢谢，谢谢，谢谢。