
在本次与《Neuron》的访谈中,David Sussillo回顾了他从不利的童年环境成长为计算神经科学和人工智能领域领军研究者的历程。他讨论了FORCE学习算法的发展、神经网络可解释性的进展、学术界与工业界的互动关系,并给来自非传统背景的有志科学家提供了建议。
个人简介
David Sussillo是一位神经科学家、技术专家,也是《涌现:童年、计算与心灵奥秘的回忆录》(Emergence: A Memoir of Boyhood, Computation, and the Mysteries of Mind)(2026年3月出版)的作者,该书追溯了他从阿尔伯克基基督徒儿童之家(Albuquerque Christian Children's Home,ACCH)到成为计算神经科学家和人工智能研究者的历程。
David在哥伦比亚大学师从Larry Abbott获得博士学位,并在斯坦福大学跟随Krishna Shenoy完成博士后研究。在此期间,David研究了循环神经网络(recurrent neural networks,RNNs),包括其训练、建模、可解释性以及在神经数据分析中的应用。
他目前是斯坦福大学的兼职教授,同时也是Meta Reality Labs的科学家,此前曾在Google Brain(现为Google DeepMind)工作,开发人工智能可解释性的新方法。他的研究应用人工神经网络来理解神经元群体如何共同产生计算和行为。在Meta,他致力于基于肌电信号的脑机接口研究,以开发下一代人机交互技术。
你的童年充满了重大挑战——在阿尔伯克基基督徒儿童之家度过多年,母亲频繁进出精神病院。你能谈谈那段经历吗?在ACCH的日常生活是怎样的?那些年如何塑造了今天的你?
我的父母都患有成瘾问题,我的母亲患有严重的精神疾病,在我童年的大部分时间里都在精神病院度过。我的父亲频繁进出监狱和中途之家;在我6岁时,他基本上就从我的生活中消失了。我的姐姐Esther和我与母亲一起住在阿尔伯克基的“战区”——一个名副其实的街区。当我8岁时,母亲照顾我们的能力彻底崩溃。我们最终进入了ACCH,除了偶尔一两个月外,我再也没有和她一起生活过。
ACCH是一家收容儿童的集体之家,这些孩子如今被称为“被活人遗弃的孤儿”或“社会孤儿”。那里的大多数孩子并非因父母去世而失去双亲,而是因父母的精神疾病、成瘾或监禁。我们住在所谓的“小屋”里——那是6000平方英尺的砖砌牧场式房屋,每栋最多可容纳16名孩子,由一对基督徒夫妇担任舍监父母。在任何时候,阿尔伯克基一家Albertsons超市后面10英亩的校园里,三栋小屋中住着三十到五十个孩子。
很难向他人传达在没有父母的情况下在机构中生活多年的含义。我不是说情感上的困难——我是说人们真的很难理解那种具体的现实。没有睡前亲吻。没有拥抱,除了偶尔家庭探访时尴尬的拥抱。没有辅导。当你在学校遇到问题或有人欺负你时,没有人可以倾诉。舍监父母光是应付混乱就已力不从心;个人的情感需求根本无法顾及。我们没有被以任何戏剧性的方式虐待。我们只是孤独。
有些孩子逃跑了。大多数被警察带回来。有一次,Jake Lovato追踪到一个16岁女孩和一个10岁男孩,他们跑到了大约5英里外的灰狗巴士站。他们举着一个牌子:“我们去哪儿都行。”就我而言,我从未认真考虑过逃跑——ACCH提供了食物和住所,让我能继续上学,这比任何替代方案都要好。
Esther和我在那里待了5年。我们成了“终身居民”——那些待得太久以至于不记得其他生活的孩子。到七年级时,我们已经待得比所有人都久。那一年,我母亲去世了。弗吉尼亚的姑妈和叔叔曾短暂尝试收留我,但未能成功。所以我最终在Milton Hershey School度过了我的高中时光,这是宾夕法尼亚州Hershey的一所寄宿学校,收容弱势儿童。宣传册把它描述得田园诗般美好,但现实是另一个有着自己严格结构和情感距离的机构。因为Esther最终去了另一所寄宿学校,母亲的去世也意味着我与姐姐的分离。
那些早期经历塑造了我今天几乎一切。很难解释,因为当你还是个孩子时,你并不真正理解身边发生的事情。本质上,我发育中的大脑被迫在没有任何指导的情况下应对持续不断的慢镜头创伤。不过也有一些具体的积极结果:我变得对人的情感非常敏感,能够读懂场合,能够结交和维持朋友。我培养了很强的职业道德。但也有负面影响:我容易愤怒,背负着许多包袱,在取得任何真正的进步之前,我作为年轻人必须克服这些。
尽管身处这样的环境,你发现了计算机和科学作为一条出路。那是如何发生的?是什么时刻或经历激发了你对编程和科学思维的兴趣?
这一切始于我很小的时候——大概4、5岁——在街机游戏厅玩电子游戏。当你只有几个硬币时,你会很快变得非常厉害。有一家游戏厅里,我发现你可以在毛绒地毯上摩擦给自己充上静电,然后触摸Defender机台的金属部分——变!免费游戏!商场里有一个巨大的游戏厅,有数百台游戏机。我玩不起,但我喜欢看。那个游戏厅是纯粹的逃避——一个又一个屏幕上上演着生死攸关的戏剧,每个孩子都通过恰到好处的按键积极参与其中。但在所有这些逃避中,我在学习秩序和逻辑系统的规则——隐藏的扭曲通道的秘密,或者如何获得一条额外的命。电子游戏培养了我的专注力,从某种奇怪的意义上说,这是我第一次接触研究。
真正的转折点出现在三年级,我被认定为“天才儿童”,并被安排到公立学校的一个特殊项目中。这也许是我早年生活中最重要的干预。该项目教会了我如何头脑风暴——何时让创造力流动,何时进行批判。我学会了如何列提纲和总结主题,这些工具帮助我整理了脑海中盘旋的混乱思绪。
有一堂课通过一个Encyclopedia Brown侦探故事解释了概率,故事讲的是一个孩子计算从万圣节糖果堆中抽出他最喜欢的糖果的几率。这让我着迷,因为懂得数学就像拥有绝地武士的力量。我那时无法用语言表达,但我直觉地理解到,理解世界如何运作能给你带来力量。当你的日常生活毫无掌控感时,你会被任何你能获得的权力形式所吸引。
我的小学教育最终包括每周一次使用Apple II电脑的计算机实验室。我们玩“寓教于乐”的游戏,比如《俄勒冈小道》,你要尝试用有篷马车带着家人穿越全国。我总是死于痢疾。我们还通过LOGO学习编程,这是一个图形编程环境,你通过输入键盘命令来控制一个三角形光标(看起来像一只海龟)来移动和绘图。
但我第一次真正见识计算机的能力,来自在RadioShack与一个少年的偶然相遇。他当时正在一台TRS-80上工作,我大概五六岁。他问了我的名字,然后输入:
10 PRINT "David is cool"
20 GOTO 10 >RUN
这是我人生中第一次看到真正的魔法。屏幕上填满了我的名字——几十次、几百次、一百万次!就在那一刻,我第一次领悟了:计算机让你像陆军将军或大厨一样。它忠实地、毫无怨言地执行配方,永不停歇。
随着我进入中学和高中,我的智力成长通过阅读继续。我如饥似渴地阅读《Discover》杂志,学习了混沌理论和奇异吸引子等在20世纪80年代进入主流的科学主题。一篇关于Conway生命游戏的文章完全俘获了我的想象力。
正如我们所知,生命游戏是一种细胞自动机——在二维网格上的模拟,每个细胞根据关于其邻居的简单规则处于存活或死亡状态。这个模拟中涌现出的东西令人惊叹——像像素虫子一样在网格上移动的滑翔机和宇宙飞船,振荡的闪烁器和脉冲星,甚至可以进行复制的模式。当我到Milton Hershey School并在课堂上学习Pascal时,我花了整整两周编程生命游戏,以便自己研究那些奇特的宇宙飞船和振荡器。我当时完全不知道,但那个问题——复杂行为如何从简单组件中涌现——将构成我整个职业生涯的基础。毫无疑问,我对神经科学的兴趣起源可以追溯到生命游戏。
你最终上了大学,但成为计算神经科学家的道路并不平坦。最终你找到了进入Larry Abbott实验室的路,在那里你开发了FORCE学习。你能带我们走过那段旅程,并谈谈那个突破吗?
我在卡内基梅隆大学(Carnegie Mellon University,CMU)的本科阶段在智力上是极其激烈的。鉴于我的背景,当我收到第一学期的期中考试成绩时,我被猛然惊醒。但我不会允许自己失败,所以我以源于对是否属于这里深感不安的强度投入到计算机科学和数学课程中。我熬过了第一年,脚步终于站稳了。到大三时,我参与了一位教授的项目,他提出了一个基于社交网络的问题/回答系统的想法(那是在遥远的1995年)。我最终构建了软件,教授后来将其转化为一家公司。我人生中第一次不再身无分文。
但到了大四,我犯了一个错误——为了创业而降低了学业优先级,不可避免地精疲力竭。在一时冲动的决定中,我完全退学了,搬到波士顿为另一家初创公司工作。那时一切都崩溃了。由于我无法理解的原因,我开始出现严重的惊恐发作——全身颤抖和令人虚弱不堪的焦虑。大约8个月的时间,我几乎无法正常生活。于是我搬到了纽约,那里有些亲人,开始接受治疗。我找到了一份金融软件编程的工作,花了两年时间重整自己的心理健康。这是我真正开始直面童年经历的时候——直面它,无论结果如何。而那时,事情开始真正变得顺利起来。
我远程完成了CMU的学位。我不断回想起在本科课堂上体验过的发现带来的兴奋感——那种问题轮廓变得清晰、你全身心投入寻找解决方案的感觉。我去了哥伦比亚大学,在电气工程系找到了一份UNIX系统管理员的工作,每学期附带两门免费课程。所以我一边做“网络管道工”,一边上电气工程硕士的课程。
大约两年后,我决定要读神经科学博士。我一直对大脑着迷——可以追溯到高中时看过的NOVA系列纪录片和生命游戏——而且我觉得这是将我的技术天赋与我的背景连接起来的完美方式。我进入了哥伦比亚大学的神经科学项目,并奇迹般地在哥伦比亚大学新成立的理论神经科学中心Larry Abbott的实验室找到了一个位置。这后来证明是我人生中最大的运气之一。
从我们第一次见面起,很明显Larry和我在同一波长上。我们都是直觉型、概念型的思考者,对计算和大脑有着相似的想法。我们都对一个具体问题感兴趣:如果你想真实地模拟大脑,你需要循环神经网络(recurrent neural networks,RNNs)——具有反馈回路的网络,神经元以允许记忆和上下文处理的复杂方式相互影响。前馈网络(Feedforward networks)(信息单向流动)可以使用反向传播(backpropagation)训练(尽管即使在当时这也被认为是高度可疑的)。但由于RNN是动力系统,可以表现出极其复杂的甚至混沌动力学(chaotic dynamics),没有人弄清楚如何有效地训练它们。
Larry曾与Kanaka Rajan和Haim Sompolinsky一起研究受驱混沌系统的统计物理。与此同时,Herbert Jaeger和Wolfgang Maass分别独立开发了称为“回声状态网络”(echo state networks)和“液态状态机”(liquid state machines)的模型。这些模型表明,你可以利用循环网络丰富的动力学而无需传统意义上的训练。我的贡献是弄清楚如何将Larry与Kanaka和Haim的工作与回声状态方法相结合,以实际训练混沌RNN执行特定计算。这后来被称为FORCE学习。
我认为这是一个重要的贡献,因为理解大脑需要理解循环动力学。如果大脑进行计算,它至少部分必须通过动力学来实现。你无法用前馈模型捕捉到这一点。而拥有一个可训练的模型,而不是手工构建的模型,为接触复杂的神经生理学数据开辟了全新的方式。
在开发FORCE学习之后,你转向了“打开黑箱”的挑战——逆向工程训练后的神经网络以理解它们如何工作。你在理论方面与Omri Barak合作,然后将这些技术应用于生物神经数据。这是如何发生的?发现了什么?
开发FORCE学习算法的结果是,神经科学首次拥有了一种可靠的方法来训练RNN执行与生物大脑相似的任务。你可以构建这些人工网络,训练它们执行与动物实验中相同的任务——判断两个音调哪个更高、记住刺激序列、或基于上下文做出决策——然后对它们进行逆向工程以理解它们如何解决这些问题。这些见解随后可以转化为关于真实大脑功能的可检验假设。
当然,问题是RNN本身就是黑箱。如果你无法理解你的玩具模型,使用FORCE训练RNN有什么意义?
我开始找哥伦比亚大学的博士后就应用动力系统技术——理解复杂演化系统的数学工具——来逆向工程这些神经网络。共识是压倒性的否定。RNN被认为过于复杂和维度太高,教科书方法无法奏效。但当我走到Omri Barak的桌前时,他说了不同的话:“为什么行不通?”
Omri和我开发了一种基于寻找吸引子(attractors)——动力系统自然趋向的稳定状态——并分析其周围简化动力学的方法。想象一个老爷钟:仅通过打开它并盯着内部来弄清它如何工作似乎令人望而生畏。但有些关键位置运动变得可预测,例如当钟摆达到摆动顶点或在底部静止时。通过研究这些特殊位置,你可以把握整体动力学——它们以特定频率振荡——而不会被齿轮机制的复杂性所困扰。这类似于在抽象层次上理解生物神经回路的计算,而不完全理解其连接组如何贡献于该计算。
我们将此应用于执行简单任务(如存储记忆或产生节律模式)的循环网络。结果是具有启发性的。在应用我们的技术之前,我们完全不知道这些复杂的高维网络如何工作。之后,我们可以确切地看到它们如何在不同吸引子中存储信息以及动力学如何在它们之间移动。这项工作之所以重要,是因为它确立了训练后的RNN——至少相对简单的——可以被理解。它们不仅仅是一堆难以捉摸的参数。
博士毕业后,我搬到斯坦福跟随Krishna Shenoy做博士后,专门为了测试这个框架——训练RNN并对其进行逆向工程——是否能与行为动物的真实神经数据对接。一个成功案例是与Valerio Mante和Bill Newsome的合作,他们记录了猴子前额叶皮层在执行上下文决策任务时的活动。猴子必须根据视觉线索关注随机点刺激的颜色或运动。谜团在于前额叶皮层中的单个神经元似乎几乎随机地编码信息,因此设计一个令人信服的关于可能发生什么的假设被证明相当困难。在一项多年合作中,我们使用RNN发现假设,关于循环活动如何允许上下文微妙地重塑前额叶活动从而解决任务。
这项研究在很大程度上说服了持怀疑态度的人,这个“通过动力学进行计算”的框架可以用来生成假设,可能帮助我们解释大脑如何计算。如今,使用训练后的循环网络作为理解大脑功能的假设生成器已成为系统神经科学的标准实践。
尽管在学术界取得了这些成功,你决定离开去工业界。是什么驱动了这个选择?学术研究的哪些局限性促使你去了Google,并最终去了Meta?
在2013年接近博士后结束时,Bill和Krishna都鼓励我申请斯坦福大学计算神经科学的终身教职岗位。我承认我很纠结。我热爱研究,想一辈子做研究,但我对学术文化有严重的保留。我最大的担忧是工作/生活平衡。Krishna告诉我:“如果你每周工作60小时,你绝对可以在这里成功。”那一刻,我的心沉了下去,尽管我没有勇气告诉他。
在机构中长大让我对受制于人几乎过敏。感谢那些年的家务,我知道当我选择时可以工作到手指流血,但被迫每周工作60多小时直到退休的前景感觉像是被判了刑。我还在斯坦福与冒名顶替综合征作斗争,周围是一些地球上最聪明的人。当我把这些担忧告诉我的治疗师时,他说:“David,你不必总是房间里最聪明的人。你只需要足够聪明。成功是由你带来的所有其他资产决定的——组织能力、创造力、沟通技巧。”
不顾一切,我申请了斯坦福并进入了最终候选名单。最终,我成了最后剩下的候选人。然而,在几个月的等待之后,斯坦福决定那一年不招任何人。我崩溃了。
经过大量的自我分析,我意识到我想要教授职位的主要原因是验证——证明我“成功了”,证明我逃离了过去的证明。幸运的是,到博士后结束时,我有足够的见识认识到,生活中有比永无止境的60小时工作周更多的东西,无论那份工作多么有意义。我决定离开。
我认识Google Brain(现为Google DeepMind)——Google新成立的深度学习“臭鼬工厂skunkworks——的人。我的介绍很直接:我理解RNN,我有经过验证的逆向工程方法。大型科技公司迫切希望理解神经网络如何施展魔法——以构建更强大的算法、解决算法偏见、防范AI滥用,并使网络更数据高效。即使我的可解释性结果只适用于AI研究人员当时认为的“玩具问题”,那也是一个开始。我被录用并在那里度过了6年的高效时光。
你一直保持双脚在两边世界——你仍然是斯坦福的兼职教授,同时在Meta Reality Labs工作。你如何平衡这些角色?是否有某些科学问题更适合工业界而非学术界?
在Google Brain待了一两年后,我怀念纯粹的神经科学。工业AI研究在智力上令人兴奋,但我整个职业生涯都在试图理解生物大脑如何计算,保持参与的动力很强烈。所以我联系了Krishna,他赞助了我的斯坦福兼职教授职位。我非常感激他的指导——很难想象没有他的支持这种安排能行得通。我们一起共同指导学生和博士后,这使我能够融入更广泛的系统神经科学研究项目,同时保持我的工业职位。
我的安排大致是工业研究与学术研究之间80/20的比例。这之所以可行,是因为每个我学术指导的学生或博士后都由像Krishna这样的终身教授共同指导。我也对承担的项目进行选择性筛选,以确保我有限的时间投入仍然为合作带来价值。学生获得了传统学术导师的稳定性和机构支持,而我带来了行业视角和计算专业知识。
学术研究和工业研究之间的差异是显著的。学术界的视野要广泛得多——如果你能写一份资助申请书说服评审者一个项目值得做,你就可以去追求它。有大量的智力自由。相比之下,工业研究往往更偏应用;没有人赞助研究,除非他们相信至少有某种机会将其转化为财务收益,无论是产品、专利还是其他竞争优势。这种约束可能是限制性的,但也可能是澄清性的。它迫使你以纯粹学术研究通常不会的方式思考影响和应用。
至于哪种模式更有效,我认为高度取决于科学问题。但我认为差异的核心在于学术界的训练使命。整个博士过程旨在教学生如何独立进行新颖研究——提出问题、设计实验、分析结果和撰写论文。这些是基本技能,但它们创造了一种文化,在这种文化中,研究人员即使在培训完成后也常常觉得必须继续独自工作。你几乎只看到单研究者实验室,围绕想法和数据的占有欲仍然普遍。我相信这种个人主义文化阻碍了学术界,尽管大部分工作在技术上是合作的。
在工业研究中,我们拥有巨大的资源和更大、更整合的团队。在Google Brain和现在的Meta Reality Labs,项目涉及数十甚至数百名具有不同专业知识的人朝着共同目标努力。这要求研究人员找到有效合作的方式,同时分割出适合他们特定兴趣和技能的问题。你学会了以不同的方式成为团队合作者——不仅仅是合作写一篇论文,而是将你的工作整合到一个更大的研究项目中,在那里你的贡献可能促成其他人的突破或直接影响产品。
两种模式没有哪种天生优越。学术界的自由允许高风险、高回报的基础研究,这些研究可能没有明显的应用——各种惊人的发现都来自于这种开放式的基础研究。相反,工业界的资源和协作结构使我们能够解决单个学术实验室不可能达到规模的问题。这些天,我花了很多时间思考神经科学的未来,并考虑哪种模式对哪些问题最有效。
如果一个读这篇文章的学生想从事神经科学和AI交叉领域的工作——特别是来自非传统或弱势背景的人——你会给他们什么建议?
我永远不会假装神经科学或AI很容易。你最好做好准备。我也不会假装竞争环境是公平的。来自传统背景的人通常有系统性优势:他们了解机构机制如何运作,他们有继承的网络,他们通常没有同样水平的个人或家庭不稳定需要在建立职业生涯时去应对。承认这一点只是认清现实。
我的建议是不要试图隐藏你来自哪里或假装你不是你,但也不要让你的背景成为你的全部身份。很长一段时间,我的选择——你的选择可能不同——是保持我的个人历史私密,直到我站稳脚跟。你不仅仅是“来自弱势背景的那个人”。你是一个有特定天赋、技术技能、兴趣和想法的人。用这些来引领。
但当你需要帮助时不要害怕寻求帮助——真的。对于我们这些在机构或高度混乱环境中长大的人来说,某些根深蒂固的生存机制在成年后可能变得主动病理化。例如,我花了多年时间坚信我生活中的成年人只是监护人,我面临的任何问题都只能由我自己解决。如果我早点认识到寻求帮助不是自给自足的失败,而是在复杂世界中导航的必要策略,我本可以避免大量不必要的痛苦和挫折。
最重要的是,找到你的人群。老实说,我不认为我做过任何一件有价值的事情不涉及与他人的深度和持续合作。我非常幸运地找到了像Larry、Krishna和Bill这样的导师,我对他们感激不尽。当你找到你的导师时,允许自己足够脆弱,让他们帮助你。
你的回忆录《涌现》将于3月出版。你希望神经科学家们特别从中获得什么?
我为这本书感到非常自豪,我希望我的同事们会发现它是一本好读的书。正如任何被深入审视的生活一样,我相信对于寻找的人来说有可以找到的洞见。但说实话,我写这本书不是为了就神经科学提出一个宏大的观点,也不是为了有意激励下一代科学家。我只是一个从一些疯狂环境中幸存下来、最终以思考大脑为生的人。在写这本书的过程中,主线变得清晰:是“涌现”的主题——既在我研究的神经网络中,也在生活中。
网上配资炒股门户
淘配网提示:文章来自网络,不代表本站观点。