第一传奇：最早人工神经元模型创立人Walter Pitts

寂静回声

在第一传奇：控制论的开山鼻祖Norbert Wiener
http://11.jixietop.site/forum.ph ... 326&fromuid=779
文中写道

1952 年，Norbert Wiener与Warren McCulloch和Walter Pitts之间发生了一场决裂。

Warren McCulloch和Walter Pitts也绝非等闲之辈，他俩共同建立了最早的人工神经元模型，

Walter Pitts，1925年生于底特律穷人区。父亲是一名锅炉制造工人，习惯用拳头解决问题。父亲希望儿子辍学去工作，但年轻的皮茨却躲进当地图书馆以躲避欺凌者，并阅读关于希腊语、拉丁语和梵语的书籍。他尤其痴迷于数理逻辑，这与他混乱的生活形成了鲜明的对立。
15岁那年，Pitts用三天的时间一页不漏地读完了伯特兰·罗素（Bertrand Russell）和Alfred Whitehead合著的《数学原理》三册。看完之后，他还从里面挑出了一些错误，写了一封信寄给了罗素本人。

罗素回信了，他不仅回了信，还在信里邀请皮茨来剑桥读他的研究生，这时的皮茨连高中都还没上。
由于家庭因素，Pitts没能去成剑桥成为罗素的学生，但是罗素的回信促使皮茨决心成为一个数学和逻辑学家。

之后选择永远离开自己毫无留恋的“家”，只身前往芝加哥寻找属于自己的天地。

“芝漂”的Pitts，没有高中文凭，没有学生身份，靠打短工为生，但是这些既不能磨灭他追求学术的决心，也掩盖不了他耀眼的天才光环。
比如，Pitts曾经径直走进著名哲学家Rudolph Carnap的办公室，没经过任何自我介绍，拿着一本Rudolph Carnap的著作《Philosophy and Logical Syntax》，开门见山地说：“来，我跟你讲讲你哪里写的不对。”说完就扬长而去。让可怜的Carnap教授在芝加哥大学奔走了几十天，就为了找到那个“懂逻辑的报童”。找到后，Carnap教授为Pitts争取到了大学里一份卑微的工作，并安排他跟随自己学习。
Pitts掌握了Carnap抽象的逻辑学体系，随后接触并被俄罗斯数学物理学家Nicolas Rashevsky的研究所吸引。Rashevsky当时也在芝加哥大学，他是数理生物学的创始人，主张依据自然科学和数理逻辑的结构来重塑生物学。Pitts还与数学家Alston Scott Householder密切合作，后者是Rashevsky研究小组的成员。在跟随Carnap学习期间，Pitts还经常参加Nicolas Rashevsky举办的理论生物学研讨会，参会者包括Frank Offner、Herbert Landahl以及来自伊利诺伊大学芝加哥分校的神经解剖学家Gerhardt von Bonin。
1940年，von Bonin将Jerome Lettvin引荐给了Warren McCulloch，后者后来成为伊利诺伊大学的精神病学教授。
就是在这些课上，他认识了年轻的医学生Jerome Lettvin，在他的引荐下，18岁的Pitts认才得以与Warren McCulloch相识。

当他们开始交谈时，立刻意识到彼此拥有一位共同的精神偶像：戈特弗里德·莱布尼茨。这位17世纪的哲学家曾试图创造一种“人类思想字母表”，其中的每个字母代表一个概念，并可以根据一套逻辑规则进行组合和操作，从而计算出所有知识。

1925年，Walter Pitts出生的那一年，25岁的Warren McCulloch也在研读《数学原理》。
然而，两人的相似之处仅此而已，McCulloch出身于一个与Pitts截然不同的世界。
他出生在一个富裕的东海岸家庭，家族成员包括律师、医生、神学家和工程师。
McCulloch曾在纽约州的一所私立男子学院就读，随后在宾夕法尼亚州的哈弗福德学院学习数学，接着又在耶鲁大学攻读哲学和心理学。
1923年，他在哥伦比亚大学研究“实验美学”，并即将获得神经生理学医学学位。
但McCulloch骨子里是一位哲学家，他渴望探究认知的本质。
当时，弗洛伊德刚刚出版了《自我与本我》，精神分析学风靡一时。
McCulloch并不买账，他坚信，心智那神秘莫测的运作机制及其缺陷，归根结底源于大脑神经元纯粹机械性的放电活动。

与Pitts相识时，McCulloch自信满满，灰眸深邃，络腮胡肆意生长，常年烟不离手，身上兼具哲学家的睿智与诗人的浪漫，日常靠威士忌和冰淇淋度日，从不在凌晨4点前入睡。而18岁的Pitts身材瘦小、性格腼腆，额头偏长显得比实际年龄苍老，戴着眼镜的脸庞矮胖，模样有些像鸭子。McCulloch已是受人尊敬的科学家，Pitts却只是个无家可归的逃家少年。
McCulloch的家庭是一个热闹的、思想自由的波希米亚家庭，芝加哥的知识分子和文学精英经常到聚在这里，一起讨论音乐、文学、诗歌和心理学，而当西班牙内战盟歌从留声机中响起时，他们也会探讨一些激进的政治问题。

Warren McCulloch是神经生理学家和控制论的创始人之一，他受过出色的跨学科教育，学习了神学、哲学、心理学和数学物理，还获得了纽约内科和外科医生学院的医学博士学位。
他在计算和生物计算机方面进行了开创性研究，并在神经结构和功能、生物精神病学、化学战和空间生物学方面进行了基础研究。然而，他的根本兴趣在于生理学(包括知觉)和思想之间的关系。在耶鲁大学(1935-1941年)和伊利诺伊大学医学院(1941-1948年)任职后，Warren McCulloch加入了麻省理工学院电子研究实验室，并在那里度过了他的职业生涯。除了主持梅西会议的工作之外，Warren McCulloch在麻省理工学院的基地继续成为建立控制论的主导力量。
为了表彰他早期的工作，特别是他主持的由乔赛亚·梅西基金会主办的会议，Warren McCulloch被宣布为荣誉创始人，并成为美国学会的第一任当选主席。


彼时的McCulloch正在思考一个问题，神经元是如何工作的呢？数学和逻辑天才Pitts的适时出现给了McCulloch最强助力。Pitts将McCulloch的神经网络抽象成了数学模型，提出了阈值逻辑单元（threshold logic units，TLU）这个函数模型来描述神经元，并且用环形的神经网络结构来描述大脑记忆的形成。

这就是著名的McCulloch Pitts（M-P）论文《A Logical Calculus of Ideas Immanent in Nervous Activity》，这篇论文对人工神经网络和人工智能技术具有开创性的意义，TLU也被称为M-P神经元模型，被沿用至今。

今天的我们可以说，McCulloch-Pitts 神经元是构成人工智能基石，是人工神经网络的最早雏形。
现在人工神经网络由大量相互连接的 McCulloch-Pitts 神经元组成，这些网络能够处理不同的输入并产生相应的输出。例如，算术运算、分类问题或逻辑运算都可以通过人工神经网络来解决。
借助这一模型，人类智力的生物学基础开始被逐步理解，计算机科学中也因此诞生了一个全新的领域。此外，我们也可以说，当今广泛应用和不断发展的深度学习模型的“鼻祖”正是 McCulloch-Pitts 神经元。

不过，这篇文章在当时并没有引起很大的轰动，因为论文的相当一部分受众是神经学家，他们并不能完全理解其中的数学模型。

而在当时，直到另一位天才，诺伯特·维纳（Norbert Wiener）出现，才将McCulloch Pitts模型的潜力充分地发掘了出来。

有那么一阵子，他却因为招不到中意的学生而烦恼。就在这时，Lettvin给他推荐了Pitts，自学数学、逻辑学、希腊语和拉丁语并得到罗素和Carnap赏识的天才。维纳和Pitts的初次见面是在维纳MIT的办公室里面。两个人都省去了寒暄的部分，直接切入了正题。维纳把Pitts领到黑板前面，然后自己开始在黑板上推公式，而Pitts很自然地在维纳的推导过程中提出了一些自己的见解。


推完两黑板的公式之后，维纳就决定要留下Pitts。
Pitts无疑是维纳见过的最厉害的年轻人，他认为Pitts将会远超同龄人，成为那个时代全美国、乃至全世界最重要的两三个科学家之一。
在维纳的力保之下，MIT破格录取了既没有高中学历也没有本科学历的Pitts。
于是，Pitts正式成了维纳的博士生，继续神经模型的研究。



Walter Pitts 和维纳的问题是，如何把神经系统看成这样一个逻辑机器呢？考虑到当时对脑神经的粗浅而不确定的认识，维纳和 Pitts 对神经系统的简化是划时代的。
他们把神经元的状态简化为0或1的二进制表示，用一个连接强度的矩阵来标准化神经元之间的相互影响关系，于是在给予一定输入的情况下，McCulloch-Pitts模型将根据这个连接矩阵的状态以及输入，而决定输出是什么。
他们在1943年出版的"A Logical Calculus of the Ideas Immanent in Nervous Activity"是 McCulloch 和 Pitts 最著名的工作。
从控制论角度来讲，McCulloch-Pitts 模型本身就是最早的有限自动机（finite automata）之一。这个工作还提供了神经生理问题的逻辑基础，可以说是最早的计算神经科学成果之一。而这篇文章对于人工智能领域来讲，则是开创性的，神经系统的复杂性被高度抽象，并用数学家和工程师容易理解的语言来描述。

Pitts在麻省理工学院开展研究后逐渐意识到：尽管基因必定会编码大脑的宏观神经特征，但人类基因绝无可能预先决定大脑中数万亿个突触连接。
要实现这一点所需的信息量，根本难以实现。他由此推测，我们每个人刚出生时，大脑本质上都是随机的神经网络，高概率状态所包含的信息量极低（这一观点至今仍存在争议）；随着时间推移，通过调整神经元的放电阈值，随机性或许会让位于有序结构，信息也会随之产生。于是，他着手用统计力学为这一过程建立模型。维纳对此满怀期待，全力支持他。因为维纳清楚，若这样的模型能在机器中实现，那台机器便能具备学习能力。
“如今维纳说的话，我一下子就能理解七分之六——别人告诉我，这已经算得上是一项成就了。”1943年12月，也就是抵达麻省理工约三个月后，Pitts在给McCulloch的信中这样写道。他与维纳合作的研究将成为“首个充分探讨统计力学的研究，这里的统计力学采用最广义的定义，所涵盖的问题包括从神经生理学的微观规律推导出心理学或行为学的统计规律……听起来是不是很棒？”


那个冬天，维纳带Pitts参加了一场他在普林斯顿组织的会议，数学家兼物理学家约翰·冯·诺依曼（John von Neumann）也在场。冯·诺依曼对Pitts的才智同样印象深刻。由此，一个后来被称为“控制论者”的小团体初具雏形，其核心成员包括维纳、Pitts、McCulloch、Jerome Lettvin和冯·诺依曼。在这个精英云集的群体中，Pitts这位曾经的无家可归的离家出走者格外引人注目。“我们中没有一个人会在没有他的修正和认可的情况下发表论文，”McCulloch写道。“[Pitts]毫无疑问是我们这群人中的天才，”Lettvin说。“他在化学、物理学、历史、植物学等任何你能谈论的话题上的学识绝对无人能及。当你问他一个问题时，你会得到一本完整的教科书作为回答……对他来说，世界以极其复杂而美妙的方式相互联系。”
1945年6月，冯·诺依曼撰写了一份具有历史意义的文件，题为《关于EDVAC的报告初稿》，这是存储程序二进制计算机的首次公开描述——即现代计算机的雏形。EDVAC的前身ENIAC占据了费城1800平方英尺的空间，它更像是一台巨大的电子计算器，而非真正的计算机。虽然可以重新编程这台机器，但需要几名操作员花费数周时间重新连接所有的线路和开关才能完成。冯·诺依曼意识到，每次想让机器执行新功能时，未必都需要重新布线。如果你能将每个开关和线路的配置抽象出来，并将其编码为纯信息的符号，你就可以像输入数据一样将这些配置输入计算机，只不过现在的数据包含了处理数据本身的程序。这样一来，无需重新接线，你就能拥有一台图灵通用机。


为了实现这一目标，冯·诺依曼建议以McCulloch 和 Pitts的神经网络为模型来设计计算机。他提议用真空管代替神经元，使其充当逻辑门；
只要按照McCulloch 和 Pitts所发现的方式将它们串联起来，就可以执行任何计算。为了将程序作为数据存储，计算机需要一种全新的部件：内存。
这时，Pitts提出的反馈回路便派上了用场。“一个能够刺激自身的元件将无限期地保持其刺激状态，”冯·诺依曼在报告中写道，这句话呼应了Pitts的观点，并运用了Pitts的模运算数学理论。他在报告中详细阐述了这种新计算架构的各个方面。在整个报告中，他只引用了一篇论文：McCulloch 和 Pitts合著的《逻辑演算》（"A Logical Calculus"）。

从1946年起，Pitts成为梅西会议（Macy conferences）的核心成员之一，该会议的主要目的是为人类心智运作的一般科学奠定基础。
Pitts住在波士顿 Beacon Street 的一间公寓里，室友包括后来被誉为“机器感知之父”的麻省理工学院学生Oliver Selfridge；
未来的经济学家Hyman Minsky（不是Marvin Minsky ）；
以及Lettvin，他在麻省理工学院教授数理逻辑，并与维纳一起研究大脑的统计力学。次年，在第二届控制论会议上，Pitts宣布他正在撰写关于概率三维神经网络的博士论文。在场的科学家们震惊不已。“雄心勃勃”一词几乎不足以形容完成这一壮举所需的数学技巧。然而，所有了解皮茨的人都确信他能做到这一点。大家都在屏息以待。
在给哲学家Rudolf Carnap的一封信中，McCulloch列举了Pitts的成就。“他是科学家和学者中最博杂的一位。他成了一名优秀的染料化学家，也是一位不错的哺乳动物学家；他熟悉新英格兰地区的莎草、蘑菇和鸟类。他通晓神经解剖学和神经生理学，并能直接从希腊语、拉丁语、意大利语、西班牙语、葡萄牙语和德语的原始文献中学习，因为他一旦需要某种语言，就能立刻学会。像电路理论以及电源、照明和无线电电路的实际焊接工作，他都亲力亲为。在我漫长的生涯中，我从未见过如此博学又如此务实的人。”
他极度谦逊，拒绝接受荣誉学位或因其工作而获得的任何其他荣誉。控制论历史学家Steve Joshua Heims写道：“……McCulloch和Pitts所代表的看似不寻常的态度，‘在当今麻省理工学院那些富有创造力的人工智能爱好者和计算机黑客身上得到了回响。因此，McCulloch和Pitts可以被视为一个整个族群的成员，不，甚至是创始人，而不仅仅是高度特立独行的个体。
在会议后期，随着Pitts继续捍卫他对心智逻辑结构的观点，他在批评他人时变得尖锐且固执。他始终致力于纯粹且完整的精神生活，认为这优于与人们建立更复杂关系的生活。然而，他变得越来越孤僻，并且更加专一地依附于McCulloch。
Pitts在McCulloch身上找到了他所需的一切，接纳、友谊、智力上的另一半，以及他从未拥有过的父爱。尽管他在他家居住的时间不长，但这名离家出走者余生都将McCulloch的房子视为家园。就McCulloch而言，他也同样着迷。他在Pitts身上找到了一位志同道合的灵魂伴侣，他的“私酿合作者”，以及一位拥有技术能力将McCulloch那些半成形的构想变为现实的头脑。正如他在给Pitts的推荐信中所写的那样：“愿他能常伴我左右。”
这也为后来维纳与McCulloch发生争执，连带着Pitts一块拉黑埋下了伏笔。

1951年，维纳说服麻省理工学院电子研究实验室副主任Jerome Wiesner聘请了一些神经系统生理学家。一个研究小组由此成立，成员包括Pitts、Lettvin、McCulloch和Pat Wall。Pitts撰写了一篇关于三维连接神经网络特性的长篇论文。Lettvin曾这样评价他：“毫无疑问，他是这个群体中的天才……当你向他提问时，你会得到一整本教科书般的回答。”Pitts终身未婚，Pitts也被描述为性格古怪，拒绝让自己的名字公开。他继续拒绝麻省理工学院提供的所有高级学位或权威职位的邀请，部分原因是这些职位要求他签署自己的名字。
1952 年，维纳与McCulloch和Pitts之间发生了一场决裂。事情的导火索在历史学家中至今争议不一：一种说法是维纳的妻子Margaret对McCulloch怀有强烈敌意，维纳的妻子Margaret Wiener是一个控制欲强、保守且迂腐的人。她厌恶McCulloch对她丈夫的影响。
McCulloch曾在康涅狄格州奥尔德莱姆的家族农场举办狂野的聚会，在那里思想自由奔放，所有人都去裸泳。当McCulloch还在芝加哥时，这还是一件小事；但现在他来到了剑桥，Margaret绝不允许这种情况发生。于是，她编造了一个故事。告诉维纳：当他们的女儿芭芭拉在芝加哥住在McCulloch家时，“他的那些男孩”们引诱了她。维纳立即发了一封愤怒的电报给 Wiesner：“请通知[Pitts和Lettvin]，我与你们项目的联系已永久终止。那是你们的问题。维纳。”；另一种说法涉及 MIT 内部资源与人事纠葛。无论原因如何，结局是确定的：维纳从此再不与McCulloch和Pitts说一句话，再不参加梅西会议，再不踏进他亲手参与组建的那个圈子。
这场决裂对Pitts的打击是毁灭性的，维纳曾在他生命中也扮演了类似父亲的角色，如今却无缘无故地抛弃了他。
对Pitts来说，这不仅仅是一种失去，而是比那更糟糕的事情，这违背了逻辑。
1954年6月，《财富》杂志评选40岁以下最具天赋的20位科学家，Pitts与克劳德・香农（Claude Shannon）、James Watson一同入选。尽管命运多舛，Walter Pitts还是一跃成为了科学界的明星。

当时生物学家普遍认为，眼睛就像一块相片底片，会被动记录光点，再将这些光点逐点传递给大脑，由大脑承担解读信息的主要工作。Lettvin决定验证这一观点：他切开青蛙的颅骨，将电极连接到它们视神经的单根纤维上。

Lettvin与Pitts、McCulloch，以及智利生物学家兼哲学家亨Humberto Maturana开展合作，他们给青蛙施加各种视觉刺激，如调节光线的明暗、展示自然栖息地的彩色照片、用磁铁吊着假苍蝇，然后记录下青蛙眼睛在向大脑传递信息之前，对这些刺激的“感知”。结果令所有人震惊：眼睛不仅会记录所见景象，还会就对比度、曲率、运动等视觉特征信息进行过滤和分析。
1959年，他们在《青蛙的眼睛告诉青蛙的大脑什么》（What the Frog’s Eye Tells the Frog’s Brain）一文中报告了这一发现，如今这篇论文已成为该领域的开创性文献。文中写道：“眼睛以一种高度组织化、经过编码的‘语言’与大脑交流。”
这一结果彻底颠覆了Pitts的世界观，在他此前的认知中，大脑会借助严谨的数理逻辑工具，以数字方式逐个神经元地处理信息；但事实却是，眼睛中混乱的模拟过程承担了至少部分解读工作。Lettvin回忆道：“我们完成青蛙眼睛的研究后，Pitts很清楚，即便逻辑在其中发挥了作用，其重要性和核心地位也远非人们所预期的那样。这让他很失望。Pitts从未承认过这一点，但这似乎让已失去维纳的友谊的他更加绝望。”


Pitts正被他毕生所追寻的“逻辑”本身所困扰，他在信中写道，“这种抑郁或许“在所有接受过极度逻辑化教育、从事应用数学工作的人身上都普遍存在：这是一种悲观情绪，源于无法相信人们所说的‘归纳原理’，或是‘自然齐一性’。既然我们无法先验地证明太阳明天会升起（甚至无法先验地确定其可能性），那我们就无法确信它会升起。”

这一连串的坏消息加剧了Pitts多年来一直与之抗争的抑郁倾向，他在写给McCulloch的一封信中说：“我有一种个人的苦恼，想听听您的建议。我注意到，在过去两三年里，我越来越倾向于一种忧郁、冷漠或抑郁的状态。[这种状态]的效果是使世界上的积极价值似乎消失殆尽，以至于做任何事都显得毫无意义，无论我做些什么或发生在我身上的事情，都变得不再那么重要……”


与维纳疏远后，Pitts开始酗酒，渐渐疏远朋友。当学校为他颁发博士学位时，他拒绝签署相关文件，还一把火烧掉了自己的博士论文，连同所有笔记与研究手稿。多年的心血那项学界众人翘首以盼的重要研究成果被他付之一炬，珍贵的研究资料最终化为熵与灰烬。


Pitts虽然仍受雇于麻省理工学院，但这不过是个形式上的问题。他几乎不与任何人交谈，且经常失踪。“我们一夜接一夜地到处找他，”Lettvin]说，“看着他自己毁掉自己，是一种可怕的经历。”从某种意义上说，Pitts依然像12岁那样。他仍然挨打，仍然是个离家出走者，仍然躲藏在发霉的图书馆里逃避世界。只不过现在，他的书变成了一瓶酒。


1969年4月21日，Pitts的手因酒精性震颤谵妄而颤抖不止。他从波士顿贝斯以色列医院的病房给住在街对面彼得·本特·布里格姆医院心脏重症监护室的McCulloch写了一封信。“听说你患上了轻度冠心病；……你身上连接着许多传感器，这些传感器连着面板和警报器，由护士持续监控，因此你无法在翻身。这无疑是一种控制论式的处境。但这让我感到无比凄惨。”
Pitts自己已经在医院住了三周，因肝脏问题和黄疸入院。
1969年5月14日，Walter Pitts独自死在剑桥的一间寄宿公寓里，死因是食管静脉曲张破裂出血，这是肝硬化的并发症。
四个月之后，Warren McCulloch也去世了，仿佛彼此的存在若缺了对方便不合逻辑一般。