图灵奖系列 · DoggyDad 原创

Judea Pearl:他用数学撕开了"相关"与"因果"的迷雾

Judea Pearl:他用数学撕开了"相关"与"因果"的迷雾

ANSWER-FIRST SUMMARY

本文回答什么问题

Judea Pearl:他用数学撕开了"相关"与"因果"的迷雾

  • 主题分类:图灵奖系列
  • 关键词:图灵奖、计算机历史、算法、人工智能
  • 人物实体:Judea Pearl

图灵奖第四十六届(2011)| Judea Pearl:他用数学撕开了”相关”与”因果”的迷雾

一句话概括:当整个世界都在用”大数据找相关性”时,Pearl站出来说:“相关不是因果!“他发明的贝叶斯网络让AI能推理不确定性,do-演算让我们能计算反事实——从”吸烟与肺癌相关”到证明”吸烟导致肺癌”,Pearl给了我们数学的语言。

🏆 获奖简介

Judea Pearl(朱迪亚·珀尔,1936-)是概率推理和因果推理的革命者,贝叶斯网络的发明人

  • 出生时间:1936年9月4日
  • 出生地点:以色列特拉维夫(时为英属巴勒斯坦托管地)
  • 主要成就:贝叶斯网络、因果图模型、do-演算、反事实推理框架
  • 获奖年份:2011年
  • 获奖原因:通过开发基于概率和因果推理的演算法,在人工智能领域做出了根本性贡献

为什么他是第四十六位? 在Pearl之前,AI主要依靠规则和逻辑——确定性的世界。但现实充满不确定性:天气预报、医疗诊断、经济预测。1980年代,Pearl提出贝叶斯网络,用有向图表示变量间的概率依赖关系,让AI第一次能高效处理不确定性推理。更革命性的是,1990年代他转向因果推理,提出do-演算和结构因果模型(SCM),回答”如果我做X,会发生什么?“的问题——这不是统计相关性能回答的。Pearl的工作打破了统计学一百年来的”相关不等于因果”的教条,给出了从观测数据推导因果关系的数学方法。今天,从Google的广告推荐到医学临床试验,从经济政策评估到自动驾驶决策,因果推理无处不在。Pearl不只是技术创新者,更是哲学革命者——他改变了我们理解世界的方式。

🚀 重大贡献

1. 贝叶斯网络:概率推理的革命

时代背景(1980年代):

  • AI的困境
    • 专家系统用规则(IF-THEN),但处理不确定性困难
    • MYCIN的确定性因子(CF)是临时方案,缺乏理论基础
    • 复杂系统的概率计算指数爆炸(n个变量需要2^n个概率值)
  • 贝叶斯概率
    • 理论上完美(贝叶斯定理、条件独立性)
    • 但计算上不可行(联合概率分布太大)

Pearl的突破(1985-1988): 提出贝叶斯网络(Bayesian Networks,也称信念网络 Belief Networks)。

贝叶斯网络的核心思想

定义

  • 有向无环图(DAG):节点代表随机变量,边代表直接因果或依赖关系
  • 局部概率表:每个节点只需给出条件概率 P(X | Parents(X))
  • 条件独立性:变量在给定父节点后,与非后代独立

威力

  • 大幅减少参数:原本需要2^n个参数,现在只需 O(n·2^k),其中k是最大父节点数(通常k << n)
  • 高效推理:利用图的结构,避免不必要的计算

例子:医疗诊断

场景

  • 疾病:肺癌(C)、肺结核(T)
  • 症状:咳嗽(Co)、呼吸困难(Dy)、胸部X光异常(Xray)
  • 风险因素:吸烟(S)

贝叶斯网络结构

     吸烟(S)

    肺癌(C)    肺结核(T)
      ↓  ↘     ↙  ↓
      ↓    X光(Xray)  ↓
      ↓          ↓
    咳嗽(Co) ← 呼吸困难(Dy)

概率表

  • P(S) = 0.3(30%人吸烟)
  • P(C | S) = 0.1, P(C | ¬S) = 0.01(吸烟增加肺癌风险)
  • P(Xray | C, T) = …(肺癌或肺结核都可能导致X光异常)

推理任务

  1. 预测:如果知道吸烟,肺癌概率多少?
    • P(C | S) = 0.1
  2. 诊断:如果X光异常,肺癌概率多少?
    • P(C | Xray=异常) = ?(用贝叶斯定理反向推理)
  3. 解释冲突:如果X光异常+咳嗽,但后来确诊肺结核,那肺癌概率下降(explaining away效应)

推理算法

Pearl的贡献

  1. 消息传递算法(Message Passing / Belief Propagation):

    • 对于树形或多树结构,精确推理,多项式时间
    • 节点向邻居发送”信念消息”,迭代更新
  2. 变量消除(Variable Elimination):

    • 利用条件独立性,按顺序消除变量
    • 复杂度取决于图的”树宽”(treewidth)
  3. 近似推理

    • 当精确推理NP难时(一般DAG),使用采样或变分方法

影响

理论意义

  • 统一框架:将概率论、图论、算法结合
  • 条件独立性的图形化表示,让直觉和数学结合

实践应用

  • 医疗诊断:微软的诊断系统、医疗决策支持
  • 故障检测:NASA用于航天器诊断
  • 语音识别:HMM(隐马尔可夫模型)是特殊的贝叶斯网络
  • 垃圾邮件过滤:朴素贝叶斯分类器
  • 基因网络:生物信息学中的基因调控网络

2. 因果推理:从相关到因果的飞跃

动机(1990年代):

  • 贝叶斯网络的局限:只能表示观测数据的相关性,不能回答因果问题
  • 统计学的困境:“相关不等于因果”成为口号,但如何从数据推导因果?
  • 科学的本质:科学追求因果解释,而非仅仅预测

Pearl的野心

“我们需要一种数学语言,能够表达和计算因果关系。“

因果图模型(Causal Diagrams)

关键区别

  • 贝叶斯网络:边表示”概率依赖”,P(Y | X) ≠ P(X | Y)
  • 因果图:边表示”因果关系”,X → Y 表示”X导致Y”

例子

吸烟 → 肺癌 → 咳嗽
  • 意义:吸烟导致肺癌,肺癌导致咳嗽
  • 不仅仅是统计相关,而是因果机制

do-演算:干预的数学

观测 vs. 干预

  • 观测(Observation):P(Y | X=x)
    • “看到X=x时,Y的概率分布”
    • 例子:看到吸烟的人,肺癌率是多少?
  • 干预(Intervention):P(Y | do(X=x))
    • “如果我们强制X=x(如禁烟),Y的概率分布”
    • 例子:如果让所有人戒烟,肺癌率会降低多少?

关键区别

  • P(肺癌 | 吸烟):观测到吸烟人群的肺癌率(可能混杂:吸烟者也许本身更不健康)
  • P(肺癌 | do(吸烟)):如果随机让一半人吸烟,一半人不吸,肺癌率差异(因果效应)

do-演算的三大规则: Pearl提出三条规则,可以从观测数据P(V)和因果图G,推导干预分布P(Y | do(X)):

  1. 插入/删除观测(Insertion/deletion of observations)
  2. 动作/观测交换(Action/observation exchange)
  3. 插入/删除动作(Insertion/deletion of actions)

(数学形式复杂,但本质是”在满足某些图条件时,干预可以转化为条件概率”)

意义

  • 不需要做实际实验(伦理或成本限制),就能从观测数据估计因果效应
  • 前提:知道因果图结构(或从数据学习)

混杂因子与后门准则

混杂(Confounding):

  • 第三个变量Z同时影响X和Y,导致X和Y相关,但X不一定导致Y
  • 例子
    基因 → 吸烟
    基因 → 肺癌
    
    • 如果某基因既增加吸烟倾向,又增加肺癌风险
    • 观测到吸烟和肺癌相关,但部分是基因导致,不完全是吸烟导致肺癌

后门准则(Backdoor Criterion):

  • 如果我们观测到足够的变量集合Z,“阻断”所有从X到Y的”后门路径”(通过混杂变量)
  • 那么可以通过调整Z,消除混杂,估计真实因果效应:
    P(Y | do(X=x)) = Σ_z P(Y | X=x, Z=z) P(Z=z)
    

前门准则(Frontdoor Criterion):

  • 当无法直接观测混杂因子时,通过中介变量推导因果

实用价值

  • 流行病学:设计观察性研究时,控制哪些变量能消除混杂?
  • 经济学:政策评估时,如何消除”选择偏差”?

反事实推理(Counterfactual Reasoning)

问题

  • “如果我当初选择了另一个专业,现在会怎样?”
  • “如果这个病人没有服药,他会康复吗?”

挑战

  • 我们只能观测到现实(factual),无法观测反事实(counterfactual)

Pearl的结构因果模型(SCM)

  • 用方程定义因果机制:
    Y = f_Y(X, U_Y)
    X = f_X(U_X)
    
    • X, Y是变量
    • U是外生的”噪声”或不可观测因素
    • f是因果函数

反事实的计算

  1. 溯因(Abduction):从观测数据推断U的值
  2. 行动(Action):修改方程(如设置X=x’)
  3. 预测(Prediction):计算新的Y值

例子

  • 观测:某人吸烟20年,得了肺癌
  • 反事实问题:如果他不吸烟,会得肺癌吗?
  • 计算
    1. 根据他的其他特征,推断他的”体质”(U)
    2. 假设他不吸烟,用因果模型计算肺癌概率
    3. 如果概率低,说明吸烟是他肺癌的主要原因

应用

  • 法律:某行为是否是损害的”实际原因”(actual cause)?
  • 公平性:算法决策中的”个体因果公平”
  • 责任归因:事故中谁该负责?

3. 因果推理的三层阶梯

Pearl的框架(《为什么》一书): 因果推理有三个层次,依次需要更强的信息:

第一层:关联(Association)

  • 问题:“看到X时,Y的概率多少?”
  • 数学:P(Y | X)
  • 例子:看到吸烟的人,多少比例得肺癌?
  • 来源:观测数据(统计学的领域)
  • 能力:预测,但不能回答因果

第二层:干预(Intervention)

  • 问题:“如果我做X,Y会怎样?”
  • 数学:P(Y | do(X))
  • 例子:如果让他戒烟,肺癌风险会降低多少?
  • 来源:随机对照试验(RCT)或因果图 + 观测数据
  • 能力:预测干预的效果,指导决策

第三层:反事实(Counterfactuals)

  • 问题:“如果当初我做了X’(而非X),Y会怎样?”
  • 数学:P(Y_{X’} | X, Y)(在观测到X和Y的情况下,如果X是X’,Y的分布)
  • 例子:这个病人服药后死亡,如果他不服药,会死吗?
  • 来源:结构因果模型(SCM)
  • 能力:归因、责任判定、个性化决策

关键洞察

  • 更高层次不能由更低层次推导(需要额外信息)
  • 统计学(第一层)无法回答因果问题(第二、三层)

4. 因果发现:从数据学习因果图

挑战

  • do-演算假设我们知道因果图
  • 但实际中,因果图往往未知
  • 问题:能否从数据自动学习因果结构?

Pearl及其合作者的贡献

IC算法(Inductive Causation)

  • 基于条件独立性测试
  • 如果X和Y在给定Z后独立,排除某些因果结构
  • 局限:只能学到”等价类”(某些图无法区分)

PC算法(Peter-Clark)

  • 由Pearl的学生Spirtes和Glymour开发,基于Pearl的思想
  • 从完全图开始,逐步删除边
  • 使用条件独立性测试判断是否删除

非高斯性和非线性

  • 如果假设非高斯噪声或非线性因果机制
  • 可以唯一识别因果方向(如LiNGAM算法)

实际应用

  • 基因调控网络:从基因表达数据推断调控关系
  • 神经科学:从脑成像数据推断脑区间的因果连接
  • 经济学:从宏观经济数据推断因果结构

5. 因果推理在AI中的应用

可解释AI

  • 问题:深度学习是”黑盒”
  • 因果视角:解释 = 回答”为什么”(因果问题)
  • 方法
    • 识别模型中的因果机制
    • 反事实解释:“如果输入不同,输出会怎样?“

迁移学习与域适应

  • 问题:模型在训练数据上好,但新环境下失效
  • 因果视角
    • 相关性在不同环境下变化(spurious correlation)
    • 因果关系更稳定
  • 方法:学习因果不变特征

强化学习

  • 问题:如何从经验中学习因果策略?
  • 因果视角
    • 区分状态的相关性和因果性
    • 反事实推理:评估”如果采取不同行动,会怎样”

公平性

  • 问题:算法决策中的歧视(如贷款审批中的种族偏见)
  • 因果视角
    • 关联公平性:P(Y | 种族) ≈ P(Y)(不够,因为可能通过代理变量歧视)
    • 因果公平性:P(Y | do(种族)) ≈ P(Y)(更严格,但可能过度限制)
    • 反事实公平性:个体在不同种族下的结果应相同

🌍 对世界的深远影响

对科学研究的影响

医学与流行病学

观察性研究的因果推断

  • 不能随机分组时(如吸烟、基因),如何确定因果?
  • Pearl的框架:
    • 绘制因果图(专家知识 + 数据)
    • 识别需要控制的混杂因子
    • 用调整公式估计因果效应

具体应用

  • 疫苗效果评估:在无法随机对照时,估计疫苗的真实效果
  • 药物副作用:区分药物的因果效应和相关性
  • 健康政策:评估禁烟令、健康教育的因果影响

经济学与社会科学

工具变量与自然实验的因果解释

  • 经济学长期用”工具变量”消除内生性
  • Pearl的图形框架提供了直观解释

政策评估

  • 教育政策:小班教学是否提高成绩?(可能混杂:好学校更可能小班)
  • 福利政策:最低工资是否增加失业?(因果 vs. 相关)
  • 2021年诺贝尔经济学奖:Card、Angrist、Imbens因”因果推断方法”获奖,深受Pearl影响

心理学与认知科学

因果认知

  • 人类如何学习和推理因果关系?
  • Pearl的理论为实验提供了形式化框架

因果归因

  • 人如何解释事件的原因?(归因理论)
  • 反事实思维的神经基础

对工业界的影响

互联网公司

A/B测试的理论基础

  • Google、Facebook、亚马逊等公司每天运行数千个A/B测试
  • Pearl的框架:理解什么时候A/B测试给出因果效应,什么时候有混杂

推荐系统的因果优化

  • 传统:最大化点击率(相关性)
  • 因果:最大化用户长期满意度(因果效应)
  • 例子:YouTube减少”推荐极端内容”(短期点击高,长期用户流失)

医疗AI

诊断系统

  • 不只预测”这是什么病”,还回答”为什么得这个病”
  • 反事实:如果早治疗,会怎样?

个性化医疗

  • 不同病人对同一治疗的因果效应不同
  • 反事实推理:预测这个病人的最佳治疗

自动驾驶

决策与规划

  • 不只预测其他车会怎么走(关联)
  • 还要推理”如果我这样做,他们会怎么反应”(因果)

责任判定

  • 事故后,谁的行为是”实际原因”?

对法律与伦理的影响

法律因果

  • 实际原因(Actual Cause):Pearl用结构方程定义
  • 案例:医疗事故中,医生的疏忽是否是死亡的原因?

算法公平性

  • 反歧视法:如何定义”歧视”?
    • 传统:结果不平等(关联)
    • 因果:是否因为受保护特征导致不利结果(因果)
  • Pearl的框架提供了数学定义

🏆 获奖理由(通俗版)

ACM官方表彰:“通过开发基于概率和因果推理的演算法,在人工智能领域做出了根本性贡献。”

更通俗的理解

贝叶斯网络

  • 问题:AI如何处理不确定性?(天气预报、医疗诊断都充满不确定性)
  • Pearl的答案:用图表示变量间的依赖关系,利用结构高效计算概率
  • 类比:像电路图简化了电学计算,贝叶斯网络简化了概率计算
  • 影响:从垃圾邮件过滤到语音识别,概率推理无处不在

因果推理

  • 问题:AI如何理解”为什么”?如何预测干预的效果?
  • Pearl的答案:用因果图 + do-演算,将因果问题转化为可计算的数学
  • 类比:像微积分让物理学定量化,do-演算让因果推理定量化
  • 影响:从医疗试验到经济政策,因果推理改变了决策方式

为什么重要: 在大数据时代,人们容易被相关性误导(“冰淇淋销量和溺水事故相关,所以禁止冰淇淋?”)。Pearl教会我们:相关不是因果,真正的理解需要因果推理。他的工作不只是技术突破,更是思维革命。

👤 个人生平与传奇

早年(1936-1960)

童年与家庭

  • 1936年:出生于特拉维夫(当时是英属巴勒斯坦)
  • 家庭背景:波兰犹太移民家庭
  • 成长环境:以色列建国初期(1948年独立)

教育

  • 1956:以色列理工学院(Technion)电气工程学士
  • 1961:美国新泽西理工学院电气工程硕士
  • 1965:美国布鲁克林理工学院(现NYU-Poly)电气工程博士
    • 论文:超导体和实时系统

学术生涯(1965-现在)

早期职位

  • 1965-1969:RCA研究实验室
    • 做超导存储器研究
    • 逐渐对AI产生兴趣

加入UCLA

  • 1969:加州大学洛杉矶分校(UCLA)计算机科学系助理教授
  • 1979:副教授
  • 1988:正教授
  • 至今:仍在UCLA,年近90岁仍活跃

研究方向的转变

第一阶段(1970年代):启发式搜索

  • 研究A*算法及其变体
  • Pearl证明了A*的最优性
  • 发表《Heuristics: Intelligent Search Strategies》(1984)

第二阶段(1980年代):概率推理

  • 1982年左右,Pearl意识到AI需要处理不确定性
  • 开始研究贝叶斯推理
  • 1988年出版《Probabilistic Reasoning in Intelligent Systems》(贝叶斯网络的”圣经”)

第三阶段(1990年代-至今):因果推理

  • 1990年代初,Pearl感到贝叶斯网络的局限:“只有相关性,没有因果”
  • 决定挑战统计学的禁忌:“从数据推导因果”
  • 1995年出版《Causal Inference in Statistics: A Primer》
  • 2000年出版《Causality: Models, Reasoning, and Inference》(因果推理的”圣经”)
  • 2018年出版《The Book of Why》(面向大众的科普书,成为畅销书)

个人悲剧与社会活动

儿子Daniel Pearl

  • 1963年出生,成为《华尔街日报》记者
  • 2002年在巴基斯坦调查恐怖主义时被绑架并杀害
  • 事件震惊全球

Pearl的反应

  • 悲痛但没有被击垮
  • 创建”Daniel Pearl基金会”,促进跨文化对话
  • 继续学术工作,将对儿子的爱转化为和平事业

影响Pearl的因果研究

  • Pearl曾说:理解”为什么”比理解”是什么”更重要
  • 他对因果的执着,部分源于对”为什么会发生这种悲剧”的追问

荣誉与奖项

  • 2008:Benjamin Franklin Medal(富兰克林奖)
  • 2011:图灵奖
  • 2012:Harvey Prize(以色列科技最高奖)
  • 2022:IJCAI卓越研究奖(终身成就)

性格与风格

哲学家气质

  • Pearl不只关心技术,更关心哲学问题:“什么是因果?”
  • 他的书充满哲学思辨

跨学科视野

  • 与统计学家、经济学家、社会学家、哲学家对话
  • 常常挑战传统(如统计学界的”相关不等于因果”教条)

争议性

  • Pearl的因果理论遭到一些统计学家的抵制(如”潜在结果框架”的支持者)
  • 但Pearl从不回避争论,写了大量回应文章

写作风格

  • 清晰、直接、充满热情
  • 《The Book of Why》用第一人称,讲述思想历程

教学与指导

  • Pearl培养了大量博士生,很多成为因果推理领域的领军人物
  • 他的课”充满启发,但也充满挑战”

传奇故事

贝叶斯网络的命名

  • 1980年代,Pearl开发出这一框架
  • 起初叫”信念网络”(Belief Networks)
  • 一些统计学家反对,认为”贝叶斯”是脏字(当时频率主义占主导)
  • Pearl坚持改名为”贝叶斯网络”,部分是为了向贝叶斯致敬,部分是挑衅

与统计学界的”战争”

  • 1990年代,Pearl提出从观测数据推导因果
  • 许多统计学家认为这不可能或不科学
  • 一场学术争论持续了十多年
  • 如今,因果推理已成为统计学主流

图灵奖演讲

  • 2012年,Pearl在图灵奖颁奖典礼上说:

    “我们需要教会机器提问’为什么’。只有理解因果,AI才能真正智能。”

💭 为什么他值得纪念?

1. 他让AI能处理不确定性

在Pearl之前

  • 专家系统用确定性规则
  • 无法优雅地处理概率

在Pearl之后

  • 贝叶斯网络成为概率推理的标准框架
  • 从天气预报到医疗诊断,概率AI无处不在

2. 他打破了”相关不等于因果”的僵局

困境

  • 科学追求因果解释
  • 但统计学说”相关不等于因果”
  • 那因果从哪来?只能做实验?

Pearl的答案

  • 用因果图表示假设(背景知识)
  • 用do-演算从观测数据推导干预效应
  • 给出了从观测到因果的桥梁

3. 他的工作跨越多个学科

影响领域

  • 计算机科学(AI)
  • 统计学(因果推断)
  • 流行病学(观察性研究)
  • 经济学(工具变量、自然实验)
  • 哲学(因果的本质)
  • 法律(实际原因)
  • 社会科学(政策评估)

罕见的影响力

  • 大多数图灵奖得主影响计算机科学
  • Pearl影响了整个科学界对因果的理解

4. 他在90多岁仍在思考和写作

持续创新

  • 2018年,82岁时出版《The Book of Why》
  • 2022年,86岁时仍发表论文
  • 关注AI伦理、公平性等新问题

启示

  • 智力的衰退不是必然
  • 对根本问题的好奇心可以终身保持

5. 他将个人悲剧转化为积极力量

儿子的去世

  • 可能击垮一个人
  • Pearl选择继续工作,促进和平

精神力量

  • 面对人生最大的痛苦,仍能保持理性和创造力
  • 对”为什么”的追问,不只是学术问题,也是个人问题

🔍 技术深度:do-演算的数学

三大规则

符号

  • P(Y | do(X), Z):在干预X且观测到Z的情况下,Y的分布
  • G_X:图G中删除所有指向X的边
  • G_X:图G中删除所有从X出发的边

规则1:插入/删除观测

P(Y | do(X), Z, W) = P(Y | do(X), W)  如果 (Y ⊥ Z | X, W) 在 G_X 中
  • 如果Z在干预后与Y独立(给定X和W),可以忽略Z

规则2:动作/观测交换

P(Y | do(X), do(Z), W) = P(Y | do(X), Z, W)  如果 (Y ⊥ Z | X, W) 在 G_XZ
  • 如果Z的干预可以转化为观测

规则3:插入/删除动作

P(Y | do(X), do(Z), W) = P(Y | do(X), W)  如果 (Y ⊥ Z | X, W) 在 G_XZ(W)
  • 如果Z的干预对Y无影响,可以删除

后门调整公式

定理: 如果变量集合Z满足后门准则(阻断所有X到Y的后门路径,且Z中没有X的后代),则:

P(Y | do(X=x)) = Σ_z P(Y | X=x, Z=z) P(Z=z)

例子

基因(Z) → 吸烟(X)
基因(Z) → 肺癌(Y)
吸烟(X) → 肺癌(Y)
  • Z(基因)是混杂因子
  • 后门准则:调整Z
  • P(肺癌 | do(吸烟)) = Σ_z P(肺癌 | 吸烟, 基因=z) P(基因=z)

🧪 实践意义:因果推理工具

软件工具

DoWhy(微软)

  • Python库,实现Pearl的do-演算
  • 自动识别因果效应的可识别性
  • 估计因果效应,进行敏感性分析

CausalML(Uber)

  • 机器学习驱动的因果推断
  • 用于A/B测试和推荐系统

daggity

  • 在线工具,绘制因果图
  • 自动分析混杂因子和可识别性

应用场景

医疗决策

问题:新药是否有效?

传统方法:随机对照试验(RCT)

  • 成本高,时间长,有时不道德

因果推断方法

  • 从电子病历等观测数据
  • 绘制因果图(疾病、治疗、混杂因子)
  • 用后门调整公式估计治疗效果

实例

  • FDA开始接受基于因果推断的”真实世界证据”(Real-World Evidence)

经济政策评估

问题:最低工资是否增加失业?

挑战

  • 提高最低工资的地区可能本身经济好/差(混杂)

因果方法

  • 工具变量:利用政治因素作为外生变异
  • 或用Pearl的图形方法识别混杂

案例

  • Card和Krueger的经典研究(用因果方法发现最低工资对就业影响不大,挑战传统理论)

推荐系统的去偏

问题

  • 用户点击数据有”选择偏差”(只能看到推荐的内容)
  • 模型学到的是相关性,不是用户真实偏好(因果)

因果方法

  • 将推荐看作”干预”
  • 用反事实推理估计”如果推荐其他内容,用户会喜欢吗”
  • 去偏后的模型更鲁棒

公司应用

  • Netflix、YouTube等使用因果推理优化推荐

📚 延伸阅读

Pearl的著作

  • 《Causality: Models, Reasoning, and Inference》 (2000, 2009修订)

    • 因果推理的”圣经”,数学严格
  • 《The Book of Why: The New Science of Cause and Effect》 (与Dana Mackenzie合著, 2018)

    • 面向大众的科普书,讲述因果革命的故事
    • 中文版《为什么:因果关系的新科学》
  • 《Causal Inference in Statistics: A Primer》 (与Madelyn Glymour、Nicholas Jewell合著, 2016)

    • 教科书,适合初学者

相关书籍

  • 《Probabilistic Reasoning in Intelligent Systems》 (Pearl, 1988)

    • 贝叶斯网络的经典著作
  • 《Elements of Causal Inference》 (Peters, Janzing, Schölkopf, 2017)

    • 机器学习视角的因果推理
  • 《Causal Inference: What If》 (Hernán, Robins, 2020)

    • 流行病学视角的因果推断,免费在线

在线资源

  • Pearl的UCLA主页:论文、讲座视频
  • Causal AI Lab:因果推理的最新研究
  • Coursera: A Crash Course in Causality:因果推断入门课程

🌟 精神遗产

”AI需要理解’为什么’”

Pearl始终坚持:

“真正的智能需要因果理解,而非仅仅模式识别。”

对当前AI的启示

  • 深度学习强于模式识别(关联)
  • 但弱于因果推理
  • 下一代AI需要结合两者

”不要被相关性迷惑”

在大数据时代,人们容易被”虚假相关”误导:

  • “睡在鞋里与头痛相关”(混杂因子:喝醉酒)
  • “冰淇淋销量与溺水事故相关”(混杂因子:夏天)

Pearl的教诲

  • 相关性是线索,但不是答案
  • 必须用因果图分析

”挑战权威,追求真理”

Pearl挑战了统计学一百年的教条:“不能从观测推因果”

勇气

  • 他在60岁左右(1990年代)开始这一”冒险”
  • 面对权威的质疑,坚持己见
  • 最终被证明是对的

启示

  • 不要因为”一直都这样”就接受现状
  • 真理可能需要打破常规

”将个人经历转化为普遍意义”

Pearl的儿子被恐怖分子杀害,这是个人悲剧。但他将对”为什么”的追问,从个人扩展到科学:

  • 为什么世界上有仇恨和暴力?
  • 如何防止悲剧重演?
  • 因果推理能否帮助我们理解社会问题?

人文关怀

  • 技术不只是技术,还承载着人类的希望
  • 科学可以是疗愈的工具

总结语:Judea Pearl用数学语言重新定义了”因果”。在他之前,“相关不等于因果”是统计学的口头禅,但如何从相关推导因果,没人知道。Pearl用贝叶斯网络给了AI处理不确定性的工具,用do-演算和因果图给了科学家从数据推导因果的钥匙。他的工作不只是计算机科学的突破,更是人类理解世界方式的革命。

从医疗诊断到经济政策,从推荐系统到自动驾驶,因果推理正在改变每一个领域。Pearl在近90岁高龄仍在思考和写作,探索因果在AI伦理、公平性中的应用。他的一生证明:真正的智慧不在于记住多少事实,而在于理解事物”为什么”如此。在AI突飞猛进但常常”知其然不知其所以然”的今天,Pearl的声音提醒我们:不要满足于预测,要追求理解;不要被相关性迷惑,要探寻因果的真相。


最后更新: 2024年12月 本文为图灵奖系列文章,旨在以通俗方式介绍计算机科学先驱的贡献

DISCUSSION

评论与补充