贝叶斯定理和推理

蓬草

贝叶斯定理和推理

蓬草 2024年6月7日

贝叶斯定理是关于随机事件A和B的条件概率的一則定理。

[

                               
登录/注册后可看大图

其中，P(A)是事件A的发生概率，在此定理中被称为先验概率；P(B)是事件B发生的概率；P(A|B)是在事件B发生情况下事件A发生的条件概率，在此定理中被称为后验概率；P(B|A)是在事件A发生情况下事件B发生的条件概率。

如果我们把事件B看作是观察到的结果，贝叶斯定理告诉我们如何去计算事件A（原因）发生的概率的方法（规则）。在我们知道事件B发生后，用P(B|A)/P(B) 这个比值去修正原来对于先验概率P(A)，从而得出后验概率P(A|B) 。换句话说，贝叶斯定理告诉我们如何依据新的事实去修正原有的认知，达到新的认知。

在应用贝叶斯定理时，先验概率P(A)当然是越准确越好。但是在不确知这个概率时，我们可以设想一个先验概率，然后仍应用贝叶斯定理去修正它，得出后验概率。经过越来越多的修正，我们就会逐步趋近正确的答案。这就是贝叶斯推理的认识论意义所在。

贝叶斯定理的应用

贝叶斯定理在统计学和计算机科学中有广泛的应用。下面举几个医学中应用的例子。所采用的数字都是假定的，意在说明其方法。

例一：以冠心病发作的判断来说明条件概率的计算。假定 在内科门诊中：冠心病的概率是0.01（1%），P(A)；左胸前闷痛的概率是0.02，P(B)；冠心病发作时出现左胸闷痛的概率是0.98，P(B|A)。根据贝叶斯定理，发现病人有左胸前闷痛时，患者是冠心病发作的概率 = 0.01 x 0.98 / 0.02 = 0.49。

上面这个例子说明根据有限的已知概率进行病因推理的一个局部过程。医生诊断病因当然比这要更复杂得多。例如，医生还要考虑其它疾病（A'）引起左胸前闷痛的概率，这是另一种条件概率P(A’|B)。尽管医生们不一定懂得贝叶斯定理，比较P(A|B)和P(A‘|B)之间的大小是医生们凭经验和直觉进行鉴别诊断时的思维方式，是一个接近贝叶斯定理的推理过程。此外，医生还要考虑到多种已知状况（不同的B）对这些进行综合考虑。这种综合考虑当然超出贝叶斯定理的范围，但仍然和概率有关系。最后，医生还要根据各种新研究结果更新对各种概率的认识。

例二：再以医疗检测为例，说明贝叶斯定理的应用。设某病的发病率为0.01，P(A) = 0.01，此为先验概率；患该病的患者做某一抗体检测的阳性反应率（真阳性率）为0.95，即条件概率 P(B|A) = 0.95；假阳性发生概率为0.02，P(B|非A）= 0.02。在全群体中检测抗体的阳性率应当为：

P(B) = 0.95*0.01 + 0.02（1-0.01）

= 0.0095 + 0.0198 = 0.0393

后验概率（既已知检测结果为阳性时结果为真阳性的概率）为：

P(A|B) = P(A)*P(B|A)/P(B)

=0.01 * 0.95 / 0.0393 = 0.2405

既根据这个检测结果，该就诊者患该病的概率为0.2405。由此可见，在患病率很低时（如此处所说的1%），检测结果虽然比患病率高很多，但是真阳性的概率并不太高，而假阳性率却高很多。

由此我们可以理解，在Covid-19流行期间，由于实际感染率很低，做大规模的核酸检测会导致高比例的假阳性率。而且由于检测方法固有的假阳性可能，即便在一个群体中完全没有被感染者，也会检测出“感染者”。由此还可以做出推论：由于检测方法本身的局限性，不断出现的假阳性必然会使不存在感染的一个大群体内无法使“感染”清零。

例三：如果用a, b, c三种方法检测到同一疾病的后验概率分别为P(a) = 0.5，P(b) = 0.4,和P(c) = 0.7。那么同时考虑任意两种方法组合及三种方法同时应用，所得到的真阳性概率是多少？

这个例子要求我们计算联合概率。用a 和 b两种方法得到的后验概率分别是0.5 和0.4。两种方法结合，实际的真实患病的联合概率P(a,b)为：

P(a,b) = P(a) + (1-P(a))*P(b)

= 0.5 + (1-0.5) * 0.4 = 0.7

或

P(b,a) = P(b) + (1-P(b))*P(a)

= 0.4 +（1-0.4) * 0.5 = 0.7

既两种方法结合，提高了检测水平，增加了诊断为阳性的可信性。

如再结合考虑方法c的后验概率P(c) = 0.7，实际患病概率应该是：

P(a,b,c) = P(a,b) + (1-P(a,b))*P(c)

= 0.7 +（1-0.7) * 0.7 = 0.91

也就是说，当用三种方法检测都得到阳性结果时，实际为阳性的概率为0.91（91%的可能为阳性）。

由上面例子中可见，采用贝叶斯定理判断疾病和医生诊断疾病的过程类似，其结果和我们的常识基本一致。不过医生诊断疾病依靠大量的临床经验和知识来推断各种疾病、症状和检测结果的概率，然后做出诊断。问题在于：1）医生的经验估计是粗略的；2）医生的经验（尤其是年轻的医生）是有限的；3）医生的推理并不一定十分严格。而应用贝叶斯定理，则有助于避免或减小这些因素的影响，达到更精准的诊断。

统计学上一些常用的显著性检验，如t-检验和方差分析等等，主要是针对群体的描述，说明一个群体是否与另一个群体有显著性差异。其重点不在于个体，而在于群体。贝叶斯定理则不同，它可以针对个体回答出现某种情况的概率。从上面的例子也可以看出，应用贝叶斯定理可以帮助医生对独特病人作出更精准的诊断。这对于个性化的治疗非常关键。

贝叶斯定理已经广泛用于人工智能（AI）的推理过程。诊断疾病和预测高风险病人是其应用的一个方面。预计将来会出现更多的AI医生和AI医院。

                               
登录/注册后可看大图

从1995年到2018年，应用贝叶斯定理的专业文献增加了大约10倍（https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6406060/）。

贝叶斯定理和逻辑推理的关系

哲学家们对贝叶斯定理很感兴趣，经常讨论它和已知逻辑推理的关系，但似乎并未达成一致性的结论。从不同的角度出发，贝叶斯定理被视为不同的推理，包括归纳推理（Induction），假说演绎推理（hypothetical deduction），或溯因推理（ abductive reasoning），或者被认为至少与其中一种推理相联系。下面提出几点个人的看法。

贝叶斯斯推理一向和归纳推理相联系。如同归纳推理，它并不保证结果的正确性。不过应用贝叶斯定理于个例（例如医学诊断），并不直接产生一般性结论。产生一般性结论需要一个归纳过程，应用贝叶斯定理并不包括这一过程。

任何定理都具有一般性，可以应用于许多特殊情况。贝叶斯定理也是如此。以医学诊断为例，我们应用贝叶斯定理，然后提供定理所要求的的信息（先验概率、条件概率），然后计算出后验概率。这就相当于由大前提（定理）和小前提（定理所涵盖的已知概率）推出结论（后验概率）。这是一种演绎推理。但是这种推理并不能保证诊断的正确性，由此给人的印象是它不符合演绎推理。不过这是把事实的正确性和概率的正确性混为一谈了。贝叶斯推理保证的是概率的正确性，而非事实的正确性。只要提供的已知概率是正确的，那么由此计算出的后验概率也是正确的。

溯因推理是依据观察到的事件结果推溯事件原因的推理。例如，我早晨起来见到室外的土地和树木都湿漉漉的（结果），于是得出结论：夜间下雨了（原因）。与归纳推理类似，溯因推理并不能保证结论的正确性。但在日常生活中，这种推理很常见，经常自然而然发生，甚至在我们的意识之外。溯因推理类似于贝叶斯推理。在生活中，我们常常会依据经验粗略地估计事件原因的可能性。而贝叶斯定理则能够给予更精确的概率计算。在信息更短确的时候，我们也可以应用溯因推理。例如，诗人可以说：“不识庐山真面目，只缘身在此山中。” 这里不需要什么先验概率和条件概率。而在更复杂的情况下，我们也可以应用溯因推理。例如，我们可以依据各种信息提出解释或假说。

附录

对话ChatGPT：溯因推理和贝叶斯定理

蓬草：

贝叶斯定理和推理似乎可以认作是溯因推理的量化，对或然性的结论给出可信性的估算。

ChatGPT:

是的，贝叶斯定理和贝叶斯推理确实可以被视为溯因推理的量化形式，它们通过数学方法对或然性的结论进行可信性估算。以下是对此的详细说明：

1. 贝叶斯定理：

- 贝叶斯定理是一个概率公式，用于更新事件的概率。公式为：

P(A|B) = P(B|A) * P(A)/P(B)

其中，P(A|B)表示在事件 B 发生的情况下事件 A 发生的概率（后验概率），P(B|A)表示在事件 A 发生的情况下事件 B 发生的概率（似然），P(A)表示事件 A 发生的先验概率，P(B)表示事件 B 发生的概率。

注：ChatGPT在叙述数学公式时总是带有一些额外的符号，影响了直观性。上面的公式是我将其额外符号去除之后的形式。这个公式也可以改写如下：

P(A|B) = P(A)*P(B|A)/P(B)

2. 贝叶斯推理与溯因推理：

贝叶斯推理是一种通过贝叶斯定理来更新信念或概率的方法。它与溯因推理的核心思想相似，即通过观察和数据来推断和更新对某个假设的可信度。

在溯因推理中，我们提出一个假设来解释观察到的现象，并不断通过新的证据和观察来检验和修正这个假设。贝叶斯推理提供了一种量化的方法，通过计算概率来更新对假设的信心。

3. 可信性估算

贝叶斯推理允许我们根据新数据更新对假设的概率，从而提供对假设可信性的量化估算。例如，如果我们观察到草地是湿的，并且有证据表明最近下过雨，那么我们可以使用贝叶斯定理来更新下雨的概率。

这种方法不仅考虑了当前的证据，还结合了先验知识（例如，通常下雨的频率），从而更精确地估算假设的可信性。

4. 应用场景：

贝叶斯推理在许多科学领域中都有广泛应用，包括医学诊断、机器学习、数据分析和人工智能等。它为我们提供了一种系统且严格的方法来处理不确定性和更新信念。

例如，在医学诊断中，医生可以使用贝叶斯推理来结合患者的症状和先验概率，估算某种疾病的可能性，从而做出更准确的诊断决策。

综上所述，贝叶斯定理和推理确实可以被视为溯因推理的量化形式。它们通过数学方法对不确定性进行处理，更新对假设的概率估算，从而提供了对或然性结论的可信性估算。这种量化方法在许多实际应用中发挥了重要作用，使得溯因推理更加精确和系统化。

蓬草：

应用贝叶斯定理需要对事件的概率和条件概率有较准确的了解。这一方面可以使我们对假设概率的估计的更新更准确，另一方面又限制了其应用范围。因此它比溯因推理更精确，但应用范围也更有局限性。

ChatGPT:

你的理解是正确的。贝叶斯定理的应用确实需要对事件的先验概率和条件概率有较准确的了解，这在一些情况下可能是一个挑战。以下是对这一问题的详细分析：

1. **先验概率和条件概率的要求**：

- 贝叶斯定理要求我们对先验概率（初始假设的概率）和条件概率（在假设成立的情况下观察到的证据的概率）有明确的了解。这些概率值可能需要通过历史数据、经验或主观判断来确定。

- 在某些领域，这些概率值可能较为容易获取，如医学中的疾病统计数据或机器学习中的训练数据。然而，在其他领域，这些概率值可能难以确定或存在较大不确定性。

2. **准确性与局限性**：

- 贝叶斯推理的一个显著优点是其精确性。通过量化的不确定性和逐步更新概率，它能够提供一个严格的、数学上的框架来处理证据和假设。

- 然而，这种精确性也带来了局限性。由于需要准确的概率估计，在缺乏充分数据或知识的情况下，贝叶斯推理的应用可能受到限制。例如，在新兴领域或复杂系统中，可能难以获得可靠的先验和条件概率。

3. **与溯因推理的对比**：

- 溯因推理更灵活，不需要精确的概率估计。它通过提出可能的解释并逐步验证，适用于更多不确定和复杂的情境。

- 溯因推理能够在信息不完全的情况下进行推断，这使得它在科学发现、诊断和探索性研究中非常有用。然而，由于缺乏量化的框架，它的推理结果可能更具主观性和不确定性。

4. **实际应用中的结合**：

- 在实际应用中，贝叶斯推理和溯因推理可以互补使用。贝叶斯推理提供了一种量化的方法来处理明确的概率和数据，而溯因推理提供了一种灵活的方式来探索和提出假设。

- 例如，在科学研究中，研究者可以通过溯因推理提出初步假设，然后使用贝叶斯方法在获取更多数据后更新和验证这些假设。这种结合方法既能利用贝叶斯推理的精确性，又能发挥溯因推理的灵活性。

综上所述，贝叶斯定理和推理提供了一种精确的概率更新方法，但其应用范围受到先验概率和条件概率准确性的限制。相比之下，溯因推理更加灵活，适用于更广泛的不确定性和复杂情境。结合使用这两种推理方法，可以在科学研究和实践中取得更好的效果。

温柔的风

谢谢蓬草先生赐帖

温柔的风

真心说，这个是真看不懂，且留待苏版共同研讨

蓬草

温柔的风 发表于 2024-9-24 08:38
真心说，这个是真看不懂，且留待苏版共同研讨

在东方文苑，我有时间会和韩版讨论一些超出诗词之外的话题，其中也包括哲学。虽是门外汉闲谈，但感觉学习一点这方面的东西，对于澄清自己的思想多少有些帮助。这几篇关于推理的文章是对自己学习所得的总结。这一篇的内容是统计学专业的，不过我也不是这方面的专业人士。门外汉说话，有无知者无畏的好处。

苏星空

  “任何定理都具有一般性，可以应用于许多特殊情况。贝叶斯定理也是如此。以医学诊断为例，我们应用贝叶斯定理，然后提供定理所要求的的信息（先验概率、条件概率），然后计算出后验概率。这就相当于由大前提（定理）和小前提（定理所涵盖的已知概率）推出结论（后验概率）。”

苏：说得对：
贝叶斯定理 是条件概率。
以最简单的形式，它表达了如何通过考虑观察到的事件的概率从先验概率更新后验概率。换句话说，它使得根据新证据修改初始概率成为可能。

先验概率：是指我们在考虑新信息之前所知道的数据。
后验概率：是指我们在考虑新信息后所知道的数据。

  我所关心的重点是在：在数据分类中，它能够处理不确定性并提供预测的置信度。这就可以据提供的新数据，调整其预测，不断改进和完善性能。最后根据得到的新特征为输入重新分配分类标签。

蓬草

苏星空 发表于 2024-9-24 21:20
“任何定理都具有一般性，可以应用于许多特殊情况。贝叶斯定理也是如此。以医学诊断为例，我们应用贝叶斯 ...

说得很好。在我看来，这是贝叶斯定理的精髓（或精髓之一）。它把依据新观察修正旧观点（预期）的认识过程更具体化和定量化了。