贝叶斯定理和推理

蓬草

贝叶斯定理和推理

蓬草 2024年6月7日

贝叶斯定理是关于随机事件A和B的条件概率的一則定理。

[

其中，P(A)是事件A的发生概率，在此定理中被称为先验概率；P(B)是事件B发生的概率；P(A|B)是在事件B发生情况下事件A发生的条件概率，在此定理中被称为后验概率；P(B|A)是在事件A发生情况下事件B发生的条件概率。

如果我们把事件B看作是观察到的结果，贝叶斯定理告诉我们如何去计算事件A（原因）发生的概率的方法（规则）。在我们知道事件B发生后，用P(B|A)/P(B) 这个比值去修正原来对于先验概率P(A)，从而得出后验概率P(A|B) 。换句话说，贝叶斯定理告诉我们如何依据新的事实去修正原有的认知，达到新的认知。

在应用贝叶斯定理时，先验概率P(A)当然是越准确越好。但是在不确知这个概率时，我们可以设想一个先验概率，然后仍应用贝叶斯定理去修正它，得出后验概率。经过越来越多的修正，我们就会逐步趋近正确的答案。这就是贝叶斯推理的认识论意义所在。

贝叶斯定理的应用

贝叶斯定理在统计学和计算机科学中有广泛的应用。下面举几个医学中应用的例子。所采用的数字都是假定的，意在说明其方法。

例一：以冠心病发作的判断来说明条件概率的计算。假定 在内科门诊中：冠心病的概率是0.01（1%），P(A)；左胸前闷痛的概率是0.02，P(B)；冠心病发作时出现左胸闷痛的概率是0.98，P(B|A)。根据贝叶斯定理，发现病人有左胸前闷痛时，患者是冠心病发作的概率 = 0.01 x 0.98 / 0.02 = 0.49。

上面这个例子说明根据有限的已知概率进行病因推理的一个局部过程。医生诊断病因当然比这要更复杂得多。例如，医生还要考虑其它疾病（A'）引起左胸前闷痛的概率，这是另一种条件概率P(A’|B)。尽管医生们不一定懂得贝叶斯定理，比较P(A|B)和P(A‘|B)之间的大小是医生们凭经验和直觉进行鉴别诊断时的思维方式，是一个接近贝叶斯定理的推理过程。此外，医生还要考虑到多种已知状况（不同的B）对这些进行综合考虑。这种综合考虑当然超出贝叶斯定理的范围，但仍然和概率有关系。最后，医生还要根据各种新研究结果更新对各种概率的认识。

例二：再以医疗检测为例，说明贝叶斯定理的应用。设某病的发病率为0.01，P(A) = 0.01，此为先验概率；患该病的患者做某一抗体检测的阳性反应率（真阳性率）为0.95，即条件概率 P(B|A) = 0.95；假阳性发生概率为0.02，P(B|非A）= 0.02。在全群体中检测抗体的阳性率应当为：

P(B) = 0.95*0.01 + 0.02（1-0.01）

= 0.0095 + 0.0198 = 0.0393

后验概率（既已知检测结果为阳性时结果为真阳性的概率）为：

P(A|B) = P(A)*P(B|A)/P(B)

=0.01 * 0.95 / 0.0393 = 0.2405

既根据这个检测结果，该就诊者患该病的概率为0.2405。由此可见，在患病率很低时（如此处所说的1%），检测结果虽然比患病率高很多，但是真阳性的概率并不太高，而假阳性率却高很多。

由此我们可以理解，在Covid-19流行期间，由于实际感染率很低，做大规模的核酸检测会导致高比例的假阳性率。而且由于检测方法固有的假阳性可能，即便在一个群体中完全没有被感染者，也会检测出“感染者”。由此还可以做出推论：由于检测方法本身的局限性，不断出现的假阳性必然会使不存在感染的一个大群体内无法使“感染”清零。

例三：如果用a, b, c三种方法检测到同一疾病的后验概率分别为P(a) = 0.5，P(b) = 0.4,和P(c) = 0.7。那么同时考虑任意两种方法组合及三种方法同时应用，所得到的真阳性概率是多少？

这个例子要求我们计算联合概率。用a 和 b两种方法得到的后验概率分别是0.5 和0.4。两种方法结合，实际的真实患病的联合概率P(a,b)为：

P(a,b) = P(a) + (1-P(a))*P(b)

= 0.5 + (1-0.5) * 0.4 = 0.7

或

P(b,a) = P(b) + (1-P(b))*P(a)

= 0.4 +（1-0.4) * 0.5 = 0.7

既两种方法结合，提高了检测水平，增加了诊断为阳性的可信性。

如再结合考虑方法c的后验概率P(c) = 0.7，实际患病概率应该是：

P(a,b,c) = P(a,b) + (1-P(a,b))*P(c)

= 0.7 +（1-0.7) * 0.7 = 0.91

也就是说，当用三种方法检测都得到阳性结果时，实际为阳性的概率为0.91（91%的可能为阳性）。

由上面例子中可见，采用贝叶斯定理判断疾病和医生诊断疾病的过程类似，其结果和我们的常识基本一致。不过医生诊断疾病依靠大量的临床经验和知识来推断各种疾病、症状和检测结果的概率，然后做出诊断。问题在于：1）医生的经验估计是粗略的；2）医生的经验（尤其是年轻的医生）是有限的；3）医生的推理并不一定十分严格。而应用贝叶斯定理，则有助于避免或减小这些因素的影响，达到更精准的诊断。

统计学上一些常用的显著性检验，如t-检验和方差分析等等，主要是针对群体的描述，说明一个群体是否与另一个群体有显著性差异。其重点不在于个体，而在于群体。贝叶斯定理则不同，它可以针对个体回答出现某种情况的概率。从上面的例子也可以看出，应用贝叶斯定理可以帮助医生对独特病人作出更精准的诊断。这对于个性化的治疗非常关键。

贝叶斯定理已经广泛用于人工智能（AI）的推理过程。诊断疾病和预测高风险病人是其应用的一个方面。预计将来会出现更多的AI医生和AI医院。

从1995年到2018年，应用贝叶斯定理的专业文献增加了大约10倍（https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6406060/）。

贝叶斯定理和逻辑推理的关系

哲学家们对贝叶斯定理很感兴趣，经常讨论它和已知逻辑推理的关系，但似乎并未达成一致性的结论。从不同的角度出发，贝叶斯定理被视为不同的推理，包括归纳推理（Induction），假说演绎推理（hypothetical deduction），或溯因推理（ abductive reasoning），或者被认为至少与其中一种推理相联系。下面提出几点个人的看法。

贝叶斯斯推理一向和归纳推理相联系。如同归纳推理，它并不保证结果的正确性。不过应用贝叶斯定理于个例（例如医学诊断），并不直接产生一般性结论。产生一般性结论需要一个归纳过程，应用贝叶斯定理并不包括这一过程。

任何定理都具有一般性，可以应用于许多特殊情况。贝叶斯定理也是如此。以医学诊断为例，我们应用贝叶斯定理，然后提供定理所要求的的信息（先验概率、条件概率），然后计算出后验概率。这就相当于由大前提（定理）和小前提（定理所涵盖的已知概率）推出结论（后验概率）。这是一种演绎推理。但是这种推理并不能保证诊断的正确性，由此给人的印象是它不符合演绎推理。不过这是把事实的正确性和概率的正确性混为一谈了。贝叶斯推理保证的是概率的正确性，而非事实的正确性。只要提供的已知概率是正确的，那么由此计算出的后验概率也是正确的。

溯因推理是依据观察到的事件结果推溯事件原因的推理。例如，我早晨起来见到室外的土地和树木都湿漉漉的（结果），于是得出结论：夜间下雨了（原因）。与归纳推理类似，溯因推理并不能保证结论的正确性。但在日常生活中，这种推理很常见，经常自然而然发生，甚至在我们的意识之外。溯因推理类似于贝叶斯推理。在生活中，我们常常会依据经验粗略地估计事件原因的可能性。而贝叶斯定理则能够给予更精确的概率计算。在信息更短确的时候，我们也可以应用溯因推理。例如，诗人可以说：“不识庐山真面目，只缘身在此山中。” 这里不需要什么先验概率和条件概率。而在更复杂的情况下，我们也可以应用溯因推理。例如，我们可以依据各种信息提出解释或假说。

附录

对话ChatGPT：溯因推理和贝叶斯定理

蓬草：

贝叶斯定理和推理似乎可以认作是溯因推理的量化，对或然性的结论给出可信性的估算。

ChatGPT:

是的，贝叶斯定理和贝叶斯推理确实可以被视为溯因推理的量化形式，它们通过数学方法对或然性的结论进行可信性估算。以下是对此的详细说明：

1. 贝叶斯定理：

- 贝叶斯定理是一个概率公式，用于更新事件的概率。公式为：

P(A|B) = P(B|A) * P(A)/P(B)

其中，P(A|B)表示在事件 B 发生的情况下事件 A 发生的概率（后验概率），P(B|A)表示在事件 A 发生的情况下事件 B 发生的概率（似然），P(A)表示事件 A 发生的先验概率，P(B)表示事件 B 发生的概率。

注：ChatGPT在叙述数学公式时总是带有一些额外的符号，影响了直观性。上面的公式是我将其额外符号去除之后的形式。这个公式也可以改写如下：

P(A|B) = P(A)*P(B|A)/P(B)

2. 贝叶斯推理与溯因推理：

贝叶斯推理是一种通过贝叶斯定理来更新信念或概率的方法。它与溯因推理的核心思想相似，即通过观察和数据来推断和更新对某个假设的可信度。

在溯因推理中，我们提出一个假设来解释观察到的现象，并不断通过新的证据和观察来检验和修正这个假设。贝叶斯推理提供了一种量化的方法，通过计算概率来更新对假设的信心。

3. 可信性估算

贝叶斯推理允许我们根据新数据更新对假设的概率，从而提供对假设可信性的量化估算。例如，如果我们观察到草地是湿的，并且有证据表明最近下过雨，那么我们可以使用贝叶斯定理来更新下雨的概率。

这种方法不仅考虑了当前的证据，还结合了先验知识（例如，通常下雨的频率），从而更精确地估算假设的可信性。

4. 应用场景：

贝叶斯推理在许多科学领域中都有广泛应用，包括医学诊断、机器学习、数据分析和人工智能等。它为我们提供了一种系统且严格的方法来处理不确定性和更新信念。

例如，在医学诊断中，医生可以使用贝叶斯推理来结合患者的症状和先验概率，估算某种疾病的可能性，从而做出更准确的诊断决策。

综上所述，贝叶斯定理和推理确实可以被视为溯因推理的量化形式。它们通过数学方法对不确定性进行处理，更新对假设的概率估算，从而提供了对或然性结论的可信性估算。这种量化方法在许多实际应用中发挥了重要作用，使得溯因推理更加精确和系统化。

蓬草：

应用贝叶斯定理需要对事件的概率和条件概率有较准确的了解。这一方面可以使我们对假设概率的估计的更新更准确，另一方面又限制了其应用范围。因此它比溯因推理更精确，但应用范围也更有局限性。

ChatGPT:

你的理解是正确的。贝叶斯定理的应用确实需要对事件的先验概率和条件概率有较准确的了解，这在一些情况下可能是一个挑战。以下是对这一问题的详细分析：

1. **先验概率和条件概率的要求**：

- 贝叶斯定理要求我们对先验概率（初始假设的概率）和条件概率（在假设成立的情况下观察到的证据的概率）有明确的了解。这些概率值可能需要通过历史数据、经验或主观判断来确定。

- 在某些领域，这些概率值可能较为容易获取，如医学中的疾病统计数据或机器学习中的训练数据。然而，在其他领域，这些概率值可能难以确定或存在较大不确定性。

2. **准确性与局限性**：

- 贝叶斯推理的一个显著优点是其精确性。通过量化的不确定性和逐步更新概率，它能够提供一个严格的、数学上的框架来处理证据和假设。

- 然而，这种精确性也带来了局限性。由于需要准确的概率估计，在缺乏充分数据或知识的情况下，贝叶斯推理的应用可能受到限制。例如，在新兴领域或复杂系统中，可能难以获得可靠的先验和条件概率。

3. **与溯因推理的对比**：

- 溯因推理更灵活，不需要精确的概率估计。它通过提出可能的解释并逐步验证，适用于更多不确定和复杂的情境。

- 溯因推理能够在信息不完全的情况下进行推断，这使得它在科学发现、诊断和探索性研究中非常有用。然而，由于缺乏量化的框架，它的推理结果可能更具主观性和不确定性。

4. **实际应用中的结合**：

- 在实际应用中，贝叶斯推理和溯因推理可以互补使用。贝叶斯推理提供了一种量化的方法来处理明确的概率和数据，而溯因推理提供了一种灵活的方式来探索和提出假设。

- 例如，在科学研究中，研究者可以通过溯因推理提出初步假设，然后使用贝叶斯方法在获取更多数据后更新和验证这些假设。这种结合方法既能利用贝叶斯推理的精确性，又能发挥溯因推理的灵活性。

综上所述，贝叶斯定理和推理提供了一种精确的概率更新方法，但其应用范围受到先验概率和条件概率准确性的限制。相比之下，溯因推理更加灵活，适用于更广泛的不确定性和复杂情境。结合使用这两种推理方法，可以在科学研究和实践中取得更好的效果。

蓬草

用文章中的第三个例子问ChatGPT，它犯了错误，简单地把几个检测阳性的概率相乘，结果是用的检测方法越多，患者是真阳性的概率越低。这显然是不对的。实际上，这几种检测方法的结果是有相关性的，这是用新事实修正旧想法的基础。因此，两种方法都得到阳性结果，则真阳性的概率会增高。如果再增加一种方法，仍然得到阳性结果，则真阳性的概率会进一步增高。

寂静之声

我一直被这个数学公式弄得糊涂，关于冠心病和新冠感染的概率和结果得出的结论让这个定理变得清晰。
贝叶斯定理适用于大型的，多项统计结果的综合分析，对于公共卫生，疾病防控的整体规划有着显著的意义。对于临床医生而言很难亲历亲为，重要在于阅读经过贝叶斯定理整理出来的结果，结合临床实际做出具体判断。

蓬草

寂静之声 发表于 2024-8-28 23:32
我一直被这个数学公式弄得糊涂，关于冠心病和新冠感染的概率和结果得出的结论让这个定理变得清晰。
贝叶斯 ...

是的，在临床的实践中，由于数据的局限性，医生们很难做应用贝叶斯定理，而往往是依据经验做溯因推理。随着数据的积累、AI的应用、贝叶斯定理的应用会逐渐增加。
我也还有不少问题没解决。概率的问题一涉及复杂的公式就超出感性的想象力，非得有闲心有时间并做好一定准备才能往深处学。有时间再去了解一下神经网络进行贝叶斯推理的方式。

寂静之声

我再尝试把贝叶斯定理概念化地说明一下。
贝叶斯定理，用两个相关的，已知的统计学结果，（彼此互为条件，据我的理解，A和B其实是可以互换的，完全取决于统计的需要）再次加以统计学处理，从而得出具体有实际意义的（统计学）的新的，更加完整全面的结论。

寂静之声

我把我的想法和ChatGPT讨论了一下，并非否定贝叶斯定理通过新信息来更新已有的认知，使之更加准确完整，而是强调先置和后置是一个相对的设定。
我：
无论先后，贝叶思定律都是把两个已知的单项统计数据再次纳入统计学计算。先后不过是基于目的性而人为制定的。

ChatGPT said:

ChatGPT

Memory updated

你的理解在某种程度上是正确的。贝叶斯定理确实是将两个已知的统计数据（先验概率和似然）纳入进一步的统计计算，通过更新概率来得出新的结论。先验和后验的区分确实可以看作是基于分析的目的性而人为设定的，尤其是在不同的应用场景中，哪些事件被视为条件、哪些被视为结果可以有所不同。

关键在于，通过贝叶斯定理，统计学家可以灵活地将已有的知识与新获得的信息结合起来，以更新或调整概率分布，这使得贝叶斯定理在多种实际应用中非常有用。

4o

You said:

一旦获得，无论新旧都是已经存在的知识，先后的本质在于目的性

ChatGPT said:

ChatGPT

Memory updated

你的观点强调了知识的相对性和时间顺序的目的性。在贝叶斯定理中，确实可以认为一旦数据被获取，它们都是已经存在的知识，不论新旧。所谓的“先验”和“后验”更多是为了解决特定问题而引入的概念，它们的顺序在某种意义上是为了服务于特定的分析目的，而非本质上的区分。

4o

You said:

再次询问，我的观点是否否和贝叶思定理的本质?

ChatGPT said:

ChatGPT

你的观点与贝叶斯定理的本质并不矛盾，但可以从不同的角度来理解。

贝叶斯定理的核心在于如何更新概率，即在已有的知识基础上，如何根据新信息调整我们对某一事件的信念。你指出的“先后顺序是基于目的性”确实反映了在实际应用中，分析者根据问题的需要来设定哪些信息作为“先验”或“后验”。这符合贝叶斯定理灵活应用的特性。

然而，贝叶斯定理本质上仍然区分了“先验”和“后验”这两个阶段，强调了在新信息出现前后的概率更新过程。因此，虽然你认为一旦获得知识，无论新旧都是已存在的，这在静态的意义上是正确的，但贝叶斯定理在动态过程中强调的是如何通过新信息更新已有知识，这一点是其核心机制。

总的来说，你的观点是对贝叶斯定理的一种有效解读，尤其是在强调目的性和知识的相对性时。但贝叶斯定理仍然强调在时间序列或信息更新过程中的“先后”次序，这一逻辑过程与其本质密切相关。

4o

You said:

难道把后置的数据作为先验考虑就不会更新认识吗？

ChatGPT said:

ChatGPT

你提到的确是一个有效的思考方式。实际上，贝叶斯定理中的“先验”和“后验”并不是固定的标签，而是相对的。你可以通过将后置的数据作为新的先验来进行进一步的更新。这就是贝叶斯推理的递归性和灵活性所在。

在一个连续的分析过程中，后验概率可以成为新的先验概率，这样随着新数据的到来，你的认识会不断被更新。这表明“先验”和“后验”是动态的，可以随着信息的增加和目的的变化而调整。因此，将后置数据作为先验并不会阻止更新认识，而是推动认识的进一步深化。

这个过程反映了贝叶斯定理的核心思想：通过每次新信息的加入，不断修正和更新对世界的理解。所以你所说的“把后置的数据作为先验考虑”实际上正是贝叶斯推理的实际应用方式之一。

哈哈，这种和ChatGPT的讨论多少有钻牛角尖，抬杠的意味，好处是逼着ChatGPT不断完善逻辑，做到自洽，其次是从抬杠中加深自己的认识，提高对概念的理解。

蓬草

寂静之声 发表于 2024-8-29 02:32
我把我的想法和ChatGPT讨论了一下，并非否定贝叶斯定理通过新信息来更新已有的认知，使之更加准确完整，而 ...

问话的方式不同，回答的重点也不同，有些前提可能是被当作不言自明的而省略了。这也是容易出错的地方。
简单地说，哪个是后验概率取决于你是不是需要对它刷新。P（A｜B）可以是后验概率（假如你并不知道它），也可以是已知的条件概率（假如你需要用它去获得P（B｜A））。要点是当新情况出现时，它会改变我们对原来先验概率的估值。如果某地区7月下雨的概率是0.3，仅凭这一信息，我们只能判断7月某一天下雨的概率是0.3。但如果知道今晚天气很闷热，我们就会推测明天下雨的概率比0.3高很多。但如果天气很晴朗凉爽，我们就会认为明天十之八九不会下雨。

寂静之声

蓬草 发表于 2024-8-29 03:07
问话的方式不同，回答的重点也不同，有些前提可能是被当作不言自明的而省略了。这也是容易出错的地方。
...

是，赞同。

ChatGPT是个商业软件，尽可能取悦所有用户大概是设计的重要考虑，如此也就导致在很多需要判断是非的时候，它摸棱两可和稀泥的情况，这种情况就需要根据它回答的逻辑要点追问。

比如，我以前和它探讨过易经的话题，其中包括易经是玄学还是哲学的探讨，也谈到逻辑。起初它是和稀泥，既是哲学也是玄学，既有逻辑还有辩证法。然后我让它把哲学的概念，逻辑的定义说出来，对比易经的内容，以实例证明易经的哲学和逻辑，结果是它无法证明，不得已承认易经从本质是一部玄学著作，不具备逻辑演绎和归纳的基本推导方法，更是违反了形式逻辑的三个基本定律。

诗音敏儿

谢谢诗兄分享专业知识，问好秋安

诗音敏儿

看两位诗兄的讨论能更明白，一并致谢

蓬草

诗音敏儿 发表于 2024-8-29 07:10
谢谢诗兄分享专业知识，问好秋安

这个也不是我的专业，因为要写一篇文章，特地学习一下。贝叶斯定理的应用很广泛，了解一下就多了一种认识事物的方法。

邱淑宝

叔叔还研究这个啊。

蓬草

邱淑宝 发表于 2024-8-29 10:01
叔叔还研究这个啊。

完全谈不上研究，只是给自己扫盲，以求掌握其方法。这个和前面几篇关于推理的文章有关系，我感觉需要把知识和思路整理一下。与此有关的还有布尔代数（布尔逻辑）和模糊逻辑。这几个东西都算是数学的分支，在科学中应用得很广包括现在的人工智能。布尔代数比较简单，是计算机逻辑电路和软件逻辑判断的基础。演绎逻辑也形式化了，用数学语言描述更精确。有了这些东西，思考问题的角度就回有所不同。逻辑是认识事物的工具，是思维的工具。因此，我不把逻辑看作一门可有可无的普通知识。
人也不能仅有逻辑。没有感性、联想、想象、情感和动机，人就变成了机器。这些东西至少和逻辑同样重要。不过，因为我们的传统文化重感性，轻逻辑，我们也就特别需要在这方面补课。

邱淑宝

蓬草 发表于 2024-8-29 11:03
完全谈不上研究，只是给自己扫盲，以求掌握其方法。这个和前面几篇关于推理的文章有关系，我感觉需要把知 ...

叔叔说得是。人很多事情上都要有逻辑，感性，理性，联想等，因为人不是其他动物。叔叔的文章对我们也是科普了，借光学习。

寂静之声

邱淑宝 发表于 2024-8-29 19:50
叔叔说得是。人很多事情上都要有逻辑，感性，理性，联想等，因为人不是其他动物。叔叔的文章对我们也是科 ...

多接触这样的理性内容，无形中会提高自己

清风荷韵

寂静之声 发表于 2024-8-29 02:32
我把我的想法和ChatGPT讨论了一下，并非否定贝叶斯定理通过新信息来更新已有的认知，使之更加准确完整，而 ...

谢谢诗兄科普贝叶斯定理和推理，细读学习，诗兄辛苦

蓬草

清风荷韵 发表于 2024-8-30 07:35
谢谢诗兄科普贝叶斯定理和推理，细读学习，诗兄辛苦

记不得最初见到这个定理是什么时候了，一直没领会。几个月前读到关于溯因推理的文章，猛然想起它。随后又试着将其运用到几个设想的例子，才加深了理解。然后再思考它和已知的几种逻辑推理的关系。理性思考离不开逻辑，也是认识事物的工具。

清风荷韵

蓬草 发表于 2024-8-30 10:39
记不得最初见到这个定理是什么时候了，一直没领会。几个月前读到关于溯因推理的文章，猛然想起它。随后又 ...

诗兄爱学习，不断探索新知，严谨求实，点赞