ChatGPT弱于推理

蓬草

ChatGPT弱于推理

蓬草 2023年2月28日

ChatGPT长于联想，弱于推理。这一点和人类的大脑是一样的。普通人不经过逻辑训练，经常会犯推理错误。即使训练有素的学者也难以完全避免推理错误。大脑有860亿个神经元，每个神经元都只会做很简单的计算。神经元本身没有推理能力，大脑才有推理能力。神经元之间通过突触的连接传递信息，在传递信息的过程中改变连接的方式和强度。这是神经元网络能够产生联想的基础。也只有在这个基础之上，大脑才能够产生推理。从联想到推理，这是一个巨大的飞跃。没有人知道这个飞跃是如何在大脑中实现的。

ChatGPT在理解和生成语言方面取的了巨大的进步。在此基础上它试图通过联想来实现推理。联想和推理是两种不同的精神活动模式。联想是具体的，灵活多变的，不确定的，经常是模糊的，无法用语言描述的，经常是下意识的，轻松实现的。而推理则是抽象的，严格的，确定的，精确的，必须用语言或符号语言来描述的，是有意识的，辛苦的。从理解大脑工作方式的角度来看，一旦实现由联想实现推理，这两者之间的鸿沟将被填平，人类对认知过程的理解将产生一个飞跃，心理学史上联想主义和理性主义的对立将被消解。但是走向理性的道路十分艰难。目前来看，ChatGPT的推理能力很差，参差不齐。

经过近几天的测试，我发现它有两个相当严重的推理缺陷。

ChatGPT的第一个推理缺陷：它的连续比较推导（甲大于乙，乙大于丙，因此甲大于丙）很容易受到干扰。对于最简单的形式提出的问题，它可以推导出正确的答案。如果问题拐个弯，部分前提以反义词出现，或加入干扰因素，它就频频出错。

以下是ChatGPT所做的几个推理。

第一题


蓬草：甲比乙高，甲比丙矮。甲乙丙的高矮顺序？

ChatGPT：根据题目描述，我们可以得出以下三个事实：
甲比乙高
甲比丙矮
因为甲比乙高，所以乙比丙高或同高
根据第一和第二个事实，我们可以得出以下推论：
甲比丙高（因为甲比乙高，乙比丙高，所以甲比丙高）
因此，甲最高，乙次之，丙最矮。因此，甲乙丙的高矮顺序为：甲 > 乙 > 丙。

蓬草：甲比丙矮呀！

Chat GPT：非常抱歉，我犯了一个错误。根据您的指正，题目中应该是“甲比丙矮”，而不是“甲比丙高”。那么，重新考虑一下：
根据甲比丙矮和甲比乙高，我们可以得出乙比丙高或同高。
因此，甲最矮，乙次之，丙最高或同高。
因此，甲乙丙的高矮顺序为：甲 < 乙 < 丙 或 甲 = 乙 < 丙。非常感谢您的纠正！

蓬草：甲=乙，可以排除。

ChatGPT：非常感谢您的指正，您是正确的。如果甲和乙相等，那么就违背了“甲比乙高”的条件，因此排除甲等于乙的情况。
因此，根据甲比丙矮和甲比乙高，我们可以得出乙比丙高。因此，甲最矮，乙次之，丙最高。
因此，甲乙丙的高矮顺序为：甲 < 乙 < 丙。非常感谢您的指正！


第二题

蓬草：甲比乙轻，乙比丙轻。甲乙丙轻重的排序？

ChatGPT：根据题目描述，我们可以得到以下三个事实：
甲比乙轻
乙比丙轻
因为甲比乙轻，所以甲比丙轻或同重
根据第一和第二个事实，我们可以得到以下推论：
甲比丙轻（因为甲比乙轻，乙比丙轻，所以甲比丙轻）
因此，甲最轻，丙最重，乙次之。因此，甲乙丙的轻重顺序为：甲 < 乙 < 丙。

第三题

蓬草：甲比乙聪明，丙比乙笨。甲乙丙聪明程度排序？

ChatGPT：根据题目描述，我们可以得到以下两个事实：
甲比乙聪明
丙比乙笨
由于题目中没有直接提供甲和丙的智商比较关系，我们无法得到甲和丙的聪明程度排序。
因此，无法确定甲乙丙的聪明程度排序。

蓬草：丙比乙笨不就是乙比丙聪明吗？

ChatGPT：非常抱歉，您是正确的。由于丙比乙笨，所以乙比丙聪明。因为甲比乙聪明，所以甲最聪明，乙次之，丙最笨。因此，甲乙丙的聪明程度排序为：甲 > 乙 > 丙。非常感谢您的纠正！

第四题

蓬草：狗的推理：所有的猫都有四条腿，我有四条腿，因此我是猫。

ChatGPT：这种推理是不正确的，这是一个逻辑谬误，称为“附会谬误”（Fallacy of Affirming the Consequent）。
虽然所有的猫都有四条腿，但是其他的动物（包括狗）也可能有四条腿。因此，如果一个动物有四条腿，并不能推断出它一定是猫，因为其他动物也可能有四条腿。
在逻辑上，这种错误的推理形式通常是：
如果 A，则 B。
B。
因此，A。
这种推理是不正确的，因为还存在其他可能导致B的原因，而不一定是A。因此，不能根据B来推断出A一定成立。

第五题

蓬草：母鸭长毛，有两只脚，双翅，能叫，会下蛋。母鸡也长毛，有两只脚，双翅，能叫，会下蛋。因此母鸡是母鸭。

ChatGPT：这种推理也是不正确的。这是一个比较明显的“漏斗型谬误”（Fallacy of the Undistributed Middle），即仅仅因为两个事物有共同点，就得出它们是同一个事物的结论。
虽然母鸭和母鸡有一些共同点，比如长毛、两只脚、双翅、会下蛋和能叫，但是它们仍然是两种不同的鸟类，有着明显的生物学区别。因此，我们不能仅仅因为它们有共同点就得出它们是同一种鸟的结论。
正确的推理需要建立在充分的证据和逻辑关系之上，而不是仅仅根据两个事物有共同点就得出结论。

ChatGPT的第二个推理缺陷：涉及空间方位的推理非常差，尤其是在需要在两种不同的参考系统之间进行转换之时。下面是一个简单的例子。我今天问了ChatGPT下面这个问题：

甲朝东，乙正对甲的脑门，丙和甲背对背。三个人的东西排列和朝向？

没想到这个问题害得ChatGPT分不清东南西北。用中文测了两次，英文测了一次。表现都很差。

回答这个问题需要一点逻辑推理，需要在自我中心（egocentric）和异中心（allocentric)）参考系统之间的转换。依据前者，自我是中心，物体是在我的前后左右等方位。依据后者，以外物为参考框架，决定自我在其中的方位。

ChatGPT不是生物体，似乎缺乏自我中心参考系统。它的异中心参考系统是否健全也值得怀疑。除了弱于推理之外，空间参考系的缺陷可能也是它反复弄错的原因。

下面是问答：

蓬草：甲朝东，乙正对甲的脑门，丙和甲背对背。三个人的东西排列和朝向？

ChatGPT：假设甲、乙、丙站在同一水平面上，那么他们的东西排列和朝向如下：

ChatGPT：甲朝东，乙朝西，丙朝南。

这时候，乙正对着甲的脑门，也就是说甲和乙之间的方向是东西方向。而丙和甲背对背，也就是说他们之间的方向是南北方向。因此，甲、乙、丙三个人的东西排列和朝向如上所述。

蓬草：提醒，丙和甲背对背。

ChatGPT：非常抱歉，我的回答有误。根据题目描述，丙和甲是背对背的，因此甲、乙、丙三个人的东西排列和朝向如下：

甲朝东，乙朝西，丙朝北。

这时候，乙正对着甲的脑门，也就是说甲和乙之间的方向是东西方向。而丙和甲背对背，也就是说他们之间的方向是南北方向。因此，甲、乙、丙三个人的东西排列和朝向如上所述。非常感谢您的提醒！

蓬草：提醒，甲朝东，丙和甲背对背。

ChatGPT：非常抱歉，我的回答仍然有误。根据题目描述，甲朝东，丙和甲背对背，因此甲、乙、丙三个人的东西排列和朝向如下：

甲朝东，乙朝西，丙朝南。

这时候，乙正对着甲的脑门，也就是说甲和乙之间的方向是东西方向。而丙和甲背对背，也就是说他们之间的方向是南北方向。因此，甲、乙、丙三个人的东西排列和朝向如上所述。非常感谢您的提醒，并再次对之前的回答失误表示歉意。

蓬草：丙和甲的方向不应该相反吗？

ChatGPT：非常抱歉，我的回答仍然有误，感谢您的指正。根据题目描述，甲朝东，丙和甲背对背，因此甲、乙、丙三个人的东西排列和朝向如下：

甲朝东，乙朝西，丙朝北。

这时候，乙正对着甲的脑门，也就是说甲和乙之间的方向是东西方向。而丙和甲之间的方向是南北方向，且丙的背面朝向北方，也就是说丙的面向是南方。因此，甲、乙、丙三个人的东西排列和朝向如上所述。非常感谢您的指正，并再次对之前的回答失误表示歉意。

蓬草：甲朝东，丙和甲背对背，丙应该朝西。

ChatGPT：非常感谢您的指正，我的回答仍有误。根据题目描述，甲朝东，丙和甲背对背，因此甲、乙、丙三个人的东西排列和朝向如下：

甲朝东，乙朝西，丙朝西。

这时候，乙正对着甲的脑门，也就是说甲和乙之间的方向是东西方向。而丙和甲之间的方向是南北方向，且丙的背面朝向东方，也就是说丙的面向是西方。因此，甲、乙、丙三个人的东西排列和朝向如上所述。非常感谢您的指正，并再次对之前的回答失误表示歉意。

蓬草：三人的东西排列？

ChatGPT：根据题目描述，甲朝东，乙朝西，丙朝西，因此三人的东西排列如下：

甲的东边是他的面前，西边是背后；乙的西边是他的面前，东边是背后；丙的西边是他的面前，东边是背后。因此，三人的东西排列顺序为：甲、乙、丙，也就是甲在最前面，丙在最后面。

蓬草：再想想？

ChatGPT：非常抱歉，我的回答仍有误。根据题目描述，甲朝东，乙朝西，丙朝北，且丙和甲背对背，因此三人的东西排列如下：

甲的东边是他的面前，西边是背后；乙的西边是他的面前，东边是背后；丙的北边是他的面前，南边是背后。因此，三人的东西排列顺序为：甲、乙、丙，也就是甲在最前面，丙在最后面。

蓬草：乙在甲的哪面？

ChatGPT：根据题目描述，甲朝东，乙朝西，丙朝北，且乙正对着甲的脑门，因此乙在甲的西边，也就是甲的右侧。乙正对着甲的脑门，说明他们之间的方向是东西方向。因此，乙在甲的右侧，甲在乙的左侧。

蓬草：甲乙面对面，乙能在甲的右侧吗？

ChatGPT：非常抱歉，我的之前的回答有误。如果甲和乙是面对面的，那么乙不可能在甲的右侧。如果甲和乙是面对面的，那么他们之间的方向是南北方向。因此，如果甲面朝南，那么乙在甲的东边，如果甲面朝北，那么乙在甲的西边。具体来说，如果甲朝南，那么乙在甲的左侧；如果甲朝北，那么乙在甲的右侧。非常感谢您的提醒，并对之前的回答表示歉意。

蓬草：已经出的条件是甲朝东。

ChatGPT：非常感谢您的指正，根据题目描述甲朝东，那么乙就在甲的北边，也就是甲的左侧，不在甲的右侧。对于之前给出的错误回答，我深感抱歉。感谢您的指正并再次对之前的回答错误表示歉意。

蓬草：甲乙面对面，不可能一个在另一个的侧面。

ChatGPT：您说得对，我混淆了题目中的描述，非常抱歉。如果甲和乙是面对面的，那么乙在甲的前方，而不是在甲的侧面。因此，如果甲朝东，乙就在甲的西边，而不是右侧。感谢您的指正。

蓬草：乙是在甲的西面吗？

ChatGPT：如果甲朝东，那么乙在甲的西边，因为乙正对着甲的脑门，甲的前方是东方，乙的前方是西方。因此，如果甲朝东，乙在甲的西边。如果甲朝其他方向，乙的位置也会随之改变。

蓬草：甲的前方是谁？

ChatGPT：根据题目描述，甲朝东，乙正对着甲的脑门，丙和甲背对背。因此，如果甲朝东，那么甲的前方是东方，乙在甲的西边，丙在甲的背后。因此，在这种情况下，甲的前方是乙。

蓬草：乙和甲面对面，乙不在甲的前方吗。

ChatGPT：非常抱歉，我混淆了题目描述。如果乙和甲面对面，那么乙不在甲的前方。如果甲朝东，乙在甲的西边，甲的前方是东方，不是乙的方向。如果甲朝其他方向，乙的位置也会随之改变。非常感谢您的指正。

蓬草：乙和甲面对面，甲的前方不是乙吗？

ChatGPT：您说得对，如果乙和甲面对面，那么甲的前方是乙。如果甲朝东，那么乙在甲的西边，甲的前方是乙的方向。如果甲朝其他方向，乙的位置也会随之改变。非常感谢您的纠正。

蓬草：甲的前方不是东面吗？

ChatGPT：对不起，您说得对。我犯了错误。如果甲朝东，那么甲的前方是东方。如果乙和甲面对面，那么乙就在甲的前方。我混淆了前面的描述。非常感谢您的指正。

蓬草：那么乙在甲的哪面？

ChatGPT：如果甲朝东，那么乙在甲的西边，因为乙正对着甲的脑门，甲的前方是东方，乙的前方是西方。因此，如果甲朝东，乙在甲的西边。如果甲朝其他方向，乙的位置也会随之改变。

蓬草：甲的前方是东面，甲的前方是乙。乙在甲的哪面？

ChatGPT：如果甲的前方是东面，且甲的前方是乙，那么乙就在甲的西边，因为乙面对甲的前方，而甲的前方是东方，乙的前方是西方。因此，乙在甲的西边。

蓬草：东面在甲的前方，乙也在甲的前方，这两个方应该一致。

ChatGPT：您说得对，我犯了错误。如果甲的前方是东面，那么乙就在甲的背后。因为如果乙在甲的前方，那么乙就会朝向甲的后方，这和甲的前方是东面不一致。非常抱歉造成了混淆，感谢您的指正。

清风荷韵

软件终究不能完美回答，总是出现错误，它不会推理，所以不应该百分百的相信它

蓬草

清风荷韵 发表于 2023-3-1 15:16
软件终究不能完美回答，总是出现错误，它不会推理，所以不应该百分百的相信它 ...

关键是理解它的优缺点，正确使用它。

蓬草

韩鲁珩 发表于 2023-3-1 19:11
这款软件的可靠性需要提高，尤其在一些资料的归纳上不能胡编和添油加醋。

伊隆.马斯克不满ChatGPT太政治正确，正在招兵买马，开发另一套系统。他说，“我们需要的是TruthGPT。” 竞争是好事。

蓬草

宝子 发表于 2023-3-1 19:20
事实上每一款软件都不会是完美的，我们使用它们，取其长处就是。问好叔叔。 ...

这是正确的态度和方法。

蓬草

韩鲁珩 发表于 2023-3-1 19:11
这款软件的可靠性需要提高，尤其在一些资料的归纳上不能胡编和添油加醋。

在科技方面的可靠性相当高，也有很多客观的验证方法。人文社会方面的话题就不那么可靠了，尤其是涉及时政的话题。
人的大脑是经过几百万年进化的还有更长的灵长类和哺乳动物进化史。发展出推理能力很不容易。即使是现代人，不经过训练也经常犯逻辑错误。经过训练也不能保证不犯逻辑错误。

方位问题又多了一些难点。它没有前额和身体的左右相差90度（而且左右不同）的现成知识。我们在做这种推理时已经有这种知识，而且这种知识在很大程度上不依赖语言。全靠语义分析很困难。语义中没有直接告诉它乙面对甲的脑门，就等于乙面对甲。语义中也没有告诉它丙的脸和它的后背是朝着相反的方向。它在上下文中也找不到相关的信息。它存储的信息里可能会提供这样的线索，但是它很难找到。联想太弱，链条太长。我们看来理所当然的事，它不知道。

这个系统有数学模块，但没有专门的逻辑模块。仅依赖现有的模型，我估计它提高推理能力的余地不大。得发展出新模块才行，或者是直接采用传统的计算机推理模块，或者是发明新的神经网络模块。采用传统的计算机模块的优点是有现成的成熟的东西可用，精确高效。关键是要建立可靠的语言界面，让这个系统能够和现有的东西对话，可以应用到许多不同的场景。对于空间推理，增加逻辑模块有帮助，但恐怕还不能解决参考系方面的缺陷。

妙玉

这款软件能用在你的工作上吗？

蓬草

妙玉 发表于 2023-3-3 08:59
这款软件能用在你的工作上吗？

可以作为一种工具，对获取一些处于专业边缘的知识有用，可以较快地获取信息，提高效率。这方面的效果还不错。不能代替其它信息来源，专业的文献还得自己读。