你向ChatGPT提了个问题，他竟然能给出一个完美的答案，听起来就像真人写的一样。很神奇对吧，但是我们是如何创造出能像你最聪明的朋友那样聊天的电脑呢？今天我要用5岁小孩都能懂的方式，向你解释ChatGPT的工作原理。看完这篇文章，你终于会明白为什么这台电脑能写诗，能解答数学题，甚至还能跟你争论。比如菠萝到底该不该放在披萨上？

其实这根本不是什么魔法，没想到吧，也不是有个小人儿困在你电脑里疯狂打字回复，更不会实时查阅全世界书籍来回答你的问题。

实际上他是个超聪明的模式，匹配机器，通过海量数据学习预测句子中下一个最可能出现的词语。想象你有一个超级聪明的朋友，他读过所有出版过的书籍，所有网站文章和故事，而且不只是读过一遍，还记住了所有词语搭配的规律模式，这个朋友发现当人们写猫咪坐在什么什么的时下一个词儿，通常是垫子，椅子和桌子几乎不会随机接大象或宇宙飞船。ChatGPT本质上就是这样一个超级聪明的朋友，只不过他替代的不是人类，而是一个能识别海量文本规律的计算机程序，其阅读量远超人类千辈子能读完的内容，但真正神奇之处在于，ChatGPT并不像你我这样真正理解词语的含义，当你听到狗这个词时，脑海中会浮现毛茸茸会吠叫摇尾的动物形象，ChatGPT却无法构建这种画面，他只知道，狗这个单词，长羽睡觉尾巴宠物遛弯和零食等词同时出现。他发现这些词语总爱结伴出现，就像你知道花生酱和果酱是绝配一样，或是当人有人说咚咚敲门时，你自然会接谁呀？

你可以这样理解想象你在玩一个游戏，别人说出句子的开头，你要猜接下来会说什么，如果我说我要去刷我的。什么什么你八成会猜牙或头发对吧，你肯定猜不到是大象或家庭作业。因为你以前经常听人们说刷牙梳头这些固定搭配，ChatGPT玩的也是这种猜词游戏，但是他在这方面简直出神入化，因为他见识过数10亿个人类遣词造句的真实案例，现在我们来聊聊ChatGPT。究竟是如何学会这些语言规律的。

这可不是一夜之间凭空变出来的，这个过程耗时漫长，并且需要许多高性能计算机协同工作。这个过程被称为训练，就像教婴儿学说话一样，只不过婴儿每秒能处理数百万个句子。在训练过程中，ChatGPT被输入了海量文本。包括书籍网站文章故事和对话。数量多达成千上万，但最精妙的地方在于训练者并没有给ChatGPT完整的句子。他们改用了一种新方法给ChatGPT看带有缺失单词的句子。然后让ChatGPT来猜缺失的单词是什么。

这简直是有史以来最高难度的完形填空测试，刚开始时，ChatGPT在这个游戏中表现得一塌糊涂，它经常会猜出一些完全不着调的随机单词。比如你给它看“the sky is(天空是）”，它可能会猜紫色、三明治，甚至是数字17。但每次猜错后，训练师都会告诉它正确答案。

他们会说：“傻电脑,天空是蓝色的啦。”于是ChatGPT就会稍微调整一下它的猜测策略，接着再用另一个句子重新测试。这个过程发生了无数次，慢慢地、非常缓慢地，ChatGPT开始注意到一些规律。它开始理解“天空”常与“蓝色”相关联；“猫”通常会“喵喵”叫；当有人问“你好吗？”时，回答通常是“我很好，谢谢”之类的话。

就像看着一个婴儿学说话，只不过这个婴儿是从互联网上所有的对话中学习。但ChatGPT并不是一个单一的大脑，它实际上由许多称为神经网络的小部件组成。

你可以把它们想象成一个个专业分工的小团队，有些团队特别擅长理解语法规则，另一些则擅长记住对话中先前提到的内容，有些团队专注于理解上下文，比如当讨论存款时知道bank是指银行，而在谈论钓鱼时它又表示河岸。这些神经网络就像配合默契的团队项目一样协同工作，当你向ChatGPT提问时,不同团队就会各司其职，语法团队确保回答符合正确的句子结构，上下文团队保证回答与当前对方内容相关联，知识团队则从训练中学到的海量信息中调取相关内容，而人格团队负责让回答听起来自然友好、避免机械生硬。

最酷的部分在于ChatGPT生成回复的实际运作方式，当你输入问题时，ChatGPT并非立即知道完整的答案,而是一个字一个字地生成，不断自问：根据前面所有内容，下一个最可能出现的词是什么？就像我们之前说过的词语接龙游戏。

直接说我的词语接龙游戏，只不过要对回复中的每个词都持续进行这个思考过程。比如你问天气怎么样，ChatGPT可能首先判断首词应该是“我”“今天”或“天气”。假设选了“我”，接着会想：既然以我开头，后面通常会接什么？可能选择“不”，于是就形成我不的起头。接下来会发生什么？他可能会选择这样回答，然后他就会继续这个过程，逐字逐句的构建回复内容。“我无法获取实时天气数据，但是您可以自行查询。”

每一个词语的选择都基于 ChatGPT在训练中学到的所有语言模式，以及当前对话中已经发生的内容，他们不断平衡着，从海量书籍和网页中学到的知识，与具体的语境中最合理的表达。

现在您可能会好奇ChatGPT是如何记住，你们刚才对话中谈论的内容，毕竟它只是一次猜一个词，那它是如何记住你们在讨论的是狗狗还是家庭作业？又或者你最爱的冰淇淋口味呢?这就涉及到所谓的注意力机制，这可能是ChatGPT工作原理中最酷的部分。

把注意力机制想象成对重要细节的超强记忆力，当你和朋友聊天时，自然会记住对话的关键部分，就是他们之前说过的话。如果他们提到明天有场考试，你就可以事后问起这件事，ChatGPT也有类似的能力。只不过它能同时关注，对话中出现的所有内容。每次ChatGPT生成新词汇时，它都会回溯整个对话记录。并自问：当前对话中哪些部分，对预测下一个词最关键?

 如果你五分钟前还在问宠物狗的事，现在突然问起买食物，ChatGPT能将这两件事联系起来，判断出你很可能是在询问，狗粮而非人类食品。但有个关键点必须明白：ChatGPT并不像人类那样，真正掌握事实知识。当你知道巴黎在法国时，这是明确而具体的知识点，ChatGPT并不是这样存储事实。相反，它学习到'巴黎'和'法国'这些词，经常在句子中同时出现。

还有像'首都'和'城市'这样的词汇，所以当你询问关于巴黎的问题时，它能生成看似知道巴黎是法国首都的文本，但它实际上是在运用文本，它学习到的词语搭配规律来预测文本。这也是ChatGPT有时会出错的原因，或者说些听起来很自信但其实是错误的话。

它不是在撒谎或试图欺骗你，它只是遵循已学习到的模式，而有时这些模式会导致错误的结论。就像如果你学到'红色'和'苹果′经常一起出现，你可能会认为所有苹果都是红色的，尽管有些是绿色或黄色的。

 

训练过程还包括了，另一个重要步骤——微调，在ChatGPT从书籍和网站学习了所有这些基本模式之后，人类训练员与它进行对话并评估其回答质量。他们会明确指出哪些回答是有帮助的，哪些回答令人困惑或存在错误。

这使得chatGPT不仅学会了如何预测词汇，更掌握了如何成为出色的对话伙伴。这就像学习社交礼仪一样，你或许本能地知道'请'和'谢谢'是礼貌用语，但仍需要有人指导你在何时以及如何正确使用它们，在人类训练员的帮助下，ChatGPT学会了在对话中保持助益性、无害性和诚实性。

 

ChatGPT还学会了遵循指令进行应答，训练过程中会给它布置诸如'写一首关于猫的诗'或'用简单语言解释光合作用'等住务。然后评估它执行这些指令的效果，随着时间推移，ChatGPT越来越擅长理解人类需求，并能给出符合要求的回应。

ChatGPT最令人惊叹的能力之一，是它能处理从未专门训练过的任务，比如没人教过它写俳句、解特定数学题或设计菜谱。但由于掌握了丰富的语言运作规律，它能创造性地组合这些规律来应对新挑战。这就像你一旦掌握了语法规则和大量词汇后，你可以就任何主题创作故事。即便你从未写过相关题材，运行ChatGPT的计算机拥有惊人算力，这些机器每秒钟能进行数万亿次运算。

当你发送消息给ChatGPT时，超级计算机群会协同处理，它们共同分析你的问题，考量所有相关模式并生成回复，整个过程仅需数秒即可完成。考虑到背后庞大的计算量，这实在令人惊叹。在训练过程中，它就学会了规避生成有害、冒犯或危险的内容。ChatGPT还内置了安全防护机制，它就像拥有—种超强直觉，知道在棘手场合该说什么合适的话。如果你要求它协助危险行为，它会礼貌拒绝，并经常给出更好的替代方案。

但ChatGPT并不完美，牢记它的局限性很重要。它无法实时浏览网络，所以知识储备存在截止日期，它无法在不同对话之间学习或记忆信息，每次开启新对话，都像是初次遇见ChatGPT。尽管它极其擅长生成类人文本，但它并不具备人类那样的意识或情感，现在让我们回顾这段人工智能探索之旅：ChatGPT通过阅读海量人类文本学习对话技巧，并从中发现我们遣词造句的规律。结合所学规律和当前对话的上下文，就像有个博览群书的朋友，还特别擅长猜你想听什么。现在就去和AI聊聊天吧，但记住你其实是在和世界上最复杂的文字预测机对话，不过可别被它忽悠得以为它有感情。