GPT的前世今生

嗨!大家好! 我是君心少,欢迎大家来到我的频道!今天我们来讲解火遍全球的GPT的实现原理。

首先是背景:

ChatGPT自己的身世也极富有戏剧性。
2015年,30岁的山姆.阿尔特曼和28岁的格雷格.布罗克曼(GregBrockman)与马斯克联手,召集了30岁的苏茨克维等多化AI顶级人才,共同创立OpenAI,希望在谷歌、Facebook等诸名巨头之外,建立中立的AI前沿科研阵地,并且雄心勃勃地把构建与人类水平相当的人工智能作为自己的目标。那时候,媒体报道基本上都以马斯克支持成立了家非营利AI机构为标题,并没有多少人看好OpeAl,甚至连苏茨克维这样的灵魂人物,在加入前也经历了一番思想斗争。
前三年,他们在强化学习、机器人、多智能体、A1安全等方百多带克用口的建设有款得特别有说服力的成果。以至于主要赞助人马斯克对进展不满意,动了要来直接管理的念头。在被董事会拒绝后,他选择了离开。
2019年3月,山姆.阿尔特曼开始担任OpenAl的CEO,并在几个月内完成了组建商业公司、获得微软10亿美元投资等动作,为后续发展做好了准备。

2020年,GPT-3横空出世,NLP( natural language processing,自然语言处理)小圈子里的一些有识之士开始意识到OpenAI技术路线的巨大潜力。在中国,北京智源人工智能研究院联合清华大学等高校推出了GLM、CPM等模型,并积极在国内学术界推广大模型理念。从上页关于大模型进化树的图中可以看到,2021年之后,GPT路线已经完全占据上风,而BERT这一“物种”的进化树几乎停止了。

2020年底,OpenAI 的两位副总达里奥.阿莫迪( Dario Amodei )和丹妮拉.阿莫迪( Daniela Amodei )(同时也是兄妹)带领GPT-3和安全团队的多位同事离开,创办了Anthropic。达里奥.阿莫迪在OpenAI的地位非同一般:他是伊尔亚.苏茨克维之外,技术路线图的另一个制定者,也是GPT-2和GPT-3项目以及安全方向的总负责人。而随他离开的,有GPT-3和规模法则论文的多位核心人员。

一年后,Anthropic 发表论文“A General Language Assistant as aLaboratory for Alignment”,开始用聊天助手研究对齐问题,此后逐渐演变为Claude这个智能聊天产品。

其次我们来讲解一下GPT的基本原理:

基于AI能力不同,人工智能分为三类,分别是:ANI(狭义AI),AGI(通用AI),ASI(超级AI)。

到目前为止,我们所接触的AI产品大都还是ANI的。
简单来说,ANI就是一种被编程来执行单一任务的人工智能。无论是预报天气、下棋,还是分析原始数据以撰写新闻报道。ANI也就是所谓的弱人工智能。值得一提的是,虽然有的人工智能能够在国际象棋比赛中击败世界象棋冠军,如AlphaGo,但这是它唯一能做的事情,如果你要求AlphaGo找出在硬盘上存储数据的更好方法,它就会茫然无措。

我们的手机就是一个小型ANI工厂。当我们使用地图应用程序导航、查看天气、与Siri交谈或进行许多其他的日常活动时,我们都在使用ANI。

与ANI只能执行单-任务不同,AGI是指在不特定编码知识与应用区域的情况下,应对多种甚至泛化问题的人工智能技术。虽然从直觉上看,ANI与AGI是同一类东西,都只是一种不太成熟和复杂的实现,但事实并非如此。AGI 将拥有在事务中推理、计划、解决问题、抽象思考、理解复杂思想、快速学习和从经验中学习的能力,能够像人类一样轻松地完成所有这些事情。
当然,AGI并非全知全能。与任何其他智能存在一样,根据所要解决的问题,它需要学习不同的知识内容。比如,负责寻找致癌基因的AI算法不需要识别面部的能力;而当同一个算法被要求在一大群人中找出十几张脸时,它就不需要了解任何有关基因的知识。AGI的实现仅仅意味着单个算法可以做多件事情,而并不意味着它可以同时做所有的事情。
值得一提的是,ASI又与AGI不同。ASI不仅要具备人类的某些能力,还要有知觉,有自我意识,可以独立思考并解决问题。虽然两个概念似乎都对应着人工智能解决问题的能力,但AGI更像是无所不能的计算机,ASI则超越了技术的属性成为“穿着钢铁侠战甲的人类”。牛津大学哲学家和领先的人工智能思想家尼克.博斯特罗姆就将ASI定义为“一种几乎在所有领域都比最优秀的人类更聪明的智能,包括科学创造力、一般智慧和社交技能”。

下面讲解GPT的实现原理。首先来讲GPT创造生成文段,gpt通过学习资料,包括网页,训练员喂养资料等吸收资料,然后将文段分解成词,通过计算形成一个表,表信息包括某个词后面跟上另外某个词的概率,根据概率计算得到后面的文字。但是这样生成的文段天马行空,不符合人类逻辑,于是后面加入了人工训练模型,即针对AI回答不好的问题打差评,好的打好评,加大好评问答出现率,降低差评问答出现率,当喂养数据量越大时回答越准确。下面我们来讲神经网络,可以多端同时输入,经过不同节点不同权重的计算方法,走向不同路径,最后输出一个结果。

GPT生成图片原理与文字类似,只不过,文字最小单位是字词,图片是像素序列的学习和猜测排布过程。

GPT本身并不擅长处理逻辑推理类问题,比较擅长自然语言生成;但是2009年火起来的Wolfram|Alpha却很擅长逻辑处理,数学计算类准确性问题。两者一结合大大增加GPT的准确性,现在可谓是流行得一批。

最后做一个总结:

总的来讲目前最高AI水平处于AGI阶段,在未来很有可能能达到ASI的水平,如果再结合嵌入式开发,智能机器人和人类共生将不是梦想。让我们一起期待AI作为社会主要劳动力的出现吧!但是到时候将面临社会资源不均衡的出现,如何分配社会硬性资产,比如土地,房屋等等将是一场重大的挑战。

好的,谢谢大家的观看哦!

关于xinshao

xinshao is a software developer.
此条目发表在IT分类目录。将固定链接加入收藏夹。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注