周鸿掉在演讲中介绍,大模型的算法是用了一个transformer模型,OpenAI第一次做了一个创新。
在周鸿祎看来,OpenAI最大的创新是它第一次突破了所有公司的局限性,把人类所有的知识都训到大模型里,他们就发现说书读千遍其义自见,当所有的书不需要人工的标注,这也是大模型的一个非常了不起的创新。
他介绍,过去我们做人工智能,先要把训练的数据进行标注,你不可能把人类所有的知识都标注一遍,transformer已经实现了这一点,不需要标注,把人类所有的知识,可以理解成大量的书籍、论文、网页,把它训练进去之后,相当于人类对世界的认知和对语言的理解,这个世界模型建立起来,然后再通过人工对一些方法的训练,我们叫微调,使得这个模型能够把各种能力发掘出来。
“所以,大模型等于是用大的算力加上一个大模型的基础,最重要的是加上大的数据、大的标注,最后加上大的用户流量的使用来进行用户的对齐和校正,得出来一个大模型。”他说。
周鸿祎认为大模型有几点最大的突破:
第一,过去人工智能炒得很热,一直用不起来,是因为人工智能在每个领域用的算法都不统一。大模型第一次让我们看到了一种可能性,用一种统一的处理知识的方法,把很多人工智能垂直领域的问题统一起来。
第二,人工智能过去我喜欢叫“人工智障”,在座的各位如果用过SIRI,用过各种智能音箱可能感觉跟它聊不了两句就聊不下去了,但是这次大模型解决了人类对自然语言理解的问题。
他谈到,很多人对大模型有一个误解,认为只适用于语言处理,这个误解很大,因为人工智能的一个重要的里程碑就是你理解了语言,人类是用语言描述这个世界的,就基本上建立了对这个世界的认知。
“在这个基础之上再来做计算机视觉,再来做机器人控制,因为过去不理解这个世界,没有人工知识的理解和基础,你做这些任务基本不可能。有了自然语言处理的技术以后,其它人工智能,甚至未来蛋白质分析,包括基因分析,包括最近做的机器人控制都有可能用大模型来进行统一的解决,我觉得这是非常了不起的。”