本文节选于百度副总裁、百度AI技术平台体系总负责人兼百度研究院院长、国际计算语言学协会(Association for Computational Linguistics)前主席王海峰先生在11月8日人工智能论坛的主题演讲《汇聚知识 理解世界》,演讲精华内容整理如下:
王海峰:各位热爱AI的以及关心AI的朋友们,各位从事AI工作的同仁们,大家上午好!
我把我的话题聚焦一个相对具体的AI领域里面,就是知识输出,我们认为知识是AI非常重要的一个基石,所以我今天专门跟大家交流一下我们的知识图谱方面的工作。
这句话我相信所有的朋友都知道,科技是第一生产力。从18世纪开始,第一次工业革命开始,科学技术是最大的自然力和自然科学注入到我们的生产过程中,从而大大地提升了生产力,当然生产力又会影响生产关系的变化,进而为整个社会的方方面面都会带来改变。
而19世纪的第二次工业革命使我们进入了电气时代,20世纪的工业革命使我们进入了信息时代,随着这些工业革命的发生,科技对我们越来越重要。而今天呢,我们非常幸运我们处在一个工业革命之中,而其中一个最核心的科技就是人工智能,我们看到人工智能现在已经在影响我们生活的方方面面,渗入到各行各业。无论是我们想搜索信息还是浏览信息,还是根据地图导航出行,或者是要去翻译,以及在各行各业中我们金融,安防等各行各业中都已经大量地应用人工智能。
这张图,左边的图和右边的图,大家可以清晰地看到,不管是在世界的范围内还是在中国,人工智能的投资都在迅速地增长,而且可以预计未来仍然有高速的增长。而这件这张地图呢,大家看到,其实人工智能在各个领域,各个方向都非常活跃。所以呢,总结一下前面所说的,我们认为人工智能是新的生产力,对我们未来很长一段时间人类生产力提升的最重要的基础。
而百度,众所周知是从做搜索引擎开始的,差不多18年以前我们开始做搜索引擎。搜索引擎从过去那一代开始,一些技术都在其中得到了应用。比如说,自然语言处理的技术。而从7、8年以前,我们开始全面地从自然语言处理开始到语音,到头像,到进行人生学习、数据挖掘等等这些。而到今天我们形成了这样一个相对完整的人工智能的工具。在基础层我们人工智能很重要的要求就是大数据,要有强大的计算能力还有非常强大的算法。而真正跟人相处,可以去模拟这些能力,我们把它分成两层,就是感知层和认知层。
我们知道我们每个人通过眼睛,通过耳朵,通过我们的各种感觉,我们去感觉这个世界,感知这个世界。这是我们感知层要做的事情,所以我们要做计算机视觉相关的,头像的设计,也要做AR、VR这些技术,同时跟人的听觉相关的这种语音技术,包括语音的合成、识别等等。
应该说感知能力呢不仅是人有,很多动物也都有的感知能力,甚至有一些,比如说有的动物可能听觉可能比较强,有的视觉比较强。而认知是人所特有的。认知的语言是人很重要的一个区别于其它动物的能力,同时知识也是人能不断地进步,不断地去凝炼,去传承知识,推动人不断进步的一个非常重要的技术。当然了,因为我们除了要认识客观世界的这种知识以外,我们人和人之间的,还要对人有理解,这就是我们感知层的另一个就是用画像。
在这基础上,我们提供AI的平台,这个平台呢,现在百度内部,我们通过平台化的技术支持了公司大量的应用。同时也会把我们平台对外开放,同时达到很多AI的生态,但最终还是通过产品应用去为我们每一个用户,每一个企业去提供服务。
这里大家看到的几张图,左边是一个图像,第一张图,我们拿到这张图,如果用图像处理的技术很容易找到一张相似的图,比如我们找到一张相似的图。这个用图像处理技术就可以完成了,但是如果我们想问的问题是,白葡萄酒的营养价值,那这时候大家可以想象的就是,仅仅用图像处理技术就不够了,这需要用真实而,百度在做这样的,百度一下做这样的,回答一下有问题的时候,其实会用到背后的知识图谱。右边这个也是一样,我们云技术完全可以碰到了一个选择的时候,通过识曲,把这个曲子识别出来,看什么曲子,相应代码,把这种曲子调出来,甚至他的专辑的风格也可以拿出来。
但是,如果我们这个曲子还有谁演奏过,那这时候仅仅用云技术又不够了,又需要背后有知识,又需要知识投入的支撑。
所以呢,大家可以看到,看是感知层、认知层的很多技术其实是一个一个相对独立的,而且每一个研究非常多的问题仍然要继续研究而且进行解决。但是把它们组合在一起,而且赋予知识以后,我们就可以做更多的事情。
所以我想说知识是AI进步的阶梯,我们每个人都知道这样一句话,高尔基的一句话,就是书籍是人类进步的阶梯,这里边包含两方面的意思,一方面是人通过读书可以不断学习更多的知识,不断地进步,同时有了更多知识更多能力的人,也可以不断地去学新的知识,有更多的知识去沉淀下来,传承下去。人呢,这个阶梯搭得高,人也走得高。
对于人工智能来讲,知识也是一样的,这个一方面,有了知识就有智能了,会变得更强大,可以做更多的事情,反过来呢,因为更强大的人工智能,这种能力具备了以后,也可以帮我们更好地去从客观世界中挖掘,去获取,去沉淀知识,而这些知识和这个人工智能系统形成一个正确的管理,共同地进步。所以呢,我后边我会讲有很多的办法会把现实世界的知识都收集起来,然后最后通过我们的电脑,我们的各种办法让它变成一个网状的知识瞳孔,而且这个瞳孔应该说,因为我们里面的知识非常多,可能比任何一个个人的脑子里所存储的东西还要多,同时又构成一个非常强大的网络可以做人工智能的各种应用作为它的基石。
先举个例子,大家看到这个从数据到信息到知识到智能这样一个金字塔,比如说我们看到一个“95”这样一个数字,我们知道这是一个数字,但是它意味着什么,如果我不给你更多的信息的话,你只知道它是一个数字。
但是如果我告诉你这是今天电视机前PM2.5指数,大家就知道95这个数字就变成了一个有用的信息。但是如果我没有背景知识,我不知道PM2.5,95意味着什么,对我可能价值也是大,我仅仅知道它是95,但是是好还是不好呢,不知道。所以如果这时候有知识,我知道这样一个95意味着空气质量是良,而进一步这就可以应用知识了,我知道这样的空气质量是良的时候呢,我应该怎么样,可以正常地户外活动,但是敏感人群呢不要经常外出。所以大家看到,从数据到信息到知识到智能这样的一个过程。
接下来我向大家介绍一下百度的知识图谱,从这下面一层我们要用基础的这种存储、运算、和服务的能力。很多的百度图谱,它们是从非常多的海量的数据里挖掘出来的,而这些包括比如说互联网上的数据,包括行业数据,也包括日志数据等等,最重要呢,其中的挖掘,归因、融合。同时,因为从中出了一个截点还要有很多边,这时候要建边等等,最后形成技术通用的知识图谱也有,很多行业的行业知识图谱。
在此基础上,这样的一个巨大的图谱里面,我们可以有一些有基本的算法去操作,比如说去查询,去雕铸,去计算,去推理,预测等等。而这些每一个产品在用的时候会调用那些分子去形成这个图谱,从而成完成特定的法令。
这样讲会比较抽象,给大家看一个,这个应该说是百度的庞大的知识图谱里面的一个很小的植物。大家看到,比如说我们随便从中间看一个节点,比如说看《中国有嘻哈》这个节点,会发现很多链接呢,链接到其它节点上去,比如说相关的演员,它的应用类型,包括办这个节目的爱奇艺等等方方面面都会链接出去。经过几次,大家发现我们转到很远去了,比如说经过几次右边大家看到这种,转到我们中国的这个诺贝尔奖的得主屠呦呦,而往左边这里还有很多其它的人。这就是一张知识图谱,我们里边包含了大量的知识,这些知识在不同的应用中会起作用。当然了,这里每一个节点其实能出来的DN(音)远远大于我这里能展现的,但当然这个屏不能大了,不然转一圈给大家展现更大的。
好,那又回到相对抽象的,可以看一看我们这个知识图谱有多大。现在里面呢,大家看到一个截点可以理解为是一个实体,会完成一个人、一个物,任何一个实体。而这里呢,我们大概是用了几亿的。而实体跟实体之间呢,几十个,几百个,几千个编出来都是可能,所以这个是一个整合关系。所以呢,每一个边的构成一个事实,比如说《中国有型》谁参加了演出,这也是一个事实,是谁举办的,又是一个事实。而现在百度直接是通过事实的量有多少,我们就有几千亿。
同时我们会支持图谱的计算,而且这个计算的动态的,也可以计算的,包括几十个应用场景,每天有几百个数据里头都是同时运作,都可以支持更新,可以多层次的查询等等。
左边是一个通用的知识图谱的利用,这个是百度百科的应用,通过对自然语言的分析、理解,把这个文字的抽取当中一个图谱。当然这个文字抽取的图谱量很大,因为受左边的限制,给大家一个实例,比如说银河系它会跟太阳和地球,包括跟它的英文名等等会出来,这是抽出了一个通用的图谱。而右边的呢,相当于从另一个文章里又抽取这样的一个图谱,大家看到这两个图谱有一些相似,但又不同,这就是不同的数据来源,我们会抽到很多知识。这时候呢,甚至比如说一些尤其常见的知识,可能成千上万的有关的,抽取非常多的那种知识。那这时候要做的知识的融合,甚至有一些数据可能会带来一些错误,不管是原始数据的错误还是计算过程中的错误,还有做校验之后保证知识图谱的质量。
刚才说的是通用知识的图谱,我们再看一个行业知识的图谱定律。大家能看到这是一个,一看应该是我的应用箱的一个手机容量套餐,跟这个容量套餐相关的会有很多链接,比如说它的月流量,它的月流量包等等,可以建这样的一个图谱。
那么,同时呢,对一个行业来讲,除了这些竞拍的实体之间,有实体又是跟应用关系以外,还有应用逻辑的。比如说,你大一个运营商的客服电话,想换流量包,它是有一个流程的,他会问你是什么包,是全国包还是本地包等等,你选择了一个以后,你有可能会要查流量。所以呢,这个流程可能也会变成行业图谱的一部分,结合的左边的那个图,和右边的那个流程,我们就完成了一个运营商的自动的客服,现在呢,比如说,大家打到运营商的那种客服电话有一定鼓励的回答,其实就是跟里面跟百度智能客服机器人进行对话。
刚才讲的是一些基本图谱的应用,在这里又讲一个口令色彩的测试,比如说左边这个应用,其实很简单,我们就问今天离圣诞节还有9天,那这样的一个问题呢,对人来讲难度不是太难,但是也要算一算,算也需要一点时间,但是对于知识图谱来讲,这是一个竞拍的知识,我们不能把直接把这样的一个问题答案直接存在图谱里,然后一问,检索出来的答案肯定是错的。这时候,需要的就是,先把今天是几号先搞清楚,然后圣诞节是哪一天要搞清楚,然后进行简单的计算得到一个正确的答案,比如说47天。而右边这个呢,相对比较复杂一点,用户问问题是东西可以带上飞机吗?这时候民航规则里一定没有写东西是可以带还是不可以带,我们首先要在知识图谱里先知道,它是一个打火机,这样的一个打火机呢,民航规定是不允许带的,所以这时候就得到这个答案是禁止的答案。
这里我们用链接取代数字,但是大家可以看一下这个曲线,相当于我们从2014年真正创建知识图谱,当然做是更早,其实更早解决这个,左边大量的曲线就是从这里开始,到今年3年的时间,这曲线一直在飞速地增长,涨了大概有160倍。相当于比如说百度搜索这样的应用,就是越来越依赖这个。
好,我们来做这个百度操作的这个搜索,传统的搜索就是你输入一个关键词,然后通常现在主要的搜索引擎就是一页都是结果,你要是不满意,下一页又是一个结果出来,每一个内容是一个超链接(URL),大概就是这个样子。有了知识图谱的支撑,我们可以给更直接的,用户需要的答案,以一种更友好的方式呈现出来。比如说第一个搜索的是“胡歌”,大家看到的一个图文并茂的结果,你需要的一些常用的信息都放这了。
第二个呢,就是太阳的重量,当然了,你在网页里可能也能找到一些网页应用,但是不如这样,直接把应用怼出来。而最右边的这个例子呢,用户找的是分立,这时候想跟大家讲,除了给一些分立相关的信息出来呢,大家看,还记得刚刚给大家展示的大图里面,是有很多的链接,就是相关的作品等等。那么,我们把相关的影视作品推荐出来,然后用不同的表现手段,这个是《那年花开月正圆》的这种影片。
我刚才讲认识层的时候,我说有语言的知识,语言也是支撑着重要的一个理念跟传承的载体,所以我们也专门为汉语语言。汉语语言本身也是非常博大精深的作为专门的针对汉语应用的知识图谱。这样的话呢,那些语言相关的信息,比如说澳洲的澳,笔顺,这个字我相信很多人都会写,但是这个笔顺能不能写对呢,这个恐怕还不容易,所以像这样的一个问题,我们大家看到可以直接出来。
有些都在不同,有一些是我们现在都处在一个经营输入网,后来说有语音也是一样的,有语音不会念也没法输入。而很多汉字的确是很有限,比如说上面是“对”,下面是“心”怎么念,那这时候呢,这个语言图谱里,大家看到的这个语言知识图谱和普通的这样的一个识别语音关系的图谱还是有点不一样。比如说跟这个语言我们会用人的话描述出来,上面是“对”,下面是“心”这样,找到一个“怼”字,这个是现在的网络比较流行的字。包括右边,我估计如果家里有小朋友在上学会不会有这样的问题,比如说背成语啊等等,这是一个图谱的成语语言功能。
这里大家看到的跟人物相关的一个文章,我们专门看到的这样一个文章来报道。最初这篇文章的总监,分析这篇文章很深的很重要的关键人物。这篇文章还没贴标签,你们要贴一个标签,然后画这个标签上去。加上我们的每一个用户也有个安全的问题,知道会关心什么领域,关心什么话题,这时候大家我们可以给他这个文章推荐给他。比如说这个用户是画像的,最大的特点就是互联网,所以会有这样的用户,我们就有不同的性能。
那么这些概念支撑了一个什么样的应用呢,上面的推荐有一个对话,而我们这些对话能带来一些产品的应用,让客户跟需要。所以这些信息,机器之所以能回答这样的用户,能把回答出背后的这些知识,并且带来一些交流。
我在上中学的时代,1983年的时代,是用这个色调,那么现在呢,大家知道都是更新版的。那么我们这样的一个抠图。比如说我们知道,知道这个视频是新式DO,但实际上呢,我们还知道比如说它的主题是有一点设计的担心。当年发生了的一件事也是,那么我们问,类似的视频是什么?大家知道把各种信息不管是现代的还是历史的都连接起来。
大家看到这是一步一步连续下去的,相当于在这样的一个最大的鼓励,可以保证每一个任务都可以完成。好,刚才讲的那些应用,从搜索到对话到推荐等等。那么,我最前面我也提到了,其实现在能力影响的不仅仅是这些互联网产品,就在这一次人工智能的爆发,很大程度上是跟互联网行业关系是很大的,但是不可能影响整个互联网,而是真的会影响各行各业,会深入到我们的生活工作中,方方面面,所以这是这次十九大报告也提出将互联网的技术与传统产业的融合不管是工业、农业、金融等等方方面面。而这种融合的过程中呢,人工智能要想为行业更好的服务,其实也是需要这些行业一些定制化,要有行业的知识。那么这时候就在我们通用知识的图谱的基础上,我们也要用相应行业的知识图谱,进而可以帮助提升行业的发展,帮助这些行业的产业去升级。
好,差不多到了,这些其实就是我的题目了,讲了这么多,总结一下就是我们真的是通过我们的AI技术,通过大量的数据,以及在不断互动的过程中不断地学习,我们就可以有越来越多的知识,这些知识既包括通用的知识也包括行业的知识,进而可以更好地理解世界,从而让我们人工智能去提升我们的团体,提升我们的每一个行业,让我们的生活变得更加美好,谢谢大家!
原文链接:https://blog.csdn.net/yyaannnnnnnn/article/details/129770480?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169103946716800180689791%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=169103946716800180689791&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-21-129770480-null-null.268%5Ev1%5Ekoosearch&utm_term=%E6%BE%B3%E6%B4%B2%E7%94%9F%E6%B4%BB