雷锋网按:人工智能和自然语言处理技术的结合,不仅在资深互联网公司的战略中占据了重要的地位,也造就了大量极具生命力的创新性公司。人工智能和自然语言处理到底怎样结合的?这种结合存在哪些挑战?如何克服这些挑战?未来是否还有更大机会?
在第二届语言与智能技术高峰论坛企业论坛上,出门问问创始人*飞、百度自然语言处理部总监赵世奇、奇点机智创始人林德康、微软亚洲研究院副院长周明、以及中科院软件研究所研究员孙乐组成了企业圆桌论坛,中科院信息工程研究生王斌担任主持,他们就以上问题进行了讨论。此外,他们就学术界和工业界的合作,自然语言处理技术的成熟度与产品需求的匹配等诸多问题也进行了深入探讨。
(雷锋网(公众号:雷锋网)注:从左至右依次为王斌、林德康、*飞、孙乐、赵世奇、刘丹、周明)
以下为对话内容实录,雷锋网做了不改变原意的编辑。
王斌:因为我也是原来做 NLP 出身的,做自然语言处理了人都知道,其实自然语言处理里面有很多内容,到后面的机器翻译,有一些技术不是很成熟。那么这个不成熟的技术怎么变成产品落地?其实是我们研究人员非常关心的一个问题。首先是志飞谈一下,中午他就提到对这个问题有一些很深的看法。
*飞:我没有说我有很深的看法,但还是来说一下很浅的看法,确实自然语言处理的技术还不是很成熟,所以我觉得如果我需要做在产品里面,举两个例子,首先技术对用户真的是必须要用的。
比如说在车载里面如果不用语音来跟这个机器对话,然后开车的时候,我要换一个地址或者说我导了航又想换音乐,因为这个时候用户没有别的办法,所以他可能对你这个技术,也没那么挑剔,而且愿意学习一下。如果在手机上做到这样的话,他不会来学习怎么用的,上来就挑战他这个机器的智商,显得这个人自己很聪明,或者调戏一下。但在这里面,我觉得由于他有这个需求,所以哪怕自己花点时间,学习适应,他可能也会去用。我们在智能车载里面,发现日活跃 10 个用户打开了这个机器,可能7个用户都会用语音交互。
另外一个,说白了这个 NLP 或者自然语言对话,你不能把它作为最主要产品最重要的 Feature,只能拔到一个噱头或者当一个锦上添花的事情。也就是说,你得构建另外一个产品是用户必须需要的。在这个基础之上,再加上语音对话,有的时候他想用就用,不想用就不用。但要明白,他不是因为这个来买单的。
我觉得这两个例子是我自己从产品角度去看,就是第一个用户必须要用。第二个可能这个 NLP 的技术在这里面,不是说它是最最核心的一个用户买单的体验。
林德康:对,我们现在在做一部语音助手。但 NLP 技术好多东西也是不太成熟,其实我们也没有指望它是一个很成熟的技术。就是说要使用比如 Parsing 或者其他自然语言分析结果的时候,就把它会 Fail 的这些因素会考虑进去,然后跟其他的方法能够结合起来去用。
我们做这个自然语言产品,没有志飞他们时间长,现在体会就是说,对于自然语言这个产品,一个很大的困难就是用户期望很难确定,就是你能做的事情很少,拿个纸条告诉人家能够为他们做什么,那这就没什么机会去用了。另一个就是说,你让用户觉得你能做很多事情,但实际上没有任何一个产品能满足用户很多需求,这样用户就经常很恼火。
我们用一个办法去稍微去 Match 用户期望值到某一个应用里面,那企业会对这些应用有一些期望值。
赵世奇:我的看法第一个就是 NLP 技术可能很难讲每一个技术真的成熟了。分词可能算是成熟的,包括刚才林老师也说到的 Parsing,它现在的准确率也不低了,虽然仍然难以说是成熟的,但实际上,我们会发现这些大量的自然语言技术其实在产品当中用的也不少。
举一个例子,咱们说到翻译,其实在当年 Google 那个时候上了 Online Translation 的时候,远没有现在成熟,它仍然是上线了,仍然得到了很多用户使用。那今天其实是它在不断成熟的过程中,作用在不断的增大,但这不代表它不成熟的时候,就不能在一定程度上帮助到人们做一些事情。
另外还有一个方面,我们的产品和技术怎么互补的问题,当技术不成熟的时候,就好像说是 “人”这个字是一撇一捺支撑起来的。其实我认为产品的技术也是一样,人工智能产品上的自然语言交互技术本身现在不成熟,它周边设计了很多具体的技术。那我们在用的时候,显然会遇到的一个问题,基本上三句就问倒了,或者是不会做什么了。
在这样的一个情况下,产品和技术如何去互补?就像刚才林老师说的,收缩和控制人们的使用预期,同时把技术的那种可能性挽回到极致。我觉得这个是需要技术人员和产品人员一起去想办法解决的问题。
刘丹:我们从做人工智能机器人是从 2012 年在成都落地来做的项目,当时 NLP 我们也就估计有 3-5 个人能懂一点,包括分词、一些智能应用识别。
产品我们更多以结果为导向。相当于说它一个不成熟的东西,你必须把它推到线上。通过线上去论证,直到成熟为止,它从不成熟到成熟的过程,看你怎么定义它,我觉得它相对来说是一个不稳态。
但是通过现在大数据的存在,包括很多的消费者用到我们的智能产品,他会帮助我们的技术、产品做一个修正和提升,最终走向成熟,我觉得这是非常重要的。就是说我们做的产品或项目也好,肯定是给我们的消费者带来价值。否则不管成熟或者不成熟,都没有这个命题存在。
王斌:大家讨论的结果就是 NLP 这边有一些地方不太成熟,但是跟应用相结合,找到其中的一个平衡点。第 2 个问题就是从这几年开始大家看到深度学习席卷所有的领域,包括 NLP 的领域。那么有一个问题就是,这个语言学难道就没有什么用了吗?
周明:我自己的理解,语言学家其实在语言很多任务上起到了很重要的作用。早期就不用说了,写规则、语法词典。其实就是今天语言还有词典仍然起作用,比如说情感分析用字典,其实是语言学家帮助他来总结的。
还有一个标准体系,比如说情绪有多少种分类,其实语言学家可能告诉我们的没有那么准,语言学家帮助我们制定体系,这是一个盲点。
第二个,语言学家产生的语料,比如说知识图谱这些东西,可以帮我们产生数据,来增强学习过程。
第三个就是语言学家可以做测试点,就是做任何自然语言处理的,有几个关键的地方一定要测到。那么语言学家给你写出这种测试案例来,甚至是系统,就是基于语言点来测试,比你那种盲目的抽样测试可能更准。
最后一个是现在所谓的都在通过大数据来进行学习,但是没有或者很少进行建模和学习。恰好语言学家,能够提供给予相应的指导方式。我认为这些领域,大家应该巧妙的利用起来才对。
孙乐:我觉得自然语言处理这个领域,实际上就是一个交叉学科,可能不但需要语言学,还需要心理学、哲学,需要神经科学。比方说,如果我们在建这个知识图谱,在见证研究语言的一些关系。
实际上你需要去从这些哲学中,来对自然语言理解的世界进行理解,我们要从各个学科中去吸取一些新的经验。我们学会在组织每年这种报告的时候,我们特别会请一些语言学家。其中一个老师他就讲了一个词性问题,但他分析了大概十几种语言。
其实我觉得在场的很多老师得到了很多启发,我们在讲中文的特殊性,其实特殊的语言还有很多。还有另外一个比如说像从认知科学,如果说有这种新语言学家能够把婴儿学习语言的过程给我们揭示出来,对我们来说是非常大的一个帮助。
王斌:下一个问题是,一方面企业有真实的需求,有大量数据,也有计算环境。但是,研究界也有很多的资源,如何实现这个学术界和工业界的共赢?
林德康:其实,现在说深度学习那么重要都是工业阶层,但它是从学术界出来的,一直在学术界都不受重视,只有那么几个学者一直在坚持,坚持了几十年。学术界跟工业界研究不一样,在工业界一般有时间表,哪怕是在 Google 的研究部门也有这个压力,会问这个到底跟现在的产品有没有相关性。在产品部门就更是这样的了,产品部门基本上是按 Quarter 算的。
在学术界做研究的话,一般是凭着自己信念、兴趣,就不管最后是不是像 Deep Learning 那样成功,只要这个过程比较喜欢,才会有人去做。
*飞:我之前也做过一段时间研究,后来就创业了。前一阵子建立了一个联合实验室,其实当时我就想说到底怎么样能够把企业跟学校的研究连起来。在美国的话,像这种暑期访问都有,但总的来说还没有达到一个特别好的效果。
在中国我觉得就更差,我看百度可能都没有这种教授暑期访问的计划。我当时想探讨的一个模式是什么呢?就是我特别想把这些博士生或者教授,能够带我们公司去待一个月或者待两个星期,先熟悉一下我们的系统,从里面的单元拿几个模块,然后了解每个模块大概往里面是怎么插的。
我的目标倒不是让这些老师或者学生去做我们的系统本身,但我觉得他可以先理解这个东西,然后再回到学校去,他甚至去抽象出问题,然后想想他搞的这些研究到底怎么能够跟我们的系统有一些关联,或者他有一些算法怎么插进去。最后,有一些东西,是不是直接会直接放在我们的系统里面去,我觉得这个是最好的一种模式。
但这个可能也没那么容易,因为很多学生他的压力很大,系统这个代码太复杂,他看两天可能就不看了。但我觉得这确实是特别核心的一件事情,如果说能够对系统又了解,然后又抽象问题,这块儿又能想出新的 Idea,然后 Idea 可以放在我们的产品里面去。但以前的话,学术上做一些 Demo,自己写不了 App,后台又没有,根本就没法 Demo 看。
而我们这里面其实一做进去可能第二天就可以看见了,所以我觉得能够以这样的模式去做的话,其实你刚才说的数据也好, Idea 或者人才成本也好,其实这些都不是什么问题。
赵世奇:刚才志飞提到教授访问计划,百度其实是有的,包括青年学者到百度访问,一般是几个月,也有超过半年,然后确实也做了一些对于公司很多方向有帮助的一些研究成果,实习生就更不用说了。
现在还有另外一个问题,就是数据共享,那我就记得每次参加 Panel 这样的环节,都有这个问题。就是为什么不公布数据、为什么不共享数据,你们是有这样的责任和义务的。其实这对于一个企业来说,它有这种服务用户的义务,它为用户的数据去保密,去慎重使用用户数据的义务。
这个数据能不能在合理合法和恰当的范围内和学术界来实现共享,我觉得这个作为企业来说,也应该算是一个思考。其实,之前我们说要不然不共享,要不然就是全盘突出的共享。但我有没有一个更安全、更合理方式的保证。我们说大家研究可用,甚至说包括一些开发者的开发可用,另一方面我们对于用户是安全的,也能够尽到它保护用户隐私和数据的责任。
我举个例子,像我们现在也在探讨一些方式,我们今年开放面向开发者的一个平台,它是做语言理解和交互技术的。那我们就意识到,开放这样一个平台只有技术的情况下其实是不够的。尤其像理解交互,没有数据的话大家是没有办法做的,所以有一种方式就是说,在平台上大家可以去提交自己标注的小范围、小规模的数据。
有了这些数据之后,我们其实可以从百度大数据里面,自动通过语义计算方式去筛选出来和你的数据最相似的一些数据,甚至可以筛选出来和你最容易错的那些数据最相似的数据。那么这些数据再提供给我们的开发者来做标准,这个过程它其实就是变成一种,我把所有最相似、最有用的那一部分数据给你。当然,这个前提是我们确保这些数据不会构成对用户隐私的侵犯。通过这种方式,我们希望可以达到更好的一个折中的状态。
刘丹:其实我们京东也在高校有一些合作,包括跟国内外大学建立了一些联合实验室,做一些课题,包括在做一些深度学习相关的一些算法研究。但更重要的是这些模型都来自于一个学术界的一些新的 Paper 或者新观念,大家都能看得到。
数据的问题,这个安全性很重要,包括京东上有用户家里面的数据,数据是相当高质量的。所以,这对我们来说相当重要。那我们在做深度学习也好,包括相关算法提升也好,就是这个数据,到底怎么来提供给你?学生的话可以来加入我们,这个数据可以整个开放给他。但是外面的人,我觉得可以通过借用的方式。
这个我们可以找出一部分相关的一些数据做一些数据透明,挖出来他的用户信息、电话等相关信息。这样的话,可以拿来做一些训练,包括做一些标准,未来上线的一个评测。用户觉得这个是没问题的,现在我们有一个模算师的平台就是做这个工作,里面沉浸了大量的一些区域面。未来如果有一些对 Chatbot 比较感兴趣的可以来做一些探讨。
王斌:大家知道人工智能现在是非常火,7 月 20 日我们国务院发布了一个新一代人工智能的规划,这个事情对我们到底有多大的意义?
周明:第一,我想说的就是,人工智能春天来了,给大家提供了很好的机会,包括*支持产业知识结构,有无穷多的机会。这也是我们这一次峰会的宗旨,就是提供一个交流平台,让大家能够茁壮成长。
第二,要有清醒的头脑,也不是说一窝蜂上什么都见效,然后大家都发财。只有有前瞻性、还有像*飞这样有商业头脑的人,还有机会超越。
比如说研究上你不能一窝蜂看人都做 Deep Learning,所以你也做这个,那不会有超越。我总在想,在别人做了某些事情的时候,能不能就不做,或者就是想,我如果是他,我下一步应该做什么?这个应该好好去定位,找一些新的机会。
我们作为在校的同学,其实要做一点有用的研究,要及时接触学术界的需求,不能就是在书本上来回来去该参数,以抄文章为主。所以要有更大的抱负,如果能够很好施展的话,一直到 2030 年,我认为一直是中国一个很好的机会,也是大家做学问、做产业的一个机会。
孙乐:因为这个也是很多院士花了挺长时间来呼吁国家来做部署,从咱们的国情来讲,就是*发文然后去一级级定,还是非常重要的。这个对咱们来说,是非常好的一个机会。然后就是我非常赞同的就是周明老师讲的,做研究你还是需要比较冷静的来看。就是大家都热起来了以后,大家都做问答,你是不是要去跟风做这个问答?
然后,从这个研究落地的角度讲,就是*出台政策的目的是拉动经济。根本性的目的是因为我们国家产业转型,人工智能是一个关键,从我们做研究的角度讲,只有技术能找到一个落地点的话,才会得到更多的指示。
*飞:从我个人来说,我是不太喜欢这种资源上倾斜或者怎么样。其实任何一项技术,尤其人工智能这种技术,它一定有自己的周期规律。如果说想靠*支援或者钱去催熟这个行业或者一些企业,我觉得这就是一个对比性的事情。所以我不希望我们能够拿到什么国家资助,我从来不这么想。
我觉得对一个非常商业化的企业来说,自己在市场上有竞争力就好了,而不是靠*补贴、资源倾斜,或者给你什么开绿灯,我觉得这个就失去了创业本质,当然我说这个话也没有用。我觉得中国*最应该做的是什么?就是创造一个公平的创新环境,首先我觉得大的战略是非常好的。我是说不应该给某些企业或者几个什么院士(我觉得这个也可以),但是绝大部分钱应该是构建一个创新机制、环境,然后让大家公平竞争。
因为如果不是这样的话,那就会有很多投机者,就天天去跟*搞关系,做一些假什么的。其实过去很多的事情都是这样的,所以我觉得最终这个钱,一定要花在创造一个创新环境中是最重要的,而不是说,倾斜某一个行业或者某一个企业,让很多投机者去搞*关系。
赵世奇:无论是中国还是美国其实都在人工智能方面出台了*重要的战略规划。我觉得其实这个是因为国家看到了这个方向的重要意义,包括我们说现在很多人现在进入到了一个新时代,农业社会到工业社会、信息社会到今天这种智能社会。要我想其实在智能社会里,取得胜利的国家也许只有中国和美国,其他的国家也许逐渐都会被落到后面,无论是他整个人才储备还是数据储备。
有人说,在新的人工智能时代里面,数据是新能源,尤其是在中国,它那么多人口基数,有这么密集的数据。它在人工智能方面具有更多的先机,所以具有一个非常好的基础设施,还比美国有更好的条件、资源的储备。这个是我们很大的一个机会,同时我认为有国家推动,客观讲它一定会对这个人工智能在中国的发展起到一个很强的推动作用。
王斌:最后一个问题,大家觉得语言和智能结合的下一个突破、商机或者是技术上的突破在哪儿?
林德康:很多人说深度学习在自然语言没有很大的突破,但是我觉得这个方向还是有可能性的。因为,就是从我们公司自己用深度学习,然后做语义识别,从这个就可以看出来这个深度学习还是很神奇的,不过我们做计算语言的,不去使劲的想这件事儿,有可能将来就变成负担了。
*飞:我更多从应用的角度看一下,在计算层面,过去 5 年其实整个世界发生了一个翻天覆地的变化。语义识别等这种偏模式识别得到了特别大的应用,无论是创业公司还是大公司,对这方面投入很大。但是我觉得现在可能到了要把这个,在过去的移动时代通过各种传感器收集到数据,把它 Make Sense,就是把自然语言理解以及知识图谱跟物理世界结合起来。我觉得无论是从这个应用层面,还是从学术层面都是最重要的一个事情。
今天自然语言交互或者说理解为什么这么差,就是因为我们对直觉、对物理事件没有建模,我们的知识库也是非常有限。
未来怎么样能够使计算机有直觉,对这个物理世界的知识建模能够做的更好,然后怎么从文本信息能看到一些东西,但是又有一些推理、直觉去结合起来,最后可能才能对整个计算机世界有更好的理解。
孙乐:我觉得自然语言的理解经过多少年的发展,实际上我们到目前还没有一个清晰的理论体系,或者叫建模的一个公式,就好比说我们的目标是设计飞机,但实际上我们没有空气动力学原理。所以我觉得我们未来的突破,可能就在于从语言认知机理中找到那样一个“空气动气学原理”。这个可能会实现,只有有了这个以后,我们才能真正在语言和智能方面取得突破。
赵世奇:我认为可能有两个方面,第一个方面就是随着应用不断的拓展,我们其实会发现很多新的 NLP 的问题。比如说纠错,咱们说语音紧接着再接上自然语言,中间的这个纠错能力就很难解,包括语音翻译也是,那这样的问题怎么解决?其实这就是一种新的问题,包括说我是不是端到端的语义,还是说我们虽然是级联式的,但是中间有什么新的问题和解法,这是一方面的,是我们在应用中去找到新的问题点。
还有一个是很有意思的是,其实人工智能的发展,是多领域齐头并进的,语音、图像、视频,这是其中第一阶段的发展。那么这些发展的各个方向如何去联合做一些研究,比如说现在也有叫多模态的 NLP,那就是说我如何借助图片信息理解来辅助语言理解。反之亦然,这是一个联合优化的过程。
刘丹:我简单的说一下,我觉得人工智能要做好这个东西,未来的发展方向,更重要的是回馈到每一个的用户,跟我们生活产生真正的价值。不管你做多么花哨,不能给用户带来价值,其实应该就是一个没用的技术。包括我们现在做客服机器人一样,如果不能给消费者解决问题,纯粹是做一些无关的东西,未来发展也会受到一些很大的瓶颈。
所以,我们在未来怎么去解决人工智能,真正的是给我们在消费者用也好,生活中每一个环境也好,能够降低成本,提高效率,给我们整个生活带来更多便利,我觉得这是 AI 需要主要考虑的方向。
周明:我认为这个在研究上和应用上可能都有回答的机会。研究上我们认为提现一个“跨”字,就是语言跟多模态的结合。比如语言跟视频还有图像结合,我们找自然语言、找图像的时候,他们都有自己的局限性。如果谁先走一步,也许就是新的机会。
第二,神经网络跟知识结合,也是符号跟网络结合,李航老师也讲过,可能知道我们好好探讨。应该上的话,其实我们搞自然语言的应用,很多搜索引擎是自然语言的应用。像今日头条那种,新闻聚合是一种应用。
那么未来最大的自然语言的机会在哪儿?有人说 IOT,有人是说语音助手,这些东西真的很难说。但我自己觉得,机器翻译有可能会孕育出一个公司,很多比较大的公司。但是,*飞和林德康都不一定同意,说机器翻译不好挣钱。但我觉得要仁者见仁,智者见智,谁要把机器翻译好好酝酿,出来一个大公司也是极有可能的。
但是我这里想提的一个是所谓 BI(Business Intelligence)。就是自然语言去放在大数据这种环境来看,它是分析自然语言的这种数据,把 BI 做好了之后、把数据分析好了之后,放在这个业务里面,比如说法律咨询、医疗、教育各个方面都可以有广泛的应用。但是在那个应用的时候,别人真不知道这个背后是自然语言技术。所以我是觉得把自然语言当做一种无形的一种技术,融入到很多的垂直用户的痛点问题上,这样可能是回答一些问题,可能也是产品化的一些机会。
本文作者:王金许
本文转自雷锋网禁止二次转载,原文链接