农企新闻网

专访NLP长辈黄昌宁先生,每一阶段都是常人难以企及的辉煌

发布者:高楠林
导读黄昌宁先生,作为我国自然言语处置范畴的先行者之一,在过来近四十年的工夫里为我国自然言语处置的开展做出了出色的奉献。2017 年 11 月,中国计算机学会(CCF)在第六届自然言语处置及中文计算会议(NLPCC 2017)上将首届「出色奉献奖」授予黄昌宁先生。近日,雷锋网(大众号:雷锋网)有幸去黄昌宁先生家中访问。黄先生往年已 81 岁高龄,但依然容光焕发,思想非常矫捷;言谈平和近人,处处显露出巨匠
黄昌宁先生,作为我国自然言语处置范畴的先行者之一,在过来近四十年的工夫里为我国自然言语处置的开展做出了出色的奉献。2017 年 11 月,中国计算机学会(CCF)在 第六届自然言语处置及中文计算会议(NLPCC 2017)上将首届「出色奉献奖」授予黄昌宁先生 。

近日,雷锋网 (大众号:雷锋网) 有幸去黄昌宁先生家中访问。黄先生往年已 81 岁高龄,但依然容光焕发,思想非常矫捷;言谈平和近人,处处显露出巨匠风范。在雷锋网访问黄先生的两个多小时里,黄先生十分和蔼、健谈,提出了许多极有价值的观念和建议。

专访NLP前辈黄昌宁先生,每一阶段都是常人难以企及的辉煌

粗略来说,黄昌宁先生的人生大致可以分为两段:45 岁前和 45 岁后。

1937 年出生于广东的黄昌宁,在 1955 年以优良的成果考入清华大学电机系。1961 年毕业后留校任教。

文革时期,在大学里无论是教学还是科研任务都无法正常地停止下去。随着「四人帮」的垮台,国际研讨百废待兴。在 70 年代,黄昌宁主编了大学教材《晶体管电路》,一跃成为清华极为知名的教授,该书在国际发行量逾百万册。

1977 年清华大学设立计算机系,为了补偿与国际研讨的差距,学校组织多名教授在全国范围内停止学科调查。黄昌宁事先依据调查后果以为,一定要跟踪世界迷信研讨的先进方向,设立人工智能专业。随后他参与了《人工智能原理》及《LISP 言语》的翻译并开设了相关课程,填补了事先国际的空白,惹起了很大的反响。黄昌宁也由此开端接触自然言语处置。

上世纪 80 年代世界银行给中国政府提供了一批存款,赞助一局部研讨学者出国进修,1982 年 45 岁的黄昌宁由此得以走出国门。

黄昌宁在耶鲁大学停止为期一年的拜访。在此时期黄昌宁对事先的学界巨擘美国人工智能学会会长、耶鲁大学计算机系系主任罗杰·尚克的任务比拟感兴味,罗杰·尚克是「故事脚本多言语机器翻译零碎」的开创人,他主张跳过句法剖析直接进入文本的语义了解和处置,这对句法比拟松懈的汉语 NLP 似乎更有吸引力。但是黄昌宁很快就发现了尚克的成绩,跳过句法直接了解语义相当于舍去方式而直抵内容,他以为这在理论中很难完成。这一察看后来也被证明是正确的,尚克自己不久也分开耶鲁去了美国东南大学从事学习研讨。

1983 年学习完毕后,黄昌宁按时前往国际,从此就再也没有闲上去。这可以分为两个阶段:清华执教阶段和受聘微软阶段。

80 年代初,在国际自然言语处置的研讨还简直是个空白,黄昌宁不只把这门学科的思想带进了中国,还极大地促进了 NLP 在国际的开展。这方面的任务以 1993 年宣布的论文「关于处置大规模真实文本的说话」为代表。这是国际首篇地下主张大数据真实文本处置的一次宣言。

其次,黄昌宁还同时挑起"七五」国度攻关项目「自然言语了解和人机接口」、国防预研项目「军事文本了解技术」等。

1998 年秋,黄昌宁应香港大学之邀,停止了为期半年的讲学。事先微软中国研讨院刚刚成立,院长李开复博士在香港约见了黄昌宁,发动他加盟微软中国研讨院。

1999 年 4 月,62 岁的黄昌宁先生在清华执教近 40 年荣誉退休,但却愈发地未老先衰,开启了另一段辉煌。退休后的他随即承受了微软中国研讨院的延聘,成为事先研讨院中年龄最大的研讨员(事先李开复院常年龄最大,还不到 40 岁)。在黄昌宁的率领下微软中国研讨院成立了自然言语计算组,其研讨则简直触及事先 NLP 的方方面面,如中文分词、句法剖析、机器翻译、问答零碎等等,在国际外很快就到达了顶尖程度。

在论文方面,黄昌宁所率领的团队可谓是中国 NLP 研讨走向国际的先锋。2000 年 ACL 在中国香港举行,事先大会总共接纳 70 篇论文,微软亚洲研讨院有 6 篇论文当选,其中 4 篇出自黄昌宁所率领的团队。这也是国际较早几篇宣布在国际顶会中的论文。当然这些只是他们任务的冰山一角,其他例如随后的 2001 年他们在影响因子不下于 ACL 的《Computational Linguistics & Chinese Language Processing》期刊上又延续宣布了 5 篇论文。

随着年龄的增长,黄昌宁先生因眼疾及高度远视视力严重衰退,随后渐渐加入微软的管理任务,交由周明博士主管,他担任参谋。

黄昌宁先生对在微软时期的任务总结道:「从效果下去讲,在微软的几年工夫里,比我在清华 40 年做的效果还要大得多。」

「赋闲」在家的黄先生并没有过一种遛鸟养花的闲逸生活,他依然在时辰关注着前沿的研讨,并考虑如何才干使我国 NLP 的研讨程度更上一层楼。

经过与黄昌宁先生的对话,雷锋网得以理解其中的两个正面:一,他高度一定评测对 NLP 开展的重要性,以为评测之于NLP正如显微镜之于生物医学;二,中国 NLP 研讨若想进出世界先进程度,需求做好顶层设计的任务。

细看黄昌宁先生近六十年的研讨生涯,从风华年少到耄耋之年,每一阶段都是一次常人难以企及的辉煌。2017 年 11 月 10 日,基于黄昌宁先生为我国自然言语处置的研讨做出的奉献,中国计算机学会在 第六届自然言语处置及中文计算会议(NLPCC 2017)上将首届「出色奉献奖」授予黄昌宁先生 。

专访NLP前辈黄昌宁先生,每一阶段都是常人难以企及的辉煌

黄昌宁教授(中)获出色奉献奖

以下为雷锋网与黄先生局部对话精简。

一、观念

问:从整个迷信范畴的角度来思索,您觉得自然言语研讨的意义是什么?

黄昌宁: 有人说自然言语处置是人工智能皇冠上的明珠,大约是由于言语是人类区别于其他初等植物的重要标志,是人类智能的集中表现,既然是这样,把 NLP 的研讨看成是迷信上的重要成绩也就不奇异了。 自然言语研讨的意义就是让计算机能了解或处置自然言语,也就是让计算机明白无误的掌握人类的最高智慧。

问:近几年,中国在NLP范畴有了疾速的开展,曾经到达世界前列的程度。而您阅历了中国 NLP 近四十年从无到有,从落后到前列的变化,您如何对待这个开展呢?

黄昌宁: 我觉得国际自然言语处置和人工智能研讨的现状,是随着变革开放的停顿而失掉逐渐改善的,是一个渐进的进程。

特别是最近几年,有很大的变化,这次要是取决于两个方面:一个是政府给的科研赞助有了很大的进步;另外一个是研讨人员的数量大幅度的添加。如今国际从事自然言语处置的研讨者要比日本、韩国等国度多得多。所以文章的数量超越了他人也是天经地义的。但是我不断觉得,虽然文章的数量是多了,但我们引领研讨导向的论文和效果仍然很少。

问:在 NLP 的研讨和使用范畴,您觉得从国度层次上,我国需求如何进一步规划以到达国际顶尖程度(甚⾄至引领世界 NLP 研讨的开展)?

黄昌宁: 政府干涉迷信研讨的方案是一柄双刃剑 ,做得好有能够在一个时期内进步国度的迷信研讨程度,做得不好也能够是瞎指挥,不是帮助而是添乱。

这样的例子在国际也不是没有的,虽然规划制定者征询过一线研讨人员,但毕竟他自己不是一线科研人员,所以他不能够全程跟踪某一个项目的研讨活动。从国际上看,人工智能范畴呈现过几次令世人惊诧的效果,比方 1997 年 IBM 深蓝打败世界国际象棋冠军卡斯帕罗夫;2011 年 2 月 IBM 的深度问答零碎「沃森」,在美国 Jeopardy 电视竞答节目上一举打败该节目的两位前冠军;2016 年 3 月 Google 的 Alpha GO 打败人类九段围棋选手等。这些人工智能的项目都不是政府规划出来的,而是世界顶尖研讨团队发明出来的。

问:阅读您之前宣布的文章发现,您特别强调在 NLP 开展中评测的重要性。那么您是如何对待评测的呢?

黄昌宁: 我不断以为,计算言语学是一门实证迷信,地下和可反复的评测,决议了这门学科的安康开展。评测关于 NLP 研讨人员来说,就像生物医学的显微镜、地理学的望远镜一样,这些察看工具的优劣,直接决议了迷信研讨效果的深浅。

举例来说 2003 年到 2006 年间,中文自动分词技术阅历了一次严重打破,打破的缘由在于对中文分词评测观念的严重创新。以往国际以为中文分词是没有规范答案的,比方「北京西站」可以切分红一个词,也可以切分红「北京 西站」两个词,甚至可以切分红「北京 西 站」三个词,评测时假如评委中的少数以为这三种切法都是合理的,那么这三种切法都是对的。但 ACL SIGHAN 专业委员会组织的中文分词评测 Bakeoff-2003,以为上述三种切分后果应视作三种不同的分词标准。不同的分词标准应提供不同的训练和测试语料,这样分词后果就有了独一的规范答案,即所谓的「金本位」(gold stand),因而评测规范有了含金量的意味。

在此根底上 Bakeoff-2003 采用了召回率 R、准确率 P 和两者的谐和均匀值 F 等三项目标,而不像国际只要分词正确率一项目标。何况由于国际原来的分词测试语料没有规范答案,所以这个正确率的定义是模糊不清的。进而 Bakeoff-2003 还辨别设立了表内词和未登录词的两个召回率目标,在这两项目标的指引下我得出未登录词对分词精度丢失的影响比表内词的歧义切分所惹起的精度丢失高 5 到 10 倍。这个结论答复了分词界一个临时悬而未决的难题,依据这个看法不难得出以下的推论:能使未登录词的召回率明显提升的模型和算法一定是最佳的分词办法。果真,到了 Bakeoff-2005 分词技术就发作了宏大的变化,推翻了以前以词为根底的主流的分词办法,呈现了以字为根底的全新的分词办法。到了 Bakeoff-2006 年就没有人再做基于词的分词零碎了。

问:测试办法如此重要,能否可以说这是迷信研讨的顶层设计呢?

黄昌宁: 您提的这个成绩很好,迷信研讨的顶层设计的确包括了评测办法,但还包括其他的重要成绩:如项目的主旨和定义、根底实际和办法、项目推进的道路图和最终效果的鉴定等等。

这些顶层设计美国做的最好,而国际却很少。由于这些任务不是一般团队的经费和人力能随便做到的。 周明说我们的 NLP 研讨要在 2020 年到达世界先进程度 ,那么顶层设计就一定要做。 你想,假如我们没有顶层设计的话,论文数量再多,原创性和援用率也赶不上人家。

美国国防部 DARPA 设立项目经理人的做法值得我们学习。他们通常会设定一些项目,如信息检索、问答零碎、话题辨认和追踪等,并为每个项目设立一个项目经理,其人选不是来自政府机关,而是从大学或科研院所中延聘的范畴专家。项目经理担任完成项目的顶层设计,包括项目主旨、材料制备、评测办法、项目推退路线图、评测会议和学术交流等。我希望中国政府也可以参照这个经历来推进我国科研项目的顶层设计。

二、研讨

问:您怎样来对待您过来从事过的研讨呢?

黄昌宁: 我觉得,在本人的研讨范畴,一团体一辈子未必能参与一次技术上的严重打破。如前所述,我很侥幸无机会参与了 2003-2006 年中文自动分词的那次大打破。不过我以为,无论您能否能亲历科研上的严重打破,只需遵守正确的迷信办法一步一步往前探究,不急不燥,就一定可以积小步而成大步。即便您的心得微乎其微,那也是对迷信研讨的一份奉献。

问:那么,教师您对⾃⼰做出的哪项任务最为称心?

黄昌宁: 我想最让我称心的是 1993 年在《言语文字使用》杂志第 2 期上宣布「关于处置大规模真实文本的说话」的论文。 我的这篇文章是国际第一篇地下主张大数据真实文本处置的宣言,这也是我自己终身坚持的学术主张和办法论。 自然言语处置在这之前也有一些著名的演示零碎,但这些零碎都只能在无限的情形下停止复杂的人机对话,不能顺应社会和企业界对自然言语处置技术的大规模需求。这就是第一代人工智能技术的窘境,要打破这个窘境就要从第一代走向第二代。

其次是 1999 年我到微软当前从事中文分词的研讨,包括编写分词标准、标注分词语料和研制高精度的分词零碎。 在此时期我发现中文分词的可计算定义既不是单纯的标注标准也不是分词标准+词表,而应该是大规模的分词标注语料,从中也看法到 计算机运用的言语知识在方式上和颗粒度上都不同于传统的人类言语知识。 这个看法在最近两年的大数据、深度学习的计算模型上再次失掉验证。

三、经历

问:教师您在研讨和教育上曾经耕耘了六⼗多年,见证了中国学术界半个多世纪的变迁,您在研讨和生活中⼀定有很多的⼈生经历。您能否分享一些这方面的经历呢?

黄昌宁: 我对这个成绩有两个看法:

第一,一个学者应该对本人的研讨范畴有深入的洞察力。 这也是我对本人指点的博士生提出的一个根本要求。洞察力的养成十分重要,首先要时辰关注该范畴最前沿的多数几篇论文,务求融会贯穿,要做到有洞察力还需求有多视角的思想。人们常说视野决议事业,也可以说视野决议洞察力,有了洞察力才会有创新。

第二,要发明时机拜访最著名的研讨团队,和最著名的研讨者在一同讨论成绩。 这样的接触经常会令您脑洞大开。我在微软任务 14 年,接触过少量的年老实习生和博士后,我发现他们在微软的这段研讨生涯对他们日后的研讨都有深入的影响。

专访NLP前辈黄昌宁先生,每一阶段都是常人难以企及的辉煌