全球最大語義評測比賽SemEval2020今天結(jié)果出爐

這兩天，全球規(guī)模最大的語義評測比賽 SemEval 2020 結(jié)果出爐，百度基于飛槳平臺自研的語義理解框架 ERNIE 一舉斬獲5項世界冠軍，囊括視覺媒體的關(guān)鍵文本片段挖掘、多語攻擊性語言檢測和混合語種的情感分析。

SemEval是全球范圍規(guī)模最大、參賽人數(shù)最多的權(quán)威語義評測競賽,由國際計算語言學協(xié)會(Association for Computational Linguistics, ACL)的 SIGLEX 主辦。自2001年起，SemEval已成功舉辦十四屆，在業(yè)界和學術(shù)界具有極高影響力。此次SemEval和自然語言處理領(lǐng)域的頂級會議COLING聯(lián)合舉辦。

ERNIE是此次五項世界冠軍背后的“趁手利器”。去年，ERNIE先后完成兩版重大升級。ERNIE 1.0提出知識增強的語義表示模型，而ERNIE 2.0則構(gòu)建了持續(xù)學習語義理解框架，在中英文16個任務上超越業(yè)界最好模型。此后，ERNIE模型再次改進，以歷史上首次超越90大關(guān)的成績登頂自然語言處理領(lǐng)域最權(quán)威的GLUE評測榜單。本次比賽，ERNIE再度創(chuàng)新，再立戰(zhàn)功，奪得五項世界冠軍。

讓AI更懂“輕重”：視覺媒體的關(guān)鍵文本片段挖掘

該任務由美國休斯頓大學、Adobe美國研究院聯(lián)合舉辦，旨在自動挖掘海報、廣告、傳單等視覺媒體中文本的關(guān)鍵片段，對其進行重點設計，提升宣傳效果。由于人們對于同一文本重要內(nèi)容的判斷不一致，在沒有唯一標準的情況下，該任務存在極大的難度。

百度ERNIE團隊采用多種技術(shù)手段解決這個難題：首先ERNIE模型作為語義信息提取模塊，對各片段重要性進行建模;然后針對關(guān)鍵片段標準不統(tǒng)一的問題，設計了更貼近目標的5 Label的Pairwise損失函數(shù);最后從數(shù)據(jù)出發(fā)構(gòu)造了多種針對性的語義特征以及數(shù)據(jù)增強策略，最終以5項指標全部­第一的成績獲得冠軍。

比賽中，主辦方Adobe希望將賽題的解決方案應用于Adobe Spark，賦予其海報自動設計能力，以達到更好的宣傳效果。如下圖所示的“ERNIE”、“輕重”的黑白效果就是自動挑選的結(jié)果。百度ERNIE團隊采用ERNIE讓AI更懂文字的“輕重”，釋放廣大視覺設計者的勞動力，使其能夠更專注于對核心內(nèi)容的設計。此外，該項技術(shù)已應用于百度搜索，能夠動態(tài)分析出用戶查詢內(nèi)容中的重要片段，使其返回更精準的搜索結(jié)果，讓百度更懂您。

讓世界更有“AI”：多語攻擊性語言檢測

該任務由多個國家的研究機構(gòu)聯(lián)合舉辦。其中包括了英國劍橋大學、美國IBM研究院、以及來自德國、丹麥、卡塔爾的多所著名大學和研究院。該任務包含了三個子任務：

第一個子任務是在對英語、丹麥語、希臘語、阿拉伯語和土耳其語等包含五種語言的社交媒體進行攻擊性檢測。百度ERNIE團隊構(gòu)建了大規(guī)模的多語預訓練模型，充分挖掘海量的多語無監(jiān)督文本，用相同的模型來學習所有語種的語義表示，使模型具備跨語言的理解和分析能力。同時，采用Multi-lingual Fine-tuning的方法，利用其他語言的知識輔助建模，最終以五項語言平均分第一名的成績?nèi)〉霉谲姟?/p>

另外兩個任務是在英語環(huán)境中對攻擊性語言的類型和目標分別進行更加精細化的分析。百度ERNIE團隊通過數(shù)據(jù)蒸餾的技術(shù)，從更多無監(jiān)督的網(wǎng)絡文本中學習多種模型的Soft Label，分別以F1超過第二名1.0%和4.4%的絕對優(yōu)勢取得了冠軍。

隨著網(wǎng)民人數(shù)的不斷增加，網(wǎng)民態(tài)度立場不同、文化水平及道德素質(zhì)參差不齊的狀況便擺在我們面前。網(wǎng)絡暴力和網(wǎng)絡人身攻擊現(xiàn)象由此而生。政府、社交網(wǎng)站、搜索引擎、興趣社區(qū)都在大力研究如何檢測出社交媒體攻擊性行為，幫助人們構(gòu)建一個更加和諧友愛的網(wǎng)絡環(huán)境。百度的研究者也希望通過這一技術(shù)，能夠讓世界充滿“AI”，少一些偏見。

讓AI更有情感：混合語種的情感分析

該任務的主辦方包括谷歌研究院、美國休斯敦大學以及印度的多所高校等。在比賽中，主辦方搜集了源于社交網(wǎng)絡的語料片段，測試參賽者對于相關(guān)語料片段的情感分析能力。這些語料中都包含一種特殊的語言現(xiàn)象：語碼混用——即一段語料中同時混有多種語言。主辦方致力于探索時下的 AI 技術(shù)對于這一類新問題的解決能力。

不同于傳統(tǒng)的情感分析，隨著互聯(lián)網(wǎng)上的內(nèi)容越來越豐富，夾雜著不同語種的內(nèi)容不斷產(chǎn)生。這些內(nèi)容中可能混合著中文、英文等多種語言。針對此類文本內(nèi)容，傳統(tǒng)的基于單語語料的情感分類模型已經(jīng)無法發(fā)揮作用。針對此問題，百度的研究者首先利用ERNIE進行Zero-Shot情感分類。為了充分利用多語種語料的信息，還引入了基于對抗學習的多語種模型，進一步提升了多語種情感分析的效果。最終在印度語/英語混合任務上以F1值超過第二名 1.9% 的絕對優(yōu)勢獲得第一。

隨著AI技術(shù)日新月異的發(fā)展，已經(jīng)逐漸的走進千家萬戶。在解決日常生活需求之余，讓AI可以更通情達理、更知性，并感知用戶的喜怒哀樂、提供貼心的服務，也是一個有溫度的AI應該達成的目標。百度始終希望通過AI讓復雜的世界有更多的貼心。

百度ERNIE團隊在SemEval 2020取得五項世界冠軍并非偶然，這得益于團隊在語義理解領(lǐng)域的深厚積累。目前，ERNIE語義理解技術(shù)已廣泛地應用于百度內(nèi)外多個產(chǎn)品和技術(shù)場景，在百度搜索、小度音箱、信息流推薦等一系列產(chǎn)品應用中發(fā)揮了重要作用，大幅提升了產(chǎn)品的技術(shù)效果和用戶體驗，逐步賦能各行各業(yè)。

賦予機器“認知”能力，是人工智能中最具挑戰(zhàn)的問題。自然語言處理是認知智能中的重要領(lǐng)域。深入理解語言，讓機器具備人類的思考和理解能力意義重大。百度在自然語言處理領(lǐng)域已有二十年的積累與沉淀，具備了最前沿、最全面、最領(lǐng)先的技術(shù)布局，不僅專注于前瞻技術(shù)探索，更致力通過技術(shù)應用解決實際問題。(一鳴)

標簽： 語義評測比賽