NLPCC 由中國計算機學(xué)會主辦，是自然語言處理（NLP）和中文計算（CC）領(lǐng)域的頂級國際前沿會議，每年會議都秉承國際化和一流化的嚴(yán)格標(biāo)準(zhǔn)來進(jìn)行自然語言處理任務(wù)的開放評測，推動相關(guān)任務(wù)的研究和發(fā)展。NLPCC 2020吸引了康奈爾大學(xué)、倫敦大學(xué)、普林斯頓大學(xué)等海內(nèi)外近600位自然語言處理領(lǐng)域的專家及學(xué)者參加大會，其中400余位專家學(xué)者在現(xiàn)場共同見證開放評測任務(wù)第一名的誕生。

　　當(dāng)下，預(yù)訓(xùn)練語言模型已經(jīng)成為NLP的主流方法，在多項NLP任務(wù)上都取得了明顯的效果提升。但是預(yù)訓(xùn)練語言模型往往比較大，限制了預(yù)訓(xùn)練語言模型的應(yīng)用場景。因此，如何構(gòu)建輕量級的預(yù)訓(xùn)練語言模型就成了一個關(guān)鍵問題。

　　預(yù)訓(xùn)練語言模型出現(xiàn)以來發(fā)展得非常迅速，目前已經(jīng)演化形成了一個家族

　　中文輕量級預(yù)訓(xùn)練語言模型能力評測任務(wù)的目的在于讓參賽團(tuán)隊減少語言模型大小的同時盡可能保證模型效果。本次比賽包含四個任務(wù)，分別是指代消解，關(guān)鍵詞識別兩個句子級別分類任務(wù)，實體識別序列標(biāo)注任務(wù)，MRC閱讀理解任務(wù)，從不同角度評測模型的語義表達(dá)能力。同時，比賽要求模型的參數(shù)量低于bert-base模型的1/9，模型推理速度達(dá)到bert-base模型的8倍，這就要求模型運行快，體積小，效果好。

　　一般來說，可以通過量化、剪枝、蒸餾等方法來壓縮大預(yù)訓(xùn)練語言模型來獲得輕量級模型。華為云與諾亞方舟實驗室聯(lián)合團(tuán)隊基于自研的NEZHA中文預(yù)訓(xùn)練模型通過知識蒸餾得到tiny-NEZHA輕量級模型摘得桂冠。

　　相比其他模型，華為的模型在結(jié)構(gòu)上找到了一個較好的平衡點，采用TinyBERT兩步蒸餾的方式讓模型更好地學(xué)到任務(wù)相關(guān)的知識，蒸餾過程中用語言模型預(yù)測并替換部分token的方式進(jìn)行數(shù)據(jù)增強可以使小模型擁有更強泛化性。

　　TinyBERT知識蒸餾的損失函數(shù)中一個重要環(huán)節(jié)是讓中間層去學(xué)習(xí)隱藏狀態(tài)和attention向量

　　同時，華為自研的NEZHA預(yù)訓(xùn)練語言模型采用相對位置編碼替換BERT的參數(shù)化絕對位置編碼，能更直接地建模token間的相對位置關(guān)系，從而提升語言模型的表達(dá)能力。

　　在過去的2020年里，華為云AI在人工智能領(lǐng)域的研發(fā)成績斐然，斬獲十二項包含WSDM、WebVision、CCKS篇章級事件抽取技術(shù)評測冠軍、人工智能金煉獎、德國紅點在內(nèi)的國際國內(nèi)榜單冠軍和獎項。華為云AI將繼續(xù)夯實技術(shù)優(yōu)勢，做智能世界的“黑土地”，持續(xù)踐行普惠AI，將AI服務(wù)觸及每一位開發(fā)者、每一個企業(yè)，助力各行各業(yè)進(jìn)入人工智能新時代。