雷鋒網(wǎng)按：7月12日-7月14日，2019第四屆全球人工智能與機(jī)器人峰會（CCF-GAIR 2019）于深圳正式召開。峰會由中國計(jì)算機(jī)學(xué)會（CCF）主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）承辦，深圳市人工智能與機(jī)器人研究院協(xié)辦，是國內(nèi)人工智能和機(jī)器人學(xué)術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級交流博覽盛會，旨在打造國內(nèi)人工智能領(lǐng)域極具實(shí)力的跨界交流合作平臺。
7月14日，在CCF-GAIR 2019的「智慧教育專場」論壇上，科大訊飛北京研究院副院長、哈工大訊飛聯(lián)合實(shí)驗(yàn)室副主任付瑞吉博士做了《智能評閱核心技術(shù)及應(yīng)用簡介》的主題演講。
以下為付瑞吉博士的演講全文，雷鋒網(wǎng)進(jìn)行了不改變原意的編輯：
科大訊飛在教育領(lǐng)域的各個(gè)環(huán)節(jié)都做了很多工作，包括教學(xué)、考試、管理等各方面，在去年勇奪全球十二個(gè)人工智能技術(shù)評測的冠軍，這十二個(gè)獎(jiǎng)項(xiàng)包括自然語言處理、圖像、語音等各方面，其中語法檢錯(cuò)、圖文識別和閱讀理解等與智能評閱相關(guān)的技術(shù)都獲得了冠軍。
2016年，我們和教育部考試中心成立了聯(lián)合實(shí)驗(yàn)室，共同推進(jìn)語音識別、手寫識別、自然語言處理、智能評測、機(jī)器翻譯等技術(shù)在教育領(lǐng)域的應(yīng)用。
訊飛教育突破點(diǎn)：從口語評測到智能評閱
接下來我將介紹智能評閱核心技術(shù)。
我們從口語評測講起，訊飛從2005年開始研究口語評測。訊飛是做語音起家的，在語音識別和語音合成基礎(chǔ)上的另一個(gè)應(yīng)用點(diǎn)是語音評測。備試的學(xué)生說一段話，機(jī)器進(jìn)行自動評測，包括聲學(xué)方面的評測，文本內(nèi)容的評測，最后得到一個(gè)綜合分?jǐn)?shù)。
之所以會做這些工作，是因?yàn)槲覀円酝目谡Z考試很難組織，例如普通話水平考試、英語考試，學(xué)生在前面說，老師在一直聽，一天聽下來是非常累的，到最后會影響老師的評分準(zhǔn)確度。
科大訊飛的機(jī)器現(xiàn)在可以做到在學(xué)習(xí)人工專家評分標(biāo)準(zhǔn)的情況下，評分的總分相關(guān)度和平均誤差達(dá)到人工水平，我們在30個(gè)省市的普通話考試?yán)飸?yīng)用到這項(xiàng)技術(shù)。
此外，我們從口語考試擴(kuò)展到紙筆考試，現(xiàn)在K12大部分是紙筆考試，我們通過掃描試卷，進(jìn)行圖片的OCR識別，再進(jìn)行自動評分，得到一個(gè)評分的成績。
口語評測和智能評閱的關(guān)系是什么？
實(shí)際上二者很相似。我們做紙筆考試也是從口語評測激發(fā)的靈感�？谡Z評測的輸入是一段語音，我們會對這個(gè)語音的發(fā)音標(biāo)準(zhǔn)進(jìn)行評測，同時(shí)進(jìn)行語音識別，對文字內(nèi)容進(jìn)行評測。我們的智能評閱輸入就變成了掃描或者拍照的圖片，對書寫質(zhì)量有評價(jià)，對圖文識別后的語義層面也有評價(jià)，綜合獲得最終的分?jǐn)?shù)，這與口語評測是很相似的。
智能評閱難點(diǎn)解讀：作文評分技術(shù)框架
我們智能評閱中最難的是作文的評分，下圖是科大訊飛做評閱技術(shù)的核心框架。
左側(cè)是作文試卷圖片輸入后進(jìn)行圖文轉(zhuǎn)寫，對內(nèi)容的相似度和其他異常進(jìn)行檢測，這部分由于內(nèi)容和標(biāo)準(zhǔn)很難處理，目前仍是交給人來評測；接下來，進(jìn)行定標(biāo)的篩選。
為什么需要進(jìn)行定標(biāo)的篩選？這是因?yàn)槊看慰荚嚭笤u分標(biāo)準(zhǔn)可能會有一些差異，這種情況下我們會選取一小部分試卷作為定標(biāo)來打樣卷，請專家進(jìn)行評分，以專家評分為標(biāo)準(zhǔn)來訓(xùn)練模型。右側(cè)是進(jìn)行評分的抽取、訓(xùn)練和評分模型的訓(xùn)練。
首先，我們進(jìn)行圖文轉(zhuǎn)寫，試卷掃描之后的情況如左側(cè)所示（如下圖）。右側(cè)是進(jìn)行行的切分、插入符號的識別，還有一些潦草涂抹塊的識別。對于手寫作文識別的最終準(zhǔn)確率已經(jīng)達(dá)到98%以上，達(dá)到了使用的門檻。在圖文轉(zhuǎn)寫基礎(chǔ)上，我們會對內(nèi)容進(jìn)行評分。
對于內(nèi)容的評分，我們會抽取多個(gè)維度的特征。
在議論文篇章結(jié)構(gòu)分析方面，以語文為例，高考中通常是議論文，我們會識別作文主旨、分論點(diǎn)、事實(shí)論據(jù)等篇章角色。采用的方法是通過整篇文章句子間的語義關(guān)聯(lián)性來分析其篇章角色。例如整篇作文全局性關(guān)聯(lián)的句子，在各個(gè)段落之間都會出現(xiàn)，通常是貫穿全局的主旨，表示整個(gè)文章的核心思想；還有一些局部相關(guān)聯(lián)的句子，可能是分論點(diǎn)以及對應(yīng)的論據(jù)，是分論點(diǎn)的展開闡述；通過這些句子之間語義的相關(guān)性，我們會把整篇文章的篇章角色標(biāo)注出來。例如，將引論句、主旨句、子論點(diǎn)、論據(jù)句都會識別出來。這些分析結(jié)果可以作為評分的特征。
在表達(dá)方式方面，大家小學(xué)都學(xué)過表達(dá)方式，例如記敘、抒情、議論、描寫等表達(dá)方式，我們需要自動識別出來。尤其是描寫，描寫體現(xiàn)出一個(gè)人對于語言運(yùn)用的能力。我們計(jì)算過相關(guān)性，高分作文中描寫的比例很高，描寫的質(zhì)量也很高。對于描寫的識別，我們用了多標(biāo)簽訓(xùn)練標(biāo)注的方法來進(jìn)行識別，也作為評分的特征使用。
在修辭的識別方面，以比喻為例，在中小學(xué)，尤其是記敘文中，恰當(dāng)?shù)谋扔鞯氖褂脮棺魑母由鷦有蜗螅魑馁|(zhì)量在一定程度上會更高。我們識別比喻用的方法是基于多任務(wù)學(xué)習(xí)的方法，主要分為三個(gè)任務(wù)：
- 左側(cè)是識別出比喻的本體和喻體，是比喻元素的抽�。�
- 右側(cè)上部是判斷是否是比喻，進(jìn)行二元分類；
- 右側(cè)下部是語言模型的建模。
智能評閱系統(tǒng)的另一功能：防作弊
在考試中還有一個(gè)應(yīng)用，作文的相似檢測，也就是抄襲的檢測。這在大型考試中，人工是很難進(jìn)行判斷的，所以我們做了這樣一件事情。
我們有幾百萬的范文庫，還有同批作文，有的學(xué)生會把閱讀理解的內(nèi)容抄到作文中湊字?jǐn)?shù)，對于老師來說，做這種檢測是不太可能的，很容易會忽略，我們用機(jī)器這套方法來識別，可以很方便、快速、準(zhǔn)確地檢測出來。
例如，在兩篇作文中，中間部分寫得基本一樣。這是因?yàn)橹虚g部分是背了一些網(wǎng)絡(luò)范文或模板。也有可能是把前面的閱讀理解抄在了作文中。
還有其他作文評閱技術(shù)，包括體裁分類（議論文、記敘文、散文等）、主題分類、離題檢測、立意判別，這些我們都已有相應(yīng)技術(shù)。
智能評閱系統(tǒng)應(yīng)用場景：大規(guī)�？荚�、日常教學(xué)
剛才介紹的是核心技術(shù)的進(jìn)展，我們看一下這些核心技術(shù)在我們的產(chǎn)品中是如何應(yīng)用的。
智能評閱有兩大應(yīng)用場景，一方面是大規(guī)�？荚嚕裰锌�、高考、會考、MHK等大型考試，一般是幾萬到幾十萬人，規(guī)模比較大。這一應(yīng)用場景對智能評閱系統(tǒng)有兩類需求：
第一，做評分質(zhì)檢，因?yàn)橐ＷC評分的準(zhǔn)確性，所以要做評分質(zhì)檢，校檢人工的錯(cuò)誤；
第二，替代一評，對于高利害的考試更多是做質(zhì)檢，對低利害的考試，鑒于對人工成本節(jié)省的考慮，可以用以替代一評。
另一應(yīng)用場景是，日常教學(xué)。日常教學(xué)包括平時(shí)的作業(yè)、周測、月考、期中/期末考試和校際聯(lián)考，規(guī)模比較小，比如班級作業(yè)只有幾十人。這不只需要評分的準(zhǔn)確，還需要批改、反饋，對老師來說還需要有詳細(xì)的分析報(bào)告。可以看到，日常教學(xué)中的需求比在考試中的需求更加精細(xì)，技術(shù)難度也更大。
我們分別來看一下。
首先，大規(guī)�？荚囍械膽�(yīng)用主要是做質(zhì)檢。諸如掃描切圖、客觀評分、專家定標(biāo)、主觀題人工評分，這些是人工評分過程中要做的一些事情；此外，智能評分、空白卷和異常的檢測等智能復(fù)核是智能評閱做的事情。
我們會在人工評分的同時(shí)進(jìn)行機(jī)器的自動評分，得到評分結(jié)果后，進(jìn)行評分結(jié)果的復(fù)核，發(fā)現(xiàn)一些人機(jī)評分大分差的情況，我們會對大分差進(jìn)行專家復(fù)核，對成績進(jìn)行確認(rèn)，復(fù)核以后做最終成績發(fā)布。加入智能評閱環(huán)節(jié)后，可以使整個(gè)評分更加準(zhǔn)確。
包括前面提到的語文作文、英語作文、數(shù)學(xué)解答題、文綜簡答題，其中理綜的簡答題比較少，其他科目已經(jīng)達(dá)到比較高的比例。近年已經(jīng)在全國多地大規(guī)�？荚囍袘�(yīng)用。
總體來說，各地評卷專家對智能評閱技術(shù)在考試中的應(yīng)用非常認(rèn)可，形成了一個(gè)良好的應(yīng)用示范，可以繼續(xù)深化推廣。
在日常教學(xué)中的應(yīng)用，像我剛才強(qiáng)調(diào)的，應(yīng)用反饋的難度會比大規(guī)模考試的評分難度更大，盡管如此，仍得到了廣泛的應(yīng)用。例如，英語的填空題、英文作文的反饋，在實(shí)際學(xué)校中的應(yīng)用，已經(jīng)有2000多所學(xué)校常態(tài)化使用，三年來增長量提高了將近10余倍，實(shí)現(xiàn)為近萬名老師減負(fù)。
老師平時(shí)在批改作文的過程中是非常費(fèi)時(shí)費(fèi)力的，在科大訊飛的平臺上進(jìn)行的統(tǒng)計(jì)統(tǒng)計(jì)顯示，老師在批改過程中可能20秒、10秒，甚至幾秒直接批閱作文，直接給一個(gè)評分或者給一個(gè)“閱”，對學(xué)生的反饋是不足的。這樣的方式對于學(xué)生學(xué)習(xí)興趣的培養(yǎng)是不利的。我們有了智能評閱技術(shù)，可以實(shí)現(xiàn)自動反饋，可以輔助老師更好地給學(xué)生更加詳盡的反饋，提高學(xué)生的學(xué)習(xí)興趣，也提高反饋的效率。
雷鋒網(wǎng)在會后對付瑞吉博士進(jìn)行了采訪，精彩內(nèi)容節(jié)選如下：
雷鋒網(wǎng)：科大訊飛目前在智慧教育領(lǐng)域有怎樣的整體布局和版塊劃分？
付瑞吉：科大訊飛在智慧教育領(lǐng)域整體布局分為以下五大方向：
- 第一，智慧課堂，我們通過一些智能硬件（諸如平板）將后臺資源，以及我們的一些核心技術(shù)連起來。例如，我們在做語音評測時(shí)，可以讓學(xué)生用平板進(jìn)行學(xué)習(xí)，老師以大屏作為中控平臺和顯示平臺，學(xué)生現(xiàn)場讀一段話，系統(tǒng)會自動給出評測結(jié)果，包括來自哪個(gè)地方，哪個(gè)地方讀的不準(zhǔn)，并給出提示出來。
如果只靠老師一個(gè)人來進(jìn)行教學(xué)，一方面，沒有這么準(zhǔn)確，如某些地方老師的普通話水平也有限；另外一方面，老師對于學(xué)生的薄弱點(diǎn)的把握沒有那么迅速。
此外，平臺還會提供大量課程資源，我們后臺有大量的課件資源，優(yōu)質(zhì)的課件音視頻材料，這種素材相當(dāng)于一個(gè)大的共享平臺，方便老師進(jìn)行備課，以及在課堂上及時(shí)搜索資源。例如，上歷史課講到一些歷史事件時(shí)，我們可以方便地搜索一些歷史事件當(dāng)時(shí)的地形圖，采用動畫的方式展示當(dāng)時(shí)的戰(zhàn)爭狀態(tài)、演進(jìn)過程，使得課堂教學(xué)生動活躍，資源豐富。
- 第二，智能評閱，通過考試，我們一方面是對于大規(guī)模考試這種服務(wù)，對于評分的公平公正的維護(hù)；另一方面我們在日常這種應(yīng)用中，可以幫助更加精準(zhǔn)地分析學(xué)生的薄弱點(diǎn)，例如作文中哪些方面不好，我們通過技術(shù)服務(wù)輔助老師達(dá)到精準(zhǔn)的診斷，最終實(shí)現(xiàn)這種精準(zhǔn)的教學(xué)。
- 第三，個(gè)性化學(xué)習(xí)，我們會對題目做一些分析技術(shù)，例如數(shù)理化這種理科的題目，我們會針對知識點(diǎn)、能力等方面多個(gè)維度打上標(biāo)簽。學(xué)生在考完試后，根據(jù)題目答對或答錯(cuò)的情況，我們會個(gè)性化地分析出他在知識掌握方面的薄弱點(diǎn)，然后再進(jìn)一步為學(xué)生推薦一些針對性的強(qiáng)化訓(xùn)練，提供訓(xùn)練題目和學(xué)習(xí)資源，做個(gè)性化的學(xué)習(xí)。
個(gè)性化學(xué)習(xí)也是科大訊飛今年非常重視的一大戰(zhàn)略。業(yè)界也有很多其他公司在做。這種理念的基礎(chǔ)正是因材施教，節(jié)省學(xué)生大量時(shí)間，提高學(xué)生學(xué)習(xí)效率，有針對性地幫助學(xué)生針對薄弱點(diǎn)進(jìn)行學(xué)習(xí)，改變重復(fù)性海量刷題這種傳統(tǒng)、低效的學(xué)習(xí)方式。
- 第四，新高考業(yè)務(wù)。
主要包括面向新高考的排課與選課。新高考改革帶來了一些新課程，例如，針對「3+1+2」新模式（其中，3指“語、數(shù)、外”，1指“物理或歷史，2指“生物、化學(xué)、政治、歷史”這四門學(xué)科中的兩門，合計(jì)為高考科目），這種個(gè)性化組合，根據(jù)學(xué)生自己的能力去選擇，這是新高考改革帶來的一個(gè)變化，這樣的變化為教學(xué)過程帶來了一些困難，其中一項(xiàng)就是排課。
舊高考模式人工排課基本可以實(shí)現(xiàn)，但是這種組合一來以后，學(xué)生上的課不一樣，學(xué)校排課的難度會非常大，科大訊飛針對排課也設(shè)計(jì)了一套自動排課算法，可以快速滿足學(xué)生學(xué)校這種排課的需求。
另外選哪些科目作為高考科目，也是學(xué)生和家長普遍關(guān)心的問題。新高考改革后，在選課之前，學(xué)生需要對生涯有一個(gè)清晰規(guī)劃。此前學(xué)生在高中階段可能對于后面自己想干什么，或者是大學(xué)里的專業(yè)設(shè)置情況并不知道，對于自己的能力和哪個(gè)專業(yè)會匹配、應(yīng)該學(xué)哪些課程也不太清楚。
我們通過測評，會做這樣的一個(gè)生涯規(guī)劃。通過各種測評，把學(xué)生的能力、興趣點(diǎn)測評出來，然后與大學(xué)里的生涯規(guī)劃匹配在一起，最終落實(shí)就可以幫助學(xué)生進(jìn)行課程的選擇。這使得學(xué)生在高中階段學(xué)習(xí)過程中就會很有目標(biāo)。
- 第五，綜合測評。
綜合測評主要是針對學(xué)校的綜合管理的一個(gè)測評。實(shí)際上在新高考的背景下，學(xué)�？赡軙行┕芾砩系淖兏铩？拼笥嶏w結(jié)合高考招生制度改革的迫切需要推出新一代綜合素質(zhì)評價(jià)系統(tǒng)。實(shí)現(xiàn)從指標(biāo)體系、評價(jià)工具、采集方案、誠信體系到結(jié)果公示的全業(yè)務(wù)流程覆蓋。通過科學(xué)有效的內(nèi)容監(jiān)管和誠信體系完整記錄學(xué)生過程性與終結(jié)性成長數(shù)據(jù)；并集成自然語言理解、圖形圖像識別、數(shù)據(jù)可視化等人工智能和大數(shù)據(jù)技術(shù)，輔助教育主管部門科學(xué)決策；并形成教師、家庭及時(shí)反饋與有效干預(yù)的閉環(huán)體系，指導(dǎo)與促進(jìn)學(xué)生綜合素質(zhì)的全面提升與發(fā)展。
具體而言，我們需要構(gòu)建與區(qū)校常態(tài)化教育教學(xué)活動結(jié)合的過程性與終結(jié)性成長數(shù)據(jù)采集方案，開展過程性評價(jià)和終結(jié)性評價(jià)，引進(jìn)學(xué)生、家長、學(xué)校、第三方等多元評價(jià)主體，并能夠基于國家和區(qū)域標(biāo)準(zhǔn)提供評價(jià)結(jié)果的智能試算。從而科學(xué)、公平地開展學(xué)生綜合素質(zhì)評價(jià)，促進(jìn)學(xué)生核心素養(yǎng)提升。
雷鋒網(wǎng)：智能評閱系統(tǒng)需要怎樣的技術(shù)能力支撐，從技術(shù)能力發(fā)展來看，整體市場現(xiàn)狀如何？
付瑞吉：首先，OCR其實(shí)是很關(guān)鍵的，也是一個(gè)基礎(chǔ)，我們可以通過OCR技術(shù)識別出學(xué)生寫的比較潦草的文字，目前科大訊飛在這方面已經(jīng)能夠達(dá)到98%以上的識別率；其次，文字識別完后，是NLP文本處理的能力。
其次，整體來看，在NLP方面，閱讀理解這兩年的技術(shù)進(jìn)步是比較快的，國際上也有諸如SQuAD的比賽，引導(dǎo)研究機(jī)構(gòu)去參賽，使這塊的技術(shù)進(jìn)展較快。這其中的技術(shù)方案是可以用到我們智能評閱系統(tǒng)中的，幫助機(jī)器對于整篇作文宏觀語義的把握。
另外，再加上我們傳統(tǒng)的一些對于語言的應(yīng)用能力的平臺，諸如我演講中提到的各類修辭、表達(dá)方式、篇章結(jié)構(gòu)的分析，智能評閱系統(tǒng)就是將這樣的語言運(yùn)用能力綜合應(yīng)用起來。
現(xiàn)在整個(gè)市場的技術(shù)進(jìn)展是，在大規(guī)�？荚噲鼍爸�，基本上可以達(dá)到實(shí)用水平，大規(guī)�？荚囍袑�(shí)際上也已有應(yīng)用。比較難的則是日常教學(xué)應(yīng)用中，實(shí)現(xiàn)批改反饋功能的難度較大。這里科大訊飛現(xiàn)在采用的是人機(jī)結(jié)合——機(jī)器自動評閱的一些結(jié)果，再通過人工確認(rèn)，從而提高老師的工作效率。
雷鋒網(wǎng)：評閱系統(tǒng)評閱中英文作為這樣的主觀題需要怎樣的技術(shù)能力，AI模型如何訓(xùn)練？
付瑞吉：通過前面提到的文本分析技術(shù)可以得出作文的一些特征，然后另外一項(xiàng)重要工作是“定標(biāo)”。
每次大型考試以后（諸如數(shù)萬人到數(shù)十萬人規(guī)模的考試），我們可以拿出幾百份到一千份的樣卷讓專家打分。專家準(zhǔn)確評分的樣卷，我們可以用來訓(xùn)練智能評閱系統(tǒng)的算法模型，即將專家的評分標(biāo)準(zhǔn)“學(xué)”到我們的模型中。
