近日，由中國信息通信研究院、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心、人工智能關(guān)鍵技術(shù)和應(yīng)用評測工信部重點(diǎn)實(shí)驗(yàn)室主辦的2022可信AI峰會線上召開。由捷通華聲參編的《大規(guī)模預(yù)訓(xùn)練模型技術(shù)和應(yīng)用評估方法》同步在峰會期間發(fā)布。

　　近年來，大模型參數(shù)規(guī)模和模型性能不斷創(chuàng)出新高，逐步夯實(shí)人工智能技術(shù)底座，推動(dòng)人工智能向著通用化、工業(yè)化、集約化發(fā)展。在此背景下，中國信息通信研究院聯(lián)合捷通華聲等行業(yè)內(nèi)50余家單位，對大模型的工程化路徑進(jìn)行了深入研究和探討。面向大模型工程化多個(gè)重要階段構(gòu)建了大模型標(biāo)準(zhǔn)體系，包含模型開發(fā)、模型能力、模型應(yīng)用和安全可信四個(gè)部分，本次會議發(fā)布了標(biāo)準(zhǔn)的前兩部分。

　　大模型憑借優(yōu)越的泛化性、通用性、遷移性，在零樣本、小樣本任務(wù)領(lǐng)域下表現(xiàn)出色，并成為人工智能新基建領(lǐng)域的熱點(diǎn)方向之一，同時(shí)也是AI產(chǎn)業(yè)發(fā)展底座的重要一環(huán)。捷通華聲作為國內(nèi)領(lǐng)先的人工智能技術(shù)、產(chǎn)品與解決方案服務(wù)提供商，始終堅(jiān)持關(guān)鍵核心技術(shù)自主研發(fā)，致力于持續(xù)為客戶提供行業(yè)領(lǐng)先的AI體驗(yàn)。目前捷通華聲已將大模型應(yīng)用于多項(xiàng)靈云人工智能核心技術(shù)算法研究與模型訓(xùn)練過程。

　　捷通華聲在研發(fā)靈云語義理解過程中，采用大規(guī)模預(yù)訓(xùn)練，實(shí)現(xiàn)了從大量標(biāo)記和未標(biāo)記數(shù)據(jù)中捕獲知識，將知識存儲到大量的參數(shù)中，并對特定任務(wù)進(jìn)行微調(diào)，極大地?cái)U(kuò)展了模型的泛化能力。

　　此外，捷通華聲通過大模型的自監(jiān)督學(xué)習(xí)方法，在一定程度上解決了數(shù)據(jù)標(biāo)注過程中人工成本高、周期長、準(zhǔn)確度不高的問題。同時(shí)，使得小樣本的學(xué)習(xí)也能達(dá)到比以前更好的能力，且模型參數(shù)規(guī)模越大，優(yōu)勢越明顯，進(jìn)而實(shí)現(xiàn)使用小樣本就可以訓(xùn)練自己所需模型的目的。

　　相比于傳統(tǒng)開發(fā)模式，利用已訓(xùn)練大模型進(jìn)行下游任務(wù)時(shí)，可有效縮短開發(fā)周期。在數(shù)字時(shí)代發(fā)展過程中，大模型能夠更好的幫助企業(yè)滿足業(yè)務(wù)場景多樣化、人工智能需求碎片化等行業(yè)數(shù)字化轉(zhuǎn)型需求。