徐晧博士介紹了混合AI的概念，是一個(gè)包括云端、邊緣云和終端的統(tǒng)一架構(gòu)。需要巨大算力海量數(shù)據(jù)資源的大規(guī)模AI模型訓(xùn)練，仍留在云端進(jìn)行。推理計(jì)算可以部分轉(zhuǎn)移到終端側(cè)，如果終端側(cè)算力無(wú)法完成，則通過(guò)5G等網(wǎng)絡(luò)，推到云端，運(yùn)算后再推回終端�；旌螦I架構(gòu)可以很好地協(xié)調(diào)終端和云端的資源分配，把AI能力發(fā)揮到極致。
他引用計(jì)算機(jī)的發(fā)展歷史，預(yù)測(cè)AI也會(huì)有這樣的趨勢(shì)。計(jì)算機(jī)從最早是專(zhuān)用的大型設(shè)備，隨后發(fā)展到個(gè)人使用的PC，再到可以攜帶的筆記本，最后發(fā)展成隨身的智能手機(jī)。這個(gè)過(guò)程是把以前大型計(jì)算機(jī)能做的事，慢慢演化貼近每個(gè)人的身邊。同樣的，終端側(cè)的AI算力會(huì)越來(lái)越強(qiáng)，功能會(huì)越來(lái)越多，各種AI功能也將逐漸由云端轉(zhuǎn)移到個(gè)人身邊。他在演講中展示了高通的一個(gè)案例，在今年初，高通實(shí)現(xiàn)首個(gè)在Android手機(jī)上運(yùn)行Stable Diffusion。這是一個(gè)10億參數(shù)規(guī)模的生成式AI模型，以前只能在PC設(shè)備上運(yùn)行，這次高通的運(yùn)行設(shè)備是一臺(tái)不聯(lián)網(wǎng)的高通驍龍8Gen2 5G手機(jī)，能在15秒內(nèi)完成20步推理，根據(jù)用戶(hù)的自然語(yǔ)言輸入生成圖片。徐晧還解釋了終端側(cè)AI取代云端推理其中一個(gè)深層原因，生成式AI每一次對(duì)話的成本是之前搜索引擎的10倍，當(dāng)成千上萬(wàn)的用戶(hù)使用時(shí)，就會(huì)產(chǎn)生巨大的算力成本。這時(shí)候終端側(cè)AI就可以節(jié)約大量的計(jì)算成本，進(jìn)而加速AI普及速度。
徐晧羅列了一組數(shù)據(jù)，介紹了高通在普及終端側(cè)AI的優(yōu)勢(shì)。高通從2007年開(kāi)始投入AI研發(fā)，不斷的將最新的AI算法和能力加入高通AI引擎，現(xiàn)在已經(jīng)發(fā)展到第八代高通AI引擎。全球范圍內(nèi)有數(shù)十億臺(tái)高通驍龍?jiān)O(shè)備，并且繼續(xù)以每年數(shù)億臺(tái)的速度增長(zhǎng)。高通還提供能簡(jiǎn)化AI在終端側(cè)運(yùn)行的軟件和算法的綜合平臺(tái)。海量的硬件數(shù)量，優(yōu)秀的軟件生態(tài)，將會(huì)讓AI普及到更多人。
