真實(shí)語(yǔ)音情感數(shù)據(jù)集的可用性有限
作為一個(gè)領(lǐng)域，SER已有20多年的歷史，但與自動(dòng)語(yǔ)音識(shí)別（ASR）相比，SER相對(duì)較新。今天，由于人工智能在該領(lǐng)域的應(yīng)用，ASR已經(jīng)真正起飛。另一方面，SER的速度較慢，因?yàn)榕cASR不同，用于訓(xùn)練AI模型的數(shù)據(jù)相當(dāng)有限。
傳統(tǒng)的SER數(shù)據(jù)集要么是作用的，要么是誘導(dǎo)的。表演數(shù)據(jù)集是由付費(fèi)演員用特定的情感說出固定的短語(yǔ)創(chuàng)建的。誘導(dǎo)數(shù)據(jù)集比這些稍有改進(jìn)，通過讓演講者觀看特定的片段或讓他們想象特定的情況，可以引發(fā)某些情緒。這些數(shù)據(jù)集是稀疏的，我們今天所設(shè)想的那種SER用例需要在交互式對(duì)話中進(jìn)行自動(dòng)情感檢測(cè)；在這些數(shù)據(jù)集上訓(xùn)練的人工智能模型在現(xiàn)實(shí)世界中不會(huì)很好地工作。在預(yù)定義/有限情緒的語(yǔ)音片段上訓(xùn)練和測(cè)試的SER系統(tǒng)將無(wú)法在實(shí)際使用中處理自發(fā)語(yǔ)音。
請(qǐng)注意，約束條件不是真實(shí)世界充滿情感的語(yǔ)音的可用性，而是對(duì)數(shù)據(jù)進(jìn)行注釋/標(biāo)記以創(chuàng)建標(biāo)準(zhǔn)化數(shù)據(jù)集。與其他類型的數(shù)據(jù)（例如圖像）相比，標(biāo)記語(yǔ)音的情感內(nèi)容可能更加主觀。這就引出了下一個(gè)問題：語(yǔ)音情感建模。
情感建模是復(fù)雜的
語(yǔ)音情感建模，即如何表達(dá)嵌入語(yǔ)音中的情感，既復(fù)雜又關(guān)鍵。傳統(tǒng)的方法之一是將語(yǔ)音情感建模為憤怒、不信任、恐懼、快樂、悲傷或中性的主要類別之一。與基于離散類別的方法相比，機(jī)器學(xué)習(xí)更傾向于基于維度的方法。在前者中，使用了語(yǔ)音的聲學(xué)特征，包括語(yǔ)言和非語(yǔ)言�？梢允褂寐曇簦ü庾V信息、能量）、韻律（語(yǔ)調(diào)、強(qiáng)度、節(jié)奏）等技術(shù)特征的組合來訓(xùn)練SER模型。
非語(yǔ)言發(fā)聲，如笑、嘆氣、呼吸和猶豫/暫停，包含用于情緒檢測(cè)的有用信號(hào)。我們還需要考慮非情緒性條件，這些條件與聲音聽起來如何有關(guān)，例如疲勞、感冒、飲酒或其他物質(zhì)。面向消費(fèi)者的SER應(yīng)用必須處理多種語(yǔ)言、跨文化語(yǔ)音模式、遠(yuǎn)場(chǎng)聲學(xué)、說話人識(shí)別、群體動(dòng)力學(xué)、語(yǔ)音轉(zhuǎn)換等問題。
盡管我們?cè)谶@里討論的是SER，但任何其他非語(yǔ)音線索（如視覺信息）也可以作為模型的輸入。例如，在某些場(chǎng)景中，音頻和視頻內(nèi)容都可能可用。語(yǔ)音文本本身可以使用自然語(yǔ)言處理（NLP）進(jìn)行分析。除了字面上的解釋，NLP有可能幫助發(fā)現(xiàn)諷刺或幽默。
所有這些都表明了擁有高質(zhì)量數(shù)據(jù)的重要性。數(shù)據(jù)集的豐富性將決定SER的性能。機(jī)器學(xué)習(xí)技術(shù)在這里扮演著重要角色：
- 半監(jiān)督學(xué)習(xí)技術(shù)可用于標(biāo)記數(shù)據(jù)。在這里，人類研究人員標(biāo)記一小部分?jǐn)?shù)據(jù)，并讓算法標(biāo)記語(yǔ)料庫(kù)的其余部分。
- 這種方法的一個(gè)擴(kuò)展是主動(dòng)學(xué)習(xí)，在這種學(xué)習(xí)中，有一個(gè)人在循環(huán)中，以提高自動(dòng)標(biāo)簽的質(zhì)量。在主動(dòng)學(xué)習(xí)中，如果算法對(duì)其數(shù)據(jù)分類的可信度較低，它會(huì)將語(yǔ)音數(shù)據(jù)路由到人工注釋器。
- 合成語(yǔ)音數(shù)據(jù)可使用少量真實(shí)語(yǔ)音生成，可使用生成對(duì)抗網(wǎng)絡(luò)（GAN）等技術(shù)使其接近真實(shí)語(yǔ)音質(zhì)量。
- 轉(zhuǎn)移學(xué)習(xí)是指將知識(shí)從一個(gè)環(huán)境應(yīng)用到另一個(gè)環(huán)境，可能是有用的。示例包括利用成人情緒模型進(jìn)行兒童情緒識(shí)別訓(xùn)練，或使用非語(yǔ)音音頻（如音樂）訓(xùn)練SER模型。
總之，語(yǔ)音情感識(shí)別是一個(gè)復(fù)雜的領(lǐng)域，包括語(yǔ)言和非語(yǔ)言、上下文甚至視覺的許多活動(dòng)部分。機(jī)器學(xué)習(xí)和人工協(xié)助將在下一代SER應(yīng)用中發(fā)揮重要作用。
聲明:版權(quán)所有 非合作媒體謝絕轉(zhuǎn)載
作者：Kashyap Kompella
原文網(wǎng)址：
https://www.speechtechmag.com/Articles/Columns/Interact/Building-the-Next-Generation-of-ASR-Speech-Emotion-Recognition-Apps-148837.aspx
