Masashi Sugiyama: 弱監(jiān)督機(jī)器學(xué)習(xí)的研究進(jìn)展

　　在過去的4-5年中，AI在日本發(fā)展地非�？欤�這也讓我能有機(jī)會出相關(guān)的教科書，其中有一本翻譯成了中文——《圖說機(jī)器學(xué)習(xí)》。其實(shí)我看得懂中文，所以我覺得今天演講的中文標(biāo)題的翻譯是很準(zhǔn)確的。

　　下面我所要講的東西和今天大會的主題非常契合。

　　昨天漆遠(yuǎn)談到了金融領(lǐng)域的機(jī)器學(xué)習(xí)，從大數(shù)據(jù)的角度來看，它是機(jī)器學(xué)習(xí)很重要的研究領(lǐng)域，并且目前還是非常的成功，我也一直對基于大數(shù)據(jù)來做機(jī)器學(xué)習(xí)這件事情非常感興趣。然而，現(xiàn)在對于很多的應(yīng)用領(lǐng)域而言是無法獲取大規(guī)模的標(biāo)注數(shù)據(jù)的，比如醫(yī)藥、制造業(yè)、防災(zāi)等領(lǐng)域。當(dāng)數(shù)據(jù)量不夠時，我們需要相應(yīng)的機(jī)器學(xué)習(xí)方法來應(yīng)對。

　　今天我會講一些關(guān)于小數(shù)據(jù)的研究進(jìn)展，我的演講和其他的演講者相比會更沒有那么的技術(shù)性，希望大家可以了解一下小數(shù)據(jù)分類的研究狀況，其中還是有一些讓人欣喜的研究進(jìn)展的。

　　回到我們所討論的話題，首先還是要去關(guān)注一個最簡單的問題，就是二元分類的問題。

　　我們會有一些訓(xùn)練數(shù)據(jù)（如下圖），其中藍(lán)色圈點(diǎn)代表正例，而紅色叉點(diǎn)代表負(fù)例。這樣的二分類問題，其實(shí)已經(jīng)被研究很多年了，由于我們已經(jīng)有了大量的標(biāo)注數(shù)據(jù)，所以能夠得到非常好的分類結(jié)果，我們都知道現(xiàn)在最優(yōu)的分類結(jié)果是這樣的。

　　然而，想要獲取大量的標(biāo)注數(shù)據(jù)是非常耗時耗力的，我們希望也能夠?qū)�無標(biāo)注數(shù)據(jù)進(jìn)行分類，這就是無監(jiān)督分類的由來。

　　其實(shí)無監(jiān)督分類和聚類是一樣的，比如下面這張圖中的數(shù)據(jù)點(diǎn)聚成了兩簇，每一個簇代表一個類別，這樣才是非常好的分類結(jié)果。然而很遺憾現(xiàn)在我們這個假設(shè)（即聚類的結(jié)果表示一個類別）并未得到相應(yīng)的驗(yàn)證，所以從這個層面上來看，還沒有非常合理的辦法來做無監(jiān)督分類。

　　我非常喜歡11年前提出另一種方法的論文：由于我們有大量的無標(biāo)注數(shù)據(jù)和少量的標(biāo)注數(shù)據(jù)，那么基于少量的標(biāo)注數(shù)據(jù)就能在一定程度上找到邊界，然后結(jié)合所找到的邊界和大量無標(biāo)注數(shù)據(jù)的聚類結(jié)果，從而找出更多的邊界。這就是半監(jiān)督分類。

　　然而，半監(jiān)督分類和無監(jiān)督分類面臨同樣的問題，也就是簇要能夠跟類別對應(yīng)起來。如果一個簇總能對應(yīng)著一個類別，這樣就完美了。但事實(shí)并非如此，這就是我們今天所要討論的內(nèi)容。

　　接下來我先總結(jié)一下前面說過的內(nèi)容。

　　對于不同類型的分類方法，標(biāo)注的成本有高有低，所取得的分類準(zhǔn)確率也有高有低。對于監(jiān)督分類，能夠取得很高的分類準(zhǔn)確率但同時標(biāo)注的成本非常高；而對于半監(jiān)督和非監(jiān)督分類，標(biāo)注的成本都比較低（甚至沒有），但取得的分類準(zhǔn)確率并不高。

　　這是我們所面臨和需要解決的難題。

　　現(xiàn)在深度學(xué)習(xí)技術(shù)非常熱門，但我今天講的東西不是深度學(xué)習(xí)，這并不是說要忽視深度學(xué)習(xí)，其實(shí)這個話題跟深度學(xué)習(xí)也是有關(guān)系的。

　　模型方面，從簡單到復(fù)雜，我們有線性模型、增量模型、基于核函數(shù)的模型和深度學(xué)習(xí)模型等；機(jī)器學(xué)習(xí)方法方面，有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和增強(qiáng)學(xué)習(xí)等。

　　任意的學(xué)習(xí)方法和模型都是可以相結(jié)合的，不過我今天要講的東西是關(guān)于學(xué)習(xí)方法的，它可以使用任何的模型，包括深度學(xué)習(xí)模型。當(dāng)然我更傾向于使用線性模型，因?yàn)檫@更簡單，如果你想使用更加復(fù)雜的模型也是完全可以的。

　　下面是今天演講的議程，接下來會給大家介紹四種不同的分類方法，后面如果有機(jī)會我會介紹一下理化學(xué)研究所AIP研究中心。

　　首先看一下UU(Unlabeled，Unlabeled)分類，U代表的無標(biāo)注的數(shù)據(jù)（Unlabeled data）。

　　那么我們是怎樣對無標(biāo)注的數(shù)據(jù)進(jìn)行分類的呢？假設(shè)我們有兩個未標(biāo)注的數(shù)據(jù)集，它們唯一的不同在于類先驗(yàn)（class-priors，即所屬的類別）的不同。它們的函數(shù)分布如圖中的左右下角，數(shù)量上各占50%左右，其實(shí)我們并不需要知道具體的比例。基于這種假設(shè)，我們需要訓(xùn)練一個分類器，而基于無標(biāo)注數(shù)據(jù)的訓(xùn)練是極具挑戰(zhàn)的。

　　首先來看一下類先驗(yàn)的區(qū)別是什么，在正類和負(fù)類之間，我們只看p(x)和p’(x)之間的差異，這就是我們劃分正負(fù)類的標(biāo)準(zhǔn)。

　　假設(shè)通過某些技術(shù)方法，我們能夠獲取這些數(shù)據(jù)的正負(fù)類分布的先驗(yàn)信息，正負(fù)類的分布比例是對等的，也就是說一半數(shù)據(jù)是正類，一半是負(fù)類。x代表非標(biāo)注的數(shù)據(jù)，C是一個常數(shù)，由于沒有相應(yīng)的標(biāo)注數(shù)據(jù)，所以我們對C的值難以有個合理的估計(jì)。盡管如果C沒有具體的值，我們不知道哪一側(cè)是正類，哪一側(cè)是負(fù)類，但這并不要緊，因?yàn)轭悇e之間的差異性往往很明顯，最終表現(xiàn)在符號為正或負(fù)，所以我們有時可以將常數(shù)C忽略掉。我們只看最終符號的正負(fù)，這樣可以讓我們得到最優(yōu)的分類結(jié)果。

　　接下來的做法都是很直觀的。因?yàn)槲覀円�處理的是一些未�?biāo)注數(shù)據(jù)，第一種方法是做核密度的估計(jì)，我們對兩類數(shù)據(jù)點(diǎn)對應(yīng)的p(x)和p’(x)進(jìn)行估計(jì)，從而計(jì)算它們之間的差值，這樣能夠很自然地解決分類問題。然而，遺憾的是這種方法雖然簡單，但有可能對p(x)-p’(x)的差值產(chǎn)生了低估，這是因?yàn)閷�p(x)和p’(x)的估計(jì)函數(shù)過于平滑所導(dǎo)致的。

　　第二種方法是直接對密度的差值進(jìn)行估計(jì)，利用Kim等人所提出的模型，盡可能把密度差異的估計(jì)偏差達(dá)到最小，這種方法用一個線性的模型就能夠得到相應(yīng)的解決方案。

　　第三種方法是對密度差的第一項(xiàng)進(jìn)行直接的估計(jì)，這是最為直接的方法。對于我們這個問題來說，第三種方法遵循了Vapnik原則。我們要解決的問題不能太過泛化，在這個場景中，我們想要估計(jì)密度的差值，這將涉及到非凸優(yōu)化方面的問題（例如可使用CCCP方法來解）。

　　下面是我們做的一些實(shí)驗(yàn)結(jié)果，比較的指標(biāo)是誤分類率的類均值。

　　表格的左側(cè)一欄是表示不同的數(shù)據(jù)集，對比的方法中有聚類的方法，可以看出聚類的方法并不是很有用。表格中間的是一些普通方法，其中第二種是估計(jì)p(x)-p’(x)的差值，可以看出越靠近左側(cè)的方法取得的效果越好，這是因?yàn)閷��?yīng)解決問題的方式更加直接，因此直接的估計(jì)密度差值或者是密度差值的符號函數(shù)的值會更加有效。

　　在實(shí)際的應(yīng)用中，我們通常選擇左側(cè)的兩種方法。

　　下一個話題要談的是如何處理PU(Positive，Unlabeled)的數(shù)據(jù)，也就是只有正例數(shù)據(jù)和未標(biāo)注的數(shù)據(jù)。

　　我們有兩類數(shù)據(jù)樣本，一種是屬于正類的，另外一類是未標(biāo)注的。當(dāng)然未標(biāo)注的數(shù)據(jù)里包含了正類和負(fù)類兩種數(shù)據(jù)，但是我們并不知道其中哪些是正類，哪些是負(fù)類。對應(yīng)這種數(shù)據(jù)類型的一個例子是，比如有一些你點(diǎn)擊和未點(diǎn)擊的網(wǎng)站，對于那些未點(diǎn)擊的網(wǎng)站中，你既有未來可能會點(diǎn)擊的，也會有你不會點(diǎn)擊的（或者有想點(diǎn)擊的，但可能由于忙而沒有真正點(diǎn)擊的），對這些網(wǎng)站點(diǎn)擊數(shù)據(jù)，我們可以應(yīng)用PU的分類方法。

　　另外，我相信在社交媒體上面也會有這樣的分類場景，判斷一個用戶是不是你的好友。對于已經(jīng)認(rèn)識的朋友，朋友之間有著很好的聯(lián)系，所以我們能夠得到相應(yīng)的數(shù)據(jù)樣本；然而，對于非朋友關(guān)系的用戶們，我們并不知道他們相互討厭對方所以沒有成為朋友，還是如果有機(jī)會是能夠成為朋友的，所以他們之間沒有鏈接并不代表它就是負(fù)類的（不能成為朋友）。

　　在這個PU分類中，我們還需要獲取一個PN的分類器，因?yàn)楸M管我們有了正例數(shù)據(jù)和未標(biāo)注數(shù)據(jù)（對應(yīng)圖中的藍(lán)色和黑色的符號數(shù)據(jù)），我們還是要知道未標(biāo)注數(shù)據(jù)（黑色的符號數(shù)據(jù)）中哪些是負(fù)的哪些是正的，這里也將涉及到很多的公式，我們接下來看一下分類器的風(fēng)險(xiǎn)函數(shù)。

　　我們用到了損失函數(shù)，用了l表示；y是用f(x)表示；我們用R(f)表示風(fēng)險(xiǎn)函數(shù)，代表數(shù)據(jù)分類的風(fēng)險(xiǎn)，可以看到風(fēng)險(xiǎn)函數(shù)包括正類數(shù)據(jù)的分類風(fēng)險(xiǎn)以及負(fù)類數(shù)據(jù)的分類風(fēng)險(xiǎn)。在今天的演講當(dāng)中我們?yōu)榱税阉�講的簡單，這里實(shí)際是要通過這些數(shù)據(jù)來進(jìn)行估計(jì)的。

　　我們現(xiàn)在有正類數(shù)據(jù)和負(fù)類數(shù)據(jù)的分類風(fēng)險(xiǎn)，已經(jīng)分成兩類。因?yàn)槲覀冊赑U分類任務(wù)中缺少對負(fù)類數(shù)據(jù)的標(biāo)注，因而我們不能對負(fù)類數(shù)據(jù)的分類風(fēng)險(xiǎn)進(jìn)行直接的估計(jì)，這也是我們技術(shù)上所面臨的挑戰(zhàn)。然而，這個問題可以很簡單的來解決，由于未標(biāo)注數(shù)據(jù)是由正類數(shù)據(jù)和負(fù)類數(shù)據(jù)組成的，所以我們可以從PU數(shù)據(jù)中來對負(fù)類數(shù)據(jù)的分類風(fēng)險(xiǎn)進(jìn)行一個預(yù)估。

　　具體的公式轉(zhuǎn)換如下圖所示，它背后的理論是正負(fù)數(shù)據(jù)分類風(fēng)險(xiǎn)滿足一定的邊界條件，具體的細(xì)節(jié)在這里就不細(xì)說了。這是最優(yōu)的方法，我們可以通過PU的學(xué)習(xí)，從PU的數(shù)據(jù)中得出PN的信息。

　　在左邊PU的邊界可以比PN的邊界要小，我們一開始是用PU的結(jié)果而沒有PN的，這是我們的起點(diǎn)。但如果滿足了這個條件，PU數(shù)據(jù)的學(xué)習(xí)要比PN數(shù)據(jù)的學(xué)習(xí)更好，但前提是我們要有大量PU數(shù)據(jù)；因?yàn)槿绻�說有大量的PU的數(shù)據(jù)的話，我們左側(cè)邊界值就會變的小一些。所以說，PU的學(xué)習(xí)有時候可以比PN更好一些，這讓我們研究出下一種方法，我后面會給大家看另外一種方法。

　　我們會發(fā)現(xiàn)，盡管PU方法已經(jīng)能夠取得很好的結(jié)果，但是還是存在一些問題。

　　我們再來看一下之前的PN的風(fēng)險(xiǎn)函數(shù)公式，就是基于P數(shù)據(jù)和N數(shù)據(jù)的風(fēng)險(xiǎn)對U數(shù)據(jù)的分類風(fēng)險(xiǎn)進(jìn)行估計(jì)。根據(jù)這個定義，N數(shù)據(jù)的風(fēng)險(xiǎn)是非負(fù)類的，但是它是PU的樣本，在現(xiàn)實(shí)當(dāng)中我們要對樣本進(jìn)行估計(jì)。所以說PU可能是會為負(fù)的，因?yàn)檫@個是會有一個負(fù)號，通常是應(yīng)該是負(fù)號的，但有可能這個差會是負(fù)的，特別是對于可擴(kuò)展性較高的模型來說，比如說像深度網(wǎng)絡(luò)是會出現(xiàn)這個情況。

　　我們看到，對于非負(fù)類的PU分類，先從虛線的藍(lán)線開始看起，是PN的測試數(shù)據(jù)上的誤差結(jié)果（藍(lán)色的實(shí)線），這表示模型是收斂的。

　　再看一下紅色的虛線，是PN的訓(xùn)練數(shù)據(jù)上的誤差結(jié)果，在到某個點(diǎn)的時候會變成負(fù)，這表示模型的訓(xùn)練已經(jīng)出現(xiàn)了過擬合。因?yàn)楫?dāng)在訓(xùn)練數(shù)據(jù)的誤差值變成負(fù)了之后，PU測試數(shù)據(jù)上的誤差值開始增長了。一個簡單的解決過擬合的方法是，限制這些誤差值為非負(fù)。

　　這樣做的話，就可以讓我們的數(shù)值維持非負(fù)性。

　　但這里的一個問題是在于，這樣的模型對于現(xiàn)在的風(fēng)險(xiǎn)預(yù)估而言效果還是可以的，但是并沒有解決全部的問題。

　　首先我們先看一下風(fēng)險(xiǎn)的偏差值還是有一致性的，如果你輸入的樣本太多，它會產(chǎn)生真正的風(fēng)險(xiǎn)，而且它的偏差的下降是指數(shù)級的。從應(yīng)用的角度，我們可以去忽略R(f)的偏執(zhí)項(xiàng)，這樣均方誤差其實(shí)并不比原來的那個均方誤差要大，而R(f)的值也會變得更加的可靠。

　　最后我們看一下實(shí)驗(yàn)結(jié)果：在線性模型當(dāng)中，可以在測試數(shù)據(jù)上收斂，當(dāng)然現(xiàn)在這樣的方法只能用于線性模型。雖然沒有辦法獲得一個更通用的經(jīng)驗(yàn)，但是我們可以能夠?qū)τ谶@樣的偏差預(yù)估性的方法來進(jìn)行改良，興許將來有更好的應(yīng)用。所以，我們在CIFAR10當(dāng)中創(chuàng)建了很多的正類的數(shù)據(jù)，藍(lán)色線代表PN測試。在這里可以看到，如果np等于1000錯誤率下降非常快；如果說是對于非負(fù)的測試數(shù)據(jù)，比如說就是這條黃色線和藍(lán)色虛線的話，它的錯誤率下降就并不是那么的明顯；如果說我們使用一些ReLU方法，PU做的比PN要好的多。

　　接下來做一個簡單的總結(jié)：PU數(shù)據(jù)分類是怎么做的？我們做的非常簡單，就是把P和U數(shù)據(jù)，就是黑色跟藍(lán)色符號數(shù)據(jù)進(jìn)行分開（黑色符號數(shù)據(jù)中其實(shí)還含有藍(lán)方符號的數(shù)據(jù)），最簡單的方式就是做偏置。如果使用線性模式能夠?qū)崿F(xiàn)這樣的一個二次方差的方法，那么能夠保證在P跟U當(dāng)中的損耗是一樣的，所以在實(shí)驗(yàn)當(dāng)中我們也證明了這樣的方法是很有作用的。

　　接下來我們介紹一下PNU(Positive，Negative，Unlabeled)分類，就是正類、負(fù)類和無標(biāo)簽數(shù)據(jù)的分類。PNU分類其實(shí)就是一個半監(jiān)督的學(xué)習(xí)方法。

　　現(xiàn)在我們對于PU分類學(xué)習(xí)有了解決方案，對NU分類學(xué)習(xí)也有自己的解決方案，所以PU跟NU基本上一樣的。PN是一個標(biāo)準(zhǔn)的方法，我們也有相應(yīng)的解決方法，對于PU、PN和NU分類學(xué)習(xí)中能不能使用半監(jiān)督的方法，我們是希望能把其中的兩者結(jié)合起來，就是藍(lán)點(diǎn)或黑框或者紅叉和黑框結(jié)合起來。

　　根據(jù)理論上的風(fēng)險(xiǎn)均值來看，如果在損失風(fēng)險(xiǎn)上PU比NU做的好的話，如果PN放在中間的話，會不會做的更好？或者另外一個方向，如果NU比PU做的好，那PN就放在第二位；或者說是PU放在第一位，或者PN放在第一位。

　　最簡單就是PU和NU要把它結(jié)合起來，我們要把這兩者整合起來。所以原理就是，第一步把PN和PU結(jié)合起來，第二步把PN和NU結(jié)合起來，這樣的話我們總是能獲得最優(yōu)的方法，這是我們現(xiàn)在做的一個研究工作。

　　所以，我們的方法就是把它們結(jié)合起來，進(jìn)行一個組合，根據(jù)我們自己假設(shè)性的數(shù)據(jù)進(jìn)行切換，如果是零，那就是變成一個PN分類學(xué)習(xí)，如果是是負(fù)，那就加上PU學(xué)習(xí)，如果變成正數(shù)我們就加上NU學(xué)習(xí)。后續(xù)繼續(xù)選擇，基本上在三者之間自由組合，添加一個不同PN、PU和NU的組合來實(shí)現(xiàn)自由分類。

　　我們再來看一下泛化誤差邊界：所有的數(shù)據(jù)和類型其實(shí)已經(jīng)看到了，最后NU一個錯誤率這邊還是存在的。換句話說，如果我們能夠使用未標(biāo)注的數(shù)據(jù)，哪怕沒有簇假設(shè)（一個聚類簇對應(yīng)一個標(biāo)注類別）也能夠控制泛化誤差在一定合理的范圍之內(nèi)。一開始我們無標(biāo)注的數(shù)據(jù)只是對它進(jìn)行一個傳播，但是這樣的一些無標(biāo)注數(shù)據(jù)，更多只是用于這樣的損失和評估，而并不適用于正則化。

　　我們現(xiàn)在應(yīng)該可以做一些類似平滑的正則化，這邊其實(shí)并不好解釋，也就是說可能在無標(biāo)注數(shù)據(jù)當(dāng)中獲得標(biāo)注數(shù)據(jù)。如果我們和其他的一些標(biāo)準(zhǔn)方法做一個比較的話，這樣的一個PU加NU，PN加PU的方法所取得結(jié)果是非常好的。

　　最后我們來看一下相互補(bǔ)充型標(biāo)注類別(Complementary Labels)的分類方法。

　　先來看一下類別更多的問題，也就是說現(xiàn)在可能是有1000多或更多類的分類問題。因?yàn)槿绻��?000個不同的標(biāo)簽當(dāng)中來選擇一個正確的標(biāo)注類別描述這個類的話，其實(shí)這是很耗時的，這時候需要互補(bǔ)的標(biāo)注類別。

　　我們選擇其中的一類，就是錯誤的一類。這個做起來就簡單了，1000類個候選當(dāng)中，我們只需要把它隨機(jī)抽選，如果說這個是錯的話，那么我們就選，如果是正確我們就不選，我們選下一個，換句話說我們只選擇錯誤的，幫助我們更快的選擇最后正確的那一類，這個算法對于我們來也非常具有借鑒意義。

　　換句話說，其實(shí)就是使用類別的互補(bǔ)性，更容易選擇大樣本正確的類。我們現(xiàn)在假設(shè)是這樣的，正常的標(biāo)簽，都是來自于p(x，y)，但是是互補(bǔ)標(biāo)簽。所以，從這樣的假設(shè)來看的話，我們沒有辦法確定它這樣的一個一般性的標(biāo)簽和我們互補(bǔ)標(biāo)簽到底應(yīng)該是以什么樣的方法選擇，但是如果說我們定好了這樣的一個公式的話，我們就可以從互補(bǔ)標(biāo)簽的分類當(dāng)中進(jìn)行學(xué)習(xí)。

　　第一種方法，我們使用部分的標(biāo)簽來做分類，我們會有這樣的一個多候選類，對于每一個互補(bǔ)標(biāo)簽的話，都會設(shè)置一個極端的情況，也就是c，所有的c我們都會給一個互補(bǔ)標(biāo)簽，一直把它從c一直到c-1；第二個辦法可能并不是特別正確的辦法，我們可以考慮多標(biāo)簽的分類的方法去做。在這個設(shè)置當(dāng)中，每一個樣本都會屬于多個不同的類，也就是說對于互補(bǔ)類和正類的話我們都會使用的一個負(fù)標(biāo)簽，這個辦法可能目前來說并不是特別好，但是有可能做的更好，總的來說，我們希望能夠用更簡單的辦法來解決這樣一個問題。

　　接下來可能就有點(diǎn)復(fù)雜了，假設(shè)我們做c類的分類，我們把R(f)和gy拿出來，gy就是單個class的分類風(fēng)險(xiǎn)，我們會對這個分類風(fēng)險(xiǎn)進(jìn)行一個分析，今天我只舉其中的一個風(fēng)險(xiǎn)的分析的公式。我們把兩個分類進(jìn)行對比，然后去算它的損失，我們會有這樣的一個程度對稱性的損失，就得出它的風(fēng)險(xiǎn)。

　　但是這個定義來看，在我們的設(shè)置當(dāng)中沒有這個樣本量，所以要實(shí)現(xiàn)一個點(diǎn)對式對稱損失函數(shù)(Pairwise Symmetric Loss)，我們就需要一定的特定條件。

　　我們可以用這樣的一個公式表達(dá)它的風(fēng)險(xiǎn)函數(shù)，重點(diǎn)在于說不要取代P要取代P-，我們要把P-替代掉。所以，只需要把P-進(jìn)行替代之后就可以對比它的一個損失風(fēng)險(xiǎn)。

　　但是有這樣一個問題，這樣的一種對稱性損失，它只是用于一些非凸函數(shù)，換句話說，從數(shù)學(xué)層面來說你無法處理凸函數(shù)的情況，盡管我們絕大部分研究的場景都是非凸的場景。通過這樣的辦法，我們可以預(yù)測錯誤率（從公式當(dāng)中可以看到），也可以看到，標(biāo)注類別的互補(bǔ)性其實(shí)可以幫助我們實(shí)現(xiàn)最優(yōu)的參數(shù)收斂率，這就是一個很好的例子。

　　隨后我們做了相應(yīng)的實(shí)驗(yàn)，我們所提出的方法在這里，部分標(biāo)簽數(shù)據(jù)互補(bǔ)數(shù)據(jù)都在這邊用，我們只會使用1除以(c-1)，如果我們有10類，如果你說不是1類，可能正常樣本是第10類，換句話說最起碼有9個互補(bǔ)標(biāo)簽，不是兩個三個四個，需要C減1，10減1，需要9個互補(bǔ)標(biāo)簽。我們的方法應(yīng)該算是最好的，就算是和右手邊最常見、最主流的方法來比，我們做的更加的好，以上就是我們的實(shí)驗(yàn)結(jié)果。

　　最后我們做一個總結(jié)，我們最關(guān)注的是底下的這欄，也就是高精確性，但同時也希望需要的標(biāo)注成本能夠盡量的低。我們在UU、PU、PNU和互補(bǔ)性標(biāo)簽分類上，都希望能夠?qū)崿F(xiàn)高精度低標(biāo)注成本的目標(biāo)。

　　最后，介紹一下我所在的研究中心

　　最后介紹一下我所在的研究所，日本理化研究所先進(jìn)智能研究中心，也就是AIP。我們所關(guān)注的更多是先進(jìn)的、智能的研究項(xiàng)目。在2016年的時候我們就成立了這個研究中心，我們有5個任務(wù)，分別是開發(fā)下一代的AI技術(shù)、加速科學(xué)研究、把AI用于決策日本的社會重大的問題，以及研究AI道德、法律和社會問題的問題，還有希望解決人力資源發(fā)展。

　　研究中心有三大集團(tuán)，我們只關(guān)注基礎(chǔ)的研究，所有的應(yīng)用都是和合作伙伴付諸實(shí)施。目前我們目標(biāo)的導(dǎo)向型技術(shù)研究集團(tuán)，讓更多的技術(shù)人員和產(chǎn)業(yè)量化人員在這邊工作。對于我們來說，更多只是關(guān)注最基層的基礎(chǔ)的AI的研究，還有一個組是我們AI社會研究組。我們有很多的合作伙伴，像大學(xué)、公司等，在中國也有很多很好的大學(xué)進(jìn)行合作和聯(lián)系，我們希望能有機(jī)會邀請諸位去我們?nèi)毡镜闹悄苎芯恐行娜タ匆豢础?/div>