中國科學(xué)技術(shù)大學(xué)九韶團隊研究了模式崩潰發(fā)生的根本機理，基于數(shù)學(xué)理論分析提出了一種新方法定量檢測和解決生成對抗網(wǎng)絡(luò)（GANs）中的模式崩潰問題。該成果以“DynGAN: Solving Mode Collapse in GANs with Dynamic Clustering”為題發(fā)表在國際知名學(xué)術(shù)期刊IEEE Transactionson Pattern Analysis and Machine Intelligence。

圖1：什么是模式崩潰現(xiàn)象。

（注：圖截取自文獻：Goodfellow, Ian. "NIPS 2016 tutorial: Generative adversarial networks." arXiv preprint arXiv:1701.00160 (2016).）

生成對抗網(wǎng)絡(luò)（GAN）是廣泛使用的生成模型，通過學(xué)習(xí)真實樣本的分布用于合成復(fù)雜逼真的數(shù)據(jù)。然而，模式崩潰（mode collapse）是生成對抗網(wǎng)絡(luò)面臨的一個重要挑戰(zhàn)，即生成樣本的多樣性明顯低于真實樣本的多樣性，這對進一步應(yīng)用造成了困擾。由于生成對抗網(wǎng)絡(luò)及其訓(xùn)練過程的復(fù)雜性，涉及多種可能的因素和環(huán)節(jié)，一直無法明確究竟是何種機理導(dǎo)致模式崩潰的發(fā)生。

圖2：模式崩潰發(fā)生的根本機理。

經(jīng)過深入研究，研究團隊發(fā)現(xiàn)了生成對抗網(wǎng)絡(luò)產(chǎn)生模式崩潰的根本機理。理論分析表明，當(dāng)真實數(shù)據(jù)存在多個模式時，生成器損失函數(shù)關(guān)于其參數(shù)是非凸的。具體地，導(dǎo)致生成分布僅覆蓋真實分布的部分模式的參數(shù)，是生成器損失函數(shù)的局部極小點。

圖3：解決模式崩潰的新方法。

為了解決模式崩潰問題，我們提出了一個統(tǒng)一的框架，稱為動態(tài)生成對抗網(wǎng)絡(luò)（Dynamic GAN,DynGAN）。該方法通過對可觀察的判別器輸出設(shè)置相應(yīng)閾值，檢測出生成器無法生成的樣本（崩潰樣本），根據(jù)這些崩潰樣本劃分訓(xùn)練集，然后在這些劃分上訓(xùn)練動態(tài)條件的生成模型。

圖4：DynGAN在合成數(shù)據(jù)集上的表現(xiàn)。

圖5：DynGAN在現(xiàn)實世界數(shù)據(jù)集上的效果。

研究結(jié)果理論確保了所提新方法DynGAN的漸進式模式覆蓋。合成數(shù)據(jù)集和現(xiàn)實世界數(shù)據(jù)集的實驗表明，DynGAN在克服模式崩潰方面超過了現(xiàn)有GAN及其變體。該研究工作不僅推進了生成對抗網(wǎng)絡(luò)的理論研究，也為完善生成模型的模式覆蓋提供了重要的實現(xiàn)手段。

中國科學(xué)技術(shù)大學(xué)羅翌新博士、楊周旺教授分別是該工作的第一作者和通訊作者。本項研究獲得了國家自然科學(xué)基金委重大研究計劃、科技部國家重點研究計劃“數(shù)學(xué)和應(yīng)用研究”重點專項、中國科學(xué)院戰(zhàn)略性先導(dǎo)科技專項、安徽省重大科技攻關(guān)專項等基金項目的支持。

論文鏈接：https://doi.org/10.1109/TPAMI.2024.3367532

Yixin Luo,Zhouwang Yang*. DynGAN: Solving Mode Collapse in GANs with Dynamic Clustering.IEEE Transactions on Pattern Analysis and Machine Intelligence,p1-12, 20 February 2024.

（數(shù)學(xué)科學(xué)學(xué)院、科研部）