快乐8黑金团队登录|快乐8官网不见了

C114通信網: 門戶(微博 微信) 論壇(微博) 人才(微博) 百科 | C114客戶端 | English | IDC聯盟 與風網

技術 - 行業技術 - 電信網絡 - 正文 運營商投稿當日通信資訊

靈光一現,天賦異能的GAN(生成對抗網絡)初揭面

http://www.pldtt.icu ( 2019/3/20 17:46 )

GAN作為一個聽名字就讓人熱血狂燃的生成模型,近年來在CV,NLP,語音處理等各個領域都取得了驕人的成果。本文介紹了GAN的基本思想,損失函數,優化過程,揭開了這個神秘角色的第一層面紗。

2014年,Good Fellow等人將生成對抗網絡的概念引入機器學習范疇,開啟GANs元年。此后的數年,GANs攜帶著它形形色色的變種橫掃生成模型領域,在每年的AI頂級會議中成為當之無愧的流量鮮肉(相關paper數量增長見圖1,且其中70%都是華人發表),并被Yann Lecun盛贊為“十年來機器學習領域最有趣的想法”。那么,這個中文譯名讓人瞬間想擼起袖子的大魔王,GAN,到底有什么本事能在深度學習進入相對瓶頸的階段,還能強勢占據一席之地,和變分自編碼模型VAE二分天下的呢(這個‘天下’有點小,是深度學習生成模型的天下)。如果你愿意隨本文一起一層一層剝開它的心,你會發現你會訝異,原來傳說中的GANs并沒有那么深不可測,核心原理比雞兔同籠還淺顯(因為筆者已經記不清雞兔同籠的解法了)。好,我們開始剝史上最智能的“洋蔥”!

圖1

監督學習二人轉:生成模型和判別模型

首先,嗯,剝開洋蔥第一層:什么是監督學習?監督學習就是有‘老師’帶領的學習,學習目的很明確,無監督學習就是沒有‘老師’帶領的學習,學到什么算什么,這里的‘老師’指的就是學習數據的‘標簽’(注意,這只是一個形象而不精準的說法,后續的文章會專門針對監督學習和無監督學習進行標準闡述,敬請期待)。

然后我們來了解監督學習的一個重要的概念:生成模型和判別模型的區別。注意,這層洋蔥皮可能會讓部分同學眼部不適,隨后會給出眼藥水進行治愈。我們快速手起刀落,切開洋蔥,眼睛流淚的同學可以快速跳至解藥部分。首先假定我們已知數據X={x1,x2,x3,…,xn},這些數據可能是圖像、聲音、或已經預提取的特征向量,數據對應的標簽Y={y1,y2,y3,…,yn},我們需要解決的問題是建立X與Y之間的概率映射關系。

* λ生成模型

生成模型并不直接針對條件概率分布P(Y|X)建模,而是將聯合概率分布P(X,Y)作為學習目標,進一步,條件概率可以基于聯合概率,通過概率公式來進行轉化計算,如下所示:  

公式1

公式2

所以生成模型關注的是先計算出聯合概率分布,再計算條件概率分布。

* λ判別模型

判別模型相對簡單,直接將條件概率分布P(Y|X)作為學習目標,即對于給定的數據x,判別模型預測x屬于每種標簽y的概率。與生成模型的一個明顯區別已經呼之欲出,即判別模型不關心數據集X服從什么樣的實際概率分布,而是直接根據條件概率來學習決策函數Y=f(X)。

已然忘卻了概率論基礎概念的同學可能被第一層洋蔥辣得眼淚橫飛,眼藥水在此:

生成模型屬于統計學習范疇,從大量的數據中尋找真實分布規律;而判別模型只關心不同類型的數據的差別,利用差別來進行分類。

我們常見的機器學習的各種算法都可以按照該定義進行分類:

生成模型-樸素貝葉斯、隱馬爾可夫(em算法)

判別模型- k近鄰法、感知機、決策樹、邏輯回歸、線性回歸、最大熵模型、支持向量機(SVM)、提升方法、條件隨機場(CRF)

GANs之父的靈光一閃

長期以來,生成模型與判別模型各司其職,左右護法,在不同的領域各自精彩紛呈地高歌猛進。2014年,這兩兄弟開始了開啟時代的協作,Good Fellow將博弈論和對抗思想引入,讓生成器和判別器左右互搏,各自對抗進化,以此來生成更逼真的數據。

現在我們開始剝第二層洋蔥。GANs,全稱為Generative Adversarial Nets(生成對抗網絡),它包括了生成器(簡稱G)及判別器(簡稱D)兩個重要部分。

生成器G:

輸入為給定的隨機噪聲向量noise,輸出目標是生成符合真實數據分布的樣本,如圖片、音頻、特征數據等等。

判別器 D:

目標為判定輸入數據的真偽,本質上是一個二值分類器,當輸入為真實數據時,輸出為1,輸入為由 G 生成的假數據時,輸出為0。

當訓練過程開始以后,整個模型的優化過程是一個“二元極小極大博弈(minimax two-player game)”的問題。G作為‘造假者’,會窮盡所能去學習真實數據的分布,并偽造出fake的數據,希望能騙過D。博弈的另一端,D則希望不斷去學習真實數據和偽造數據的差異性,并以此提升自己的鑒別能力。理論上來說,博弈的最終結果會達到一種納什均衡,促使‘造假者’G生成逼真的假數據。

眼藥水又來了,把D想象成咱們的執法打假部門,G就是莆田的非著名造鞋廠商,一開始不管是打假部門還是莆田造鞋廠自身能力都不足,一個分辨真偽球鞋的把握不大,一個也只具備極其稚嫩的仿冒技術。隨后,我們不斷給廠商展示阿迪|耐克|靠背|新平衡|喬丹的最新款式,讓廠商工人不斷優化自己的仿冒技術,打假部門自然就壓力巨大。為了緩解壓力,執法部門連夜開會,不斷研究原版鞋與made in 莆田的區別,天亮后已經具備將當前造假廠商一鍋端的能力。廠商們不甘束手就擒,繼續研究新款式正版鞋制作工藝…… 如此循環往復,執法部門D的鑒假能力提升也迫使造假者G生產出更逼真的偽造鞋,最終莆田造學得了真鞋的精髓,泛濫成災。

我們以原論文中的一幅圖為例來講解一下GANs偽造數據的能力是如何修煉出來的。

圖2

圖2中用藍色的虛線來表示D的判別能力,真實的數據樣本生成分布用黑色的虛線來表示,由G偽造的數據分布用綠色實線來表示。圖中下部則展示了從噪音采樣z經過生成器G后映射到輸出x的關系變化過程。

GANs的目標是讓生成器使用偽造的樣本分布(綠色實線)去模擬真實的樣本分布(黑色虛線),使兩條線盡量一致。

(1)在初始狀態(a),生成器產生的數據和真實數據分布相差非常大,同時,判別器也不能太穩定工作對二者加以區分;

(2)在(b)中,首先我們鎖住生成器G,通過訓練判別器D,使判別器能識別出未經訓練的生成器生成的偽造數據和真實數據的區別;

(3)在(c)中,我們訓練生成器G,讓其具備欺騙當前判別器的能力,生成的數據相比之前更逼近真實樣本分布;

(4)重復上述(2)(3)步,迭代n次后,從理論上我們可以達到(d)圖的狀態,即生成的樣本分布能基本擬合真實的樣本數據分布,同時判別器對任意數據的判定概率均為0.5,即無法區分出是否是真實數據還是偽造數據。    與其說生成對抗網絡定義了一種網絡,不如說定義了一種框架及思想。其中的G和D可以是卷積網絡CNN,可以是老牌生成器VAE,可以是時間序列相關模型RNN,也可以是莆田造鞋怪,這就使得不挑食的GANs的應用相當廣泛,在圖像,語音,文字等領域均有用武之地。

博弈游戲公式-loss損失函數

模型優化當然需要定義損失函數,流量明星GANs也不例外。首先我們聚焦判別器D,本質上它是一個分類器,對于分類器,我們很自然地可以聯想到常見的交叉熵損失函數。

公式3

其中Pi為真實的樣本分布,qi為G偽造的樣本分布。

同時,由于D實質上只輸出{0,1}二分類,所以針對單個樣本,可以強行將函數展開成兩項:

公式4

基于此,對于N個樣本,損失函數為:

公式5

上式中的待鑒定數據Xi 在GANs模型中有兩個來源,一個來自真實的數據分布,我們記為,另一個來源是輸入一個噪聲z(z一般滿足某種已知常見分布,如正態分布),從生成器G中偽造出一個X,我們記為G(z),將兩個來源替換到上式中,得到GANs判定器損失函數的一般期望表達形式:

公式6

我們選擇了一條最容易理解,最不辣眼睛的方式推導了GANs判定器的損失函數,而通常我們見到的GANs損失函數都是以如下形式呈現的:

公式7

這種形式的損失函數更能體現對抗的MinMax博弈過程,其中V(D,G)表示真實樣本與偽造樣本的差異程度,對于生成器G來說,希望盡量縮小這個差異(min),對于判別器D來說希望能盡量拉大這個差異(max),一強一弱,此消彼長地對模型進行迭代優化。

總結

本文旨在將GANs的基礎概念和思想呈現在讀者眼前,從純理論方面驗證了GANs的超強擬合能力,對于GANs本身的學習和研究來說可謂是冰山一角,滄海一粟。GANs的天賦異能讓它在特定領域如魚得水,但自身的弱點缺陷也是觸目驚心,本文尚未涉及到更深層次的探討,精彩未完,敬請期待。

最后,附送一個冷知識,為什么我們通常在paper和文章中既能看到GANs,也能看到GAN,哪種寫法是對的?其實都對。GANs中的s指的是Nets,也就是把生成對抗網絡看做多個(至少有生成器和判別器兩個)模型,而寫作GAN的,是把整個生成對抗網絡視為一個模型了。

作者:青榴實驗室   來源:移動labs

  免責聲明:本文僅代表作者個人觀點,與C114中國通信網無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。

給作者點贊

輕松參與

0VS0

表達立場

寫的不太好

本文關鍵字: 網絡7, 聯想1

Copyright©1999-2019 c114 All Rights Reserved
上海熒通網絡信息技術有限公司版權所有
南方廣告業務部: 021-54451141,54451142 E-mail:[email protected]
北方廣告業務部: 010-63533177,63533977 E-mail:[email protected]
編輯部聯系: 021-54451141,54451142 E-mail:[email protected]
服務熱線: 021-54451141,54451142
滬ICP備12002291號
快乐8黑金团队登录 陕西十一选五体彩号 黑龙江福彩3d开奖结果查询 赛车单双公式破解 体育彩票篮球线上购买 20选5最新开奖结果 新加坡时时彩官网 内蒙时时彩开奖三星走势图 广东最新36选7中奖查询 华宇APP彩票是真的吗 内蒙11选5前三