2024年影像與聲音生成策略解析與前沿技術

各位同學大家好啊 我們就來上課吧 那今天這堂課要講的是

影像跟聲音上的生成策略 那到目前為止呢 我們課堂主要都集中在語言模型

那這些語言模型可以輸入一段文字 輸出一段文字 我們都知道說

這個語言模型怎麼產生文字呢 都是透過文字接龍 那今天呢

這堂課我們要來講 這一些生成式的人工智慧 它們是怎麼產生圖片

甚至產生影片 它們是怎麼產生聲音 怎麼說一句話

甚至唱一首歌 那麼來看看這些產生影像 產生聲音的技術

跟文字上有什麼樣不一樣的地方 但是呢 在開始講技術之前

我想展示一下 現在這一些生成式人工智慧 在生成影像

生成影片 生成聲音上 到底可以做到什麼樣的地步

但很多這些平台 大家可能也都玩過 但是給還沒有玩過的同學知道一下

現在這一些人工智慧 到底可以做到什麼樣的地步 首先呢

現在很多生成式人工智慧 都可以輸入一段文字 然後按照文字的描述

產生對應的圖片 那做得非常好的一個 就是 NanoBanana

那這是 Google 的模型 那你可以在 Gemini 上呼叫到 NanoBanana 那我就在 Gemini 上呢

要求 NanoBanana 產生 PTT 八卦版 鄉民貼文的截圖

就這樣一個指令而已 它產生出來的輸出 是這個樣子的

所以這個是機器產生出來的輸出 它裡面的文字都是讀得懂 而且都是合理的

一開始它就知道這個看板 是 Gossiping Po 文的人

是 PTT Loser 他的暱稱是魯蛇之王 他抱怨的是

巷口雞腿便當漲到 160 了 然後他就說剛才肚子餓 大雞腿飯發現要 160 元

去年才 130 前年才 100 這漲幅比我的薪水還高

月薪三萬的魯蛇 是不是只能吃土了 然後下面

有一堆人推文 而且這些人的帳號都是有意思的 第一個人是 First Floor

他是第一樓 他就說哥投降 早就破 200 了好嗎

然後一個叫 Salary Slave 薪水奴隸

他說 20 年來經濟最好 Rich Daddy 說窮人整天叫 嫌貴你不要吃啊

為什麼這個人叫做 Egg Lover 我也不知道 這個人叫做 A5566

所以這個 NanoBanana 還創造了一堆

鄉民的暱稱 而且看起來都蠻有道理的 你可能會想說

這個真的是影像嗎 它會不會只是把文字 Po 到貼到一個影像上

那我蠻相信它是直接產生這張圖片的 因為你看右下角 它這邊有一塊小小黑色的東西

還想要模擬說這是在螢幕上面呈現的結果 然後這些文字啊 如果你放大來看

有一些比較複雜的地方 它其實是有一些模糊的 或者是你看這個 160 的 0

你們非常仔細看喔 它 0 中間有一條斜線 但是 100 跟 130 的 0

中間是沒有斜線的 所以我蠻相信它是直接產 這個這是直接產生圖片產生出來的

那看到這邊有人可能會再進一步 引申說 哎呀這個影像生成的模型

厲害到這個地步了嗎 它知道鄉民的 ID 是什麼 也能夠猜測鄉民是什麼

也許它是一個世界模型 是一個 World Model 那這個部分我就比較保留

因為我是在 Gemini 上呼叫這個模型 所以你不知道 當你輸入這個指令的時候

Gemini 有沒有試圖去強化它 Gemini 那個語言模型 有可能

但我們不知道它背後實際上做了什麼 但是有可能 它把我的指令轉化得更複雜一點

它先去猜測說 鄉民在八卦版上應該會講什麼 所以它已經要把

要生成的文字先想好 然後再把更複雜的指令丟給 NanoBanana 所以我們現在沒有辦法確定說

是不是所有的內容 所有的知識都是 NanoBanana 有的 還是有些知識

其實是 Gemini 有的 但是總之這張圖片 是有一個影像生成的模型

所生成出來的 那還有更驚人的例子 現在我給 NanoBanana 呢

一張線性代數期中考的考卷 然後留下一些空白 然後它可以輸入文字

然後告訴它說 給我這份考卷被考試學生完成後的樣子 所以它會根據這張圖片進行修改

它修改完的結果長這樣 我仔細檢查一下它的計算過程 都是對的

它拿到滿分啊 很厲害啊 那這張圖片

是不是文字直接另外 key 上去的呢 我還是蠻相信 它是直接產生這張圖片的

你看這些字 它這個 1 2 3 甚至是沒有對好的

它這個文字 是有點斜的 這個 w

有時候有一個勾勾 有時候沒有一個勾勾 所以我蠻相信它是自動生成的

那至於這個解法 是不是 NanoBanana 自己想的 還是 Gemini 先想好

再告訴 NanoBanana 告訴它要生成什麼樣的文字 那這個我們就不得而知

總之 你現在在 Gemini 上 自動呼叫 NanoBanana

它可以做到這樣子的地步 那現在呢 當然也可以產生語音

讓機器說話 那如果你輸入一段文字 比如說你好

然後機器呢 就把這段文字念出來 那這個是語音合成

但語音合成 這樣子的技術 大家都非常熟悉了

Google 小姐 就是語音合成的一個例子 但現在呢

光是做語音合成 讓機器 產生 Google 小姐的聲音是不夠的

今天呢 這些語音合成的模型 往往除了文字以外

還可以輸入一段語音 那這段語音的作用是什麼呢 這段語音的作用

是為了要控制輸出的聲音 聽起來是什麼樣的感覺 比如說

你跟語音合成系統說 輸入的文字是你好 然後給它一個女生的聲音說 Goodbye

它就會用這個女生的聲音 說你好這兩個字 那這個女生的聲音

甚至不是中文 那你卻可以讓機器模仿這個女生的聲音 說出中文

那這個可以用在什麼樣的地方呢 這個就可以用在 AI 配音 比如說本來是英文的影片

那你可以根據原來英文影片的配音 去產生對應的中文的台詞 那這可以做到什麼樣的結果呢

那這邊就是給大家看一個叫做 IndexTTS2 的模型產生出來的結果 那 IndexTTS2 的團隊呢 就用他們技術幫各式各樣知名的影片片段配音

比如說大家很熟悉的這個 臣妾做不到啊 我們直接從 臣妾做不到阿那段開始

然後等一下你會先聽到那個 中文的原音 再來你會聽到 用IndexTTS這個模型 跟模仿中文的原音 唸出來的英文的台詞

所以他可以做到這樣 好那我們來看另一個例子阿 這邊有這個MYGO的例子阿

來播一下MYGO的例子 是一個名場面 我甚麼都願意做這個名場面 來看一下用中文演繹的結果

這就是 中文配音聽起來就是這個樣子 好 所以你知道今天語音合成可以做到甚麼事情 那除了產生人的聲音之外

現在機器也可以產生音樂 也可以唱歌 那產生音樂一個非常知名的模型呢

就是 Suno Suno 你可以給它歌詞 然後呢它就幫你把歌詞唱出來

它自己作曲 然後自己把歌詞唱出來 不過做歌呢

做產生歌詞呢也是很麻煩的 所以我這邊用 Gemini 來產生歌詞 我就跟 Gemini 說

寫一首歌說明想訓練模型 卻沒有運算資源的痛苦 然後它就產生歌詞

然後再把歌詞丟給 Suno 它就產生一首歌 因為 Gemini 一開始產生歌詞

其實就非常好了 所以我幾乎沒有修改 就直接丟給 Suno

它唱起來是這個樣子的 我現在來播放 這個是純粹由 AI 做歌曲

裡面沒人類什麼事情 他就唱出你的心聲 這個歌聽著聽著就落淚了

那現在當然也可以產生影片 那像 Sora 呢 它不只是你給它一段文字

根據文字產生影片 你還可以給它一張圖片 所以它可以根據一張圖片

一段文字產生影片 而且它產生的影片 都是有聲音的

所以我就嘗試給了它這樣一張圖片 大家在看 YouTube 的時候 是不是常常看到這種廣告啊

然後就叫你要用兩步來解這個遊戲 我想了一下應該是 先把下面這個插銷拔掉

然後呢這個岩漿就會掉到下面的水池裡面 然後再把這個插銷拔掉 然後公主就掉下來

然後錢就掉下來 然後這種廣告通常會先拔掉這一個 然後你就沒有錢了

總之就是這麼樣一個廣告 然後呢我就問 Sora 叫它產生解開這個遊戲的過程

看看它能不能解開這個遊戲 以下是 Sora 直接產生的結果 不知道在做什麼

不知道它在幹嘛 然後再試了一次 第二次呢

它又產生中文的配音 這個謎題只允許兩步 先把中間的插銷拔掉

讓金幣先留下來 替公主墊出一層隔離 等金幣掉滿後

再抽掉最下方的插銷 岩漿會被金幣擋住並流走 不會燙到人

公主安全注入 順便撿到一地黃金 完美

阿這睜眼說瞎話 然後我就想說 那 Sora 能不能夠自動來上課呢

所以我就給它 我們上一次上課的投影片封面 然後告訴它

這是課程的投影片封面 請產生課程 然後告訴它

它知道標題是 通用模型的終身學習 講者是李宏毅

那我們來看看 Sora 產生什麼樣的結果 這是 Sora 直接生成的結果 歡迎來到通用模型的終身學習課程

我是李宏毅 這門課要帶大家認識 當模型不再只針對單一任務

而是像人一樣 一生都在學習時 我們會遇到什麼挑戰

又有什麼新的機會 並嘗試讓模型持續吸收知識 它產生一個假的李宏毅出來

大家知道這個假的人 必須叫做李宏毅 你看它產生了一些文字

這些文字顯然是直接生成的 因為根本看不懂它到底想要寫什麼 但這個是一個影像生成模型

直接產生出來的結果 那我又再試了一次 嗨 大家好 我是李宏毅

這門課要和你一起探索通用模型 如何做到終身學習 這個也是 Sora 直接產生的結果

應該很神奇的是 它一開始出現名字的時候 我的名字下面還出現臺大電機系

我很訝異它到底是怎麼知道的 當然如果是影像模型直接產生出來 那我會覺得有點驚訝

那如果是其實有文字模型的輔助 文字模型剛好做了 RAG 或者從 Memory 裡面讀出說

現在的使用者李宏毅是臺大電機系的教授 那我其實沒有這麼驚訝 這邊這個文字你看

它也是直接生成的 所以會有一些奇怪的錯字 這邊有個 QR Code

我掃了什麼都沒有 就這樣子 所以你知道今天影像生成可以做到什麼樣的地步

那今天要講什麼呢 今天要講的不是 Diffusion Model 那如果你想要知道跟 Diffusion Model 有關的事情的話

那在 2024 年的生成式人工智慧導論 其實花了蠻多時間講了 Diffusion Model 那今天會稍微講一下

今天有一個看起來有取代 Diffusion Model 趨勢的模型 叫做 Flow Matching 那其實在這個影像還有聲音的生成上

除了 Diffusion Model 這條路徑以外 還有另外一個路徑 就是用 Auto Regressive

也就是接龍的方法來進行生成 那所以今天會主要以 Auto Regressive 這個角度來作為主軸 然後講 Auto Regressive 這個角度

如何跟 Flow Matching 還有 Diffusion Model 另外一個研究的路線結合起來 他們如何在 2025 年的時候走在一起

那這可能是今天最前沿的影像跟語音生成的技術 所以今天只會側重在 Auto Regressive 這條研究路線上面 那如果你想多知道一些另外一條路線發生的事情的話

你可以看一下去年生成式 AI 導論課程裡面講的一些內容 好 那我們就開始今天有關技術的部分 那我們從開學的第一堂課就跟大家講說

所謂的生成啊 就是你先知道你要生成的東西的基本單位是什麼 接下來做接龍把這些單位一個一個生成出來就結束了

所以我們要問的是如果我們今天要產生的是聲音 那聲音它可能是音樂 它可能是人說話的聲音

那還有或者是影像 那它們的基本單位到底是什麼 我們來先看一下構成影像的基本單位

但這個部分對很多人來說都是基本常識 大家知道說構成影像的單位其實是像素 然後每一個像素呢又可以分成三個子像素

就是 RGB 三個顏色的子像素 每一個子像素它的數值是 0 到 255 之間 也就是有 256 種可能

那我本來想要做投影片講解這個 那我想說做這一頁投影片實在是太無聊了 能不能直接用 Sora 產生一個教學影片

所以我就說創作一個教學影片 畫一個二次元的人物 並展示這個人物是由像素構成的

每個像素又由 RGB 三個子像素所組成 每個子像素的可能數值範圍是 0 到 255 我們來看看 Sora 能不能直接產生教學影片

這樣就可以取代人類老師的角色 以下是 Sora 直接產生的影片 大家看看你根據它講的內容你學不學得了

用像素畫出角色完成 它看起來很細緻對吧 但它其實是由小方塊堆成的

這就是一個像素 每個像素裡有三個子像素 RGB

他們的數值範圍從 0 到 255 不同的組合就成了不同 它這個講的話都跟畫面沒有對到

而且你看它這個字幕居然是生成的 而且你看這個它字幕都會產生一些奇奇怪怪的字 它字幕居然是直接透過一個影像模型產生出來的

剛才我們都說機器看到李宏毅三個字 會產生一個假的李宏毅老師 但是其實 Sora 是有個人化的功能的

你其實可以給它某一個人的影像 然後告訴它說這個人呢以後就叫做宏毅李 然後接下來你再告訴它說創造一個由宏毅李講解的教學影片

它就可以用宏毅李這個角色來講解教學影片 那就是為什麼現在網絡上充斥的 Altman 在做各式各樣的事情的影片就是這麼來的 其實在我們今天要講解的作業裡面

也有 personalization 的部分 只是我們沒有做影像生成那麼複雜 我們是做的是圖片生成

那大家可以體會一下說這種 personalization 可能是怎麼被做出來的 好，所以剛才呢一樣的敘述、一樣的指令

我改成是有李宏毅講解的教學影片 剛才啊我們看過的那些李宏毅都是假的李宏毅 那線上看聽課程的同學你可能從來不知道我長什麼樣子

那我長得呢跟前面兩段有李宏毅的影片是一點都不像啦 那我們來看一下如果客製化之後 它產生的結果長什麼樣子

先來畫一個二次元角色 用最簡單的線條開局 臉型、頭髮、衣服輪廓都勾出來再加上一點表情

上色後的她長這樣，是一位短髮穿著連帽衫的女孩 可是放大來看你會發現其實是由一塊塊像素拼成的 每一個像素裡面

好雖然最後結尾的時候表情有點奇怪 但是我確實差不多就是長這個樣子 所以如果你無法想像我長什麼樣子的話

我其實真的是長這個樣子的 好那剛才講的是產生圖片 那怎麼產生影片呢

其實影片就是一連串的圖片 只是你在產生圖片的時候 那些像素只要考慮兩個維度

只要考慮寬跟高 那如果是影片的話 影片是由一連串的圖片所構成的

所以你還要考慮第三個維度 也就是時間 那在影片裡面的一連串的圖片

在影片裡面的每一張圖片 有一個專有名詞叫做 Frame 如果是翻成中文的話

通常就翻成幀 好那剛才講的是有關影像的部分 那聲音呢

聲音的基本單位又是什麼呢 我們一樣由 Sora 來跟大家說明 Sora 就用我這個角色來做一個教學影片

它告訴大家說 聲音訊號是由取樣點構成的 遠看是聲音訊號

拉近後可以看到一個一個的取樣點 一秒鐘有多少的取樣點 取決於取樣率

也就是 Sampling Rate 也就是說假設 Sampling Rate 是 16 kHz 意味著一秒鐘有 16000 個取樣點

那每個取樣點有多少種可能的數值呢 這取決於取樣的解析度 也就是 Bit Resolution

那 16 個 Bit 意味著解析度有 65536 種可能的數值 好那我們就播放一下 你聽到的聲音訊號其實是一條連續的波形

拉近來看就會發現 它是由一個一個的取樣點連起來的 一秒鐘有多少取樣點取決於取樣率

像這裡的 16000 Hz 代表一秒鐘有 16000 個取樣點 而每個取樣點可以有多少種不同的數值

這又取決於 這個影片講到一半就結束了 而且它最後還手震

你好好產生影片不行嗎 還學人類手震啊 所以 Sora 要產生教學影片

還是有它的極限 那我這邊試了一下 HeyGen 這是另外一個平台

那 HeyGen 上面如果你要創造影片的話 它其實是用一個 Agent 產生出來的 也就是它不是一個步驟生成的

如果是剛才的 Sora 它是直接根據文字就直接產生影像 那 HeyGen 背後呢

應該是呼叫了某一個語言模型 雖然細節我們並不清楚 它會把它用多個步驟來完成

那背後其實也會 call Sora 有一些需要生成影像的地方 它可能是用 Sora 生成的

但是它是用一個 Agentic 的 Framework 透過多個步驟來產生教學影片的 所以一樣的指令丟給 HeyGen

它產生出來的影片是這個樣子的 好，那我們當然可以把影像跟語音生成 看作是像素或者是取樣點的接龍

那如果你今天訓練一個接龍的模型 它根據你的輸入 你的輸入可能是文字

然後它就產生一堆的像素的話 那這些像素集合起來 它就是一張圖片

那如果今天接龍的模型產生出來的是取樣點 代表聲音訊號的取樣點 把這些取樣點集合起來

它就是聲音訊號 那影像生成我們知道就是像素接龍 那這樣子的概念其實早在寒武紀

也就是 2016 年的時候人類就已經知道了 在寒武紀的時候就有一個模型叫做 Pixel RNN 那你從這個投影片上 Pixel RNN 的圖

就可以看出來說它做的事情 就是把一張圖片裡面的像素 一個一個的生成出來

把我的雷射筆叫出來，等我一下 好，它就是把這個像素 由左到右、由上而下

一個一個的生成出來 那麼我們知道每一個像素 是由三個子像素 RGB 所構成的

那在 Pixel RNN 裡面 要產生一個完整的像素 它就是把 RGB 三個子像素依序產生出來

所以它在這個小圖裡面 還展示了它是怎麼產生 RGB 三個子像素的 那再過了幾個月

有另外一個模型叫做 Pixel CNN 概念是一樣的 就只是把 RNN 換成 CNN 而已

一樣它會把像素一個一個產生出來 那每一次要預測一個子像素的時候 就是從 0 到 255 這個數值裡面

選擇一個數值出來 那因為在 2016 年 在寒武紀的時候

就已經知道用像素接龍了 所以在 2016 年秋季班的機器學習 其實也有展示用像素接龍 產生一張圖片

那個時候用像素接龍的技術 可以產生看起來非常簡單的寶可夢的圖像 然後接下來在過了半年之後

2017 年春季班的機器學習課程 我們就有影像生成的作業 只是那個時候能夠做得非常的有限

那個時候讓大家生二次元的圖片 你生出來就是這樣子 最好就是做到這樣

你也可以輸入文字 但輸入文字只能夠指定眼睛跟頭髮的顏色 你在輸入更多模型是不會理你的

因為訓練資料裡面也沒這樣子的資料 所以用像素接龍可以產生圖片 是在寒武紀就已經知道的事情

那把一張一張圖片產生出來 就可以產生影片 所以其實早在寒武紀的時候

也就是 16 年的時候 有一個模型叫做 Video Pixel Network 它就可以產生一張一張的圖片

它把圖片串起來就是影片 在寒武紀的時候生成出來的影片 長什麼樣子呢

其實後來在一年之後 2017 年的春季班也有課程 是講 Video 的 Generation

那你可以去看一下 2017 年春季班的課程 看看那個時候可以生出來的影片

長什麼樣子 然後接下來 那剛才講的都是有關圖像生成的部分

那有關語音生成的部分呢 早在寒武紀的時候 就已經有一個模型叫做 WaveNet

它做的事情就是 把一段聲音訊號裡面的取樣點 一個一個的預測出來

在這個動畫裡面 橙色的一個一個點 就是聲音中的取樣點

那你從這個動畫的解析裡面 就可以看到說 模型把這些取樣點一個一個產生出來

就可以產生聲音訊號 那 WaveNet 合成出來的聲音訊號 聽起來是什麼樣子的呢

那在有 WaveNet 之前 當然也有很多人嘗試用深度學習的技術 來產生聲音訊號

只是那時候做的沒有非常的好 所以那個時候其實一個比較主流的做法 其實是一個 Concatenate 的做法

也就是說你把一些人的聲音訊號拿來 然後切成一小段一小段的 然後拼起來

就可以產生你要的聲音訊號 那那個時候呢 用 Concatenate 的做法

可以做起來的聲音聽起來像是這樣子的 那這邊用 Traditional 代表傳統的 Concatenate 的方法

聽起來是這樣的 就有點像是 Google 小姐的聲音 那時候用 WaveNet

其實當然以今天的角度來看 合成的其實也不是特別好 但當時用一個一個的取樣點接龍

居然可以做到這個地步 當然今天聽起來是覺得還好啦 但是在十年前

哇這個用取樣點接龍居然可以做到這個地步 這個世界上的人都驚呆了 那當時 WaveNet 呢

也試圖產生了音樂 這個我記得是 Google 的結果啦 他們就把這個

拿一堆鋼琴的聲音去訓練 WaveNet 所以它也可以彈鋼琴 聽起來聲音是這個樣子的

就是這樣啊 彈得好不好不好說啦 聽起來就是鋼琴的聲音就是了

但是像這樣子取樣點 或者是像素接龍的方法 有什麼樣的大問題呢

雖然 WaveNet 可以合出還不錯的聲音 但是在當年就有人發了一個 這樣的 Twitter 文章抱怨

他說這個WaveNet 生成一秒鐘的 Audio 需要花 90 分鐘的時間

實在是太長了 所以因為取樣點這個東西 實在是太細了

用取樣點來當作單位 來產生聲音 實在是非常沒有效率的事情

所以我們接下來要問的是 適合生成的基本單位到底是什麼 也就是語音跟影像的 Token

到底是什麼 這就好像是說 我們講萬物的基本單位都是原子

但是我們在討論人類身體構造的時候 我們通常不會在原子的層級上 來討論人類身體的構造

我們當然說細胞 是構成人體的基本單位 所以語音跟影像也是一樣

拿取樣點或者是像素 來當作語音和影像的基本單位 可能實在是太細了

到底什麼樣的單位 比較適合拿來做語音跟影像的生成呢 那為什麼我們有可能用更大的單位

來作為語音跟影像的 Token 呢 你可以想想看 在聲音訊號裡面

可能 B 這個聲音 如果是同一個人講的 甚至是不同人講的

它看起來的聲音訊號 可能都非常的類似 所以也許這些看起來非常類似的聲音訊號

我們可以直接用一個 Token 來直接表示它 我們可以說 B 這個聲音

以後只要看到這樣子的一段波形 它就是 Token 編號 128 雖然它們有點不一樣

但通通都說是 Token 編號 128 用這種方式來表示語音 你就可以用比較簡潔的方式

來表示語音的訊號 對影像來說可能也是一樣 這邊有一隻貓

牠的左眼跟右眼 可能長得蠻像的 或不同的動物的眼睛

只要是貓科動物的眼睛 可能都長這樣 也許我們就把這樣子的眼睛

直接把它命名為 Token 256 以後這個區塊就叫 Token 256 這個區塊也叫 Token 256

那你可以講說這兩隻眼睛 還是有點不一樣吧 它們的反光感覺是不太一樣的

你怎麼能說它們是一模一樣的東西呢 確實它們不是一模一樣的東西 所以當我們把語音跟影像

表示成 Token 的時候 確實有它的極限 那等一下我們再回來探討這個問題

我們現在先假設說 我們就是把語音跟影像做了 非常大規模的簡化

我們用 Token 來表示語音跟影像 那在講這種 Token 怎麼被自動找出來之前 我們先來講說

假設有了這種 Token 之後 我們怎麼樣來訓練模型 就有了這種 Token 之後

首先有一段聲音訊號 你就會跑過一個步驟叫做 Tokenization 把聲音訊號變成一個 Token 的 Sequence

那 Tokenization 這個詞彙 其實在第一堂課 我們講文字語言模型的時候

就已經說過 那我們之前在看 Hugging Face 的模組的時候 我們在跟大家講這個語言模型示範的時候

那時候就會呼叫一個叫做 Tokenization 的 function 但是這邊語音的 Tokenization 跟文字的 Tokenization 是非常不一樣的

那個文字的 Tokenization 非常的簡單 你就是把一句話分成一個一個 Token 但語音的 Tokenization

我們等一下會看到 你必須要用一個複雜的模型 才能把聲音變成一個一個 Token

那聲音變成 Token 之後呢 你還會有一個叫做 Detokenization 的模組 可以把這一些代表聲音的 Token

轉回聲音訊號 但是因為當我們把聲音訊號 轉成 Token 的時候

中間就失去了一些資訊 本來有點不一樣的聲音訊號 變成一樣的 Token

所以你還原回來之後 就會有失真 所以輸入的聲音訊號

經過 Tokenization 然後再做 Detokenization 其實還原回來

是會有一點不一樣的 我們只是期待說 Tokenization 跟 Detokenization 技術做得夠好

這個失真可以越小越好 所以這個語音跟影像的 Tokenization 跟文字非常不一樣

文字你把文字做 Tokenization 再做 Detokenization 轉回來是一模一樣的東西

但是在聲音和影像上 做完 Tokenization Detokenization 之後

你就沒有辦法還原回 原來一模一樣的聲音訊號 或者是圖片了

圖片你也可以做 Tokenization 把它變成一堆 Token 圖片跟聲音不一樣的地方是

因為聲音是一維的 所以這個 Token 也就是排成一排 但是影像是二維的

所以這些 Token 通常也是二維的 那可以想像每一個 Token 其實就對應到圖片裡面的一個小的區塊

然後可以做 Detokenization 把這個二維的 Token 轉回一張圖片的樣子

當然一樣可能會有失真的問題 那假設我們知道 怎麼把語音跟影像表示成 Token 之後

那語音跟影像 其實跟語言模型是非常像的 它仍然是 Token 的接龍

如果你就要做語音合成 也就讓模型吃一段文字 然後產生聲音的話

那其實就是訓練模型 看到一段文字 然後接下來就去預測

接在這段文字後面的語音 Token 應該長什麼樣子 它把 Token 用接龍的方式

一個一個產生出來之後 做 Detokenization 就會還原回聲音訊號

那你還可以做文字生圖片 文字生圖片就是 給這個模型一段文字

然後它去預測這段文字後面 應該接什麼樣代表圖片的 Token 那它會把 Token 一個一個的產生出來

但是因為圖片本身是二維的 所以這些 Token 雖然它產生出來的時候 是一維的

但是你會把它擺成一個二維的樣子 你會假設這個生成的順序 是由左到右

由上到下 你會把一串 Token 擺成二維的樣子 經過 Detokenization

一樣可以產生一張圖片 這個其實就是語音跟影像生成的原理 所以現在真正的核心

是 Token 怎麼產生 Token 上面 那怎麼產生 Token 呢 如果是語音的話

你找 Token 的方式是這樣的 這些 Token 並不是憑藉人力找出來的 而是自動被學出來的

用某個模型學出來的 怎麼學呢 你要學的是一個 Tokenizer

這個 Tokenizer 其實就是一個類神經網路 它可能是有好多層 CNN 後面接好多層的 Transformer 所構成的

那這個 Tokenizer 吃一段聲音訊號 它的輸出就是一排 Token 那這個輸入的聲音訊號跟 Token 之間有什麼樣的關係呢

輸入的聲音訊號 假設是 16kHz 的話 那通常 Token 呢可能是 50Hz

那當然這邊有很多不同的 Setup 你要做更取樣率更小的 Token 其實也是可以的

那如果你把原來 16kHz 的原始聲音訊號變成 50Hz 的 Token 50Hz 的 Token 就是一秒呢 裡面會有 50 個 Token

那你其實就是把 320 個取樣點變成一個 Token 那一個 Token 其實就是你可以想成就是一個數字 那會有多少個不同的 Token 呢

那就要看你當初在訓練模型的時候 你打算有多少不同的 Token 比如可以說我就是 200 個 Token

我有 200 個不同的 Token 也就是 320 個取樣點 它會被壓縮

我們用從 0 到 199 這 200 個數字的其中一個 來表示這 320 個取樣點

然後接下來你要把它還原 然後 Detokenizer 就吃這個 Token sequence 然後想辦法還原聲音訊號

我們在訓練的時候 通常就是 Tokenizer 跟 Detokenizer 一起訓練 我們就一起訓練 Tokenizer 跟 Detokenizer

希望輸入跟最後還原的聲音訊號越接近越好 你就是找一個 Tokenizer 跟 Detokenizer 你的 Loss 就是輸入跟輸出之間的差距

要讓輸入跟輸出越接近越好 但至於什麼叫做接近 什麼叫做像

什麼叫做聲音上的像 那等一下我們會再有幾頁投影片 來探討這個問題

我們現在先假設 我們就是有辦法計算 兩段聲音之間的相似度

好 那這個呢 其實就是 Autoencoder 的概念 那這個是我們在機器學習 2021 的課程

有講過的 那說你還不知道 Autoencoder 是什麼的話 你可以先看一下

機器學習 2021 的課程 但是我們這邊所訓練的 Autoencoder 是一個比較特別的 Autoencoder

因為你會發現說 中間這個 Tokenizer 輸出的 是離散的東西

是 Token 是 Discrete 的東西 那這需要用一個特殊的技術

叫做 VQ-VAE 來訓練 那這邊我們就不細講 它的訓練方式

那我把原始的論文留在這邊 給大家參考 那其實在語音上呢

這個產生 Token 的方式啊 有一個語音蠻常用的方式 叫做 Residual Vector Quantization

縮寫呢 是 RVQ 那它的想法是這樣

也許只用一組 Token 沒辦法好好的表示語音 因為語音非常的複雜

那如果一組 Token 不夠的話 那也許我們可以多用幾組 所以會有很多個 Tokenizer

第一個 Tokenizer 先產生第一組 Token 那第一組 Token

沒辦法完整表示聲音訊號 就假設你 Token 數目 只有 200 個的話

嗯 320 個取樣點 只用

0 到 199 200 個數字來表示 感覺太勉強了

那再加第二個 Tokenizer 第二個 Tokenizer 呢 去想辦法把第一個 Tokenizer

沒有辦法表示的地方 用另外一組 Token 來表示 然後以此類推

你可以有多個 Tokenizer 比如說你可以 train 個 8 個 Tokenizer 或者可以 train 個 32 個 Tokenizer

然後把每一組 Token 呢 一起丟到 Detokenizer 然後還原聲音訊號

這些 Tokenizer 跟 Detokenizer 是一起做訓練的 那有很多模型

比如說 SoundStream 啊 EnCodec 啊 或者是 Mimi 啊

都用類似的方法來產生 Token 那在我們這堂課的第十個作業呢 會有更多跟語音相關的東西

那到時候在作業裡面 你會玩一下 Mimi 這個 Token 那你會更有概念說

Mimi 的每一組 Token 學到了什麼東西 那這個多組 Token 啊

可以看成像是 進位的概念 什麼意思呢

就是第一組 Token 假設有 200 個可能 第二組 Token

假設也有 200 個可能 那他們總和起來的可能性多少呢 並不是 200 加 200

他們合起來的可能性 其實是 200 的平方 當一段聲音訊號

我用兩組 Token 每組 200 個 Token 來表示的時候 這一段聲音訊號

其實等於有 200 的平方的表示方式 就好像是進位一樣 在進位的時候

這個阿拉伯數字只有 0 到 9 只有 10 個可能 但是透過把這個阿拉伯數字

擺在個位數 十位數 百位數

千位數 你可以創造出無窮無盡的數字 那這邊有多個 Tokenizer 的概念

其實也是非常類似的 你可以想像成這是個位數 這是十位數

所以合起來 有 200 的平方的可能的 Token 語音的 Token 其實有非常多不同的變形

這不是我們在這堂課能夠講的 如果大家有興趣的話 可以看一下這篇有關聲音 Token 的 Overview Paper

我其實也是作者之一 接下來我們來講影像的 Token 影像的 Token 怎麼找呢

一樣你有一個 Tokenizer 唯一跟聲音不一樣的地方 只是影像的 Token 是二維的

所以這個 Tokenizer 產生出來的是二維的 Token 那這個二維的 Token 裡面 每一個 Token 其實就是對應到影像裡面的一小塊

比如說在 OpenAI 的 DALL-E 這個模型裡面 每一個 Token 對應到 8x8 這樣子的小範圍 那在 DALL-E 裡面它用的 Token 數目非常多

它有 8192 個 Token 所以可以想像說影像裡面 8x8 的範圍 它用 8192 個不同的 Token

來描述這個 8x8 的範圍 它就把 8x8 的範圍壓縮成只有 8192 個可能性 然後你會有一個 Detokenizer

把這些 Token 還原回原來的影像 訓練的時候一樣你是希望輸入跟輸出越接近越好 你會訓練你的 Tokenizer 跟 Detokenizer

希望輸入跟輸出越接近越好 訓練完你就知道怎麼把影像變成 Token 怎麼把 Token 還原回影像

那用這樣子的方法找出 Token 之後 再去訓練一個接龍的模型 那個接龍模型其實就跟原來的語言模型其實沒什麼不同

只是 Token 的定義變了而已 真的可以做出很好的影像生成模型嗎 其實是可以的

那這邊引用一篇去年年中的論文 那這是那個論文裡面展示的圖 當然現在你看到這種圖你可能也不會特別訝異啦

不過在當時這個也是不錯的生成的結果 那在那篇 Paper 的標題裡面 它就說 Auto-Regressive Model

就是接龍的模型 Beats Diffusion 其實從這個 Title 可以看出來說 在當時 Diffusion Model 應該是比較主流的方法

所以這篇文章才會特別強調說 它用 Auto-Regressive 的 Model 其實是可以做得比 Diffusion Model 更好的

那其實早在這篇文章之前 就有蠻多文章用 Auto-Regressive Model 超越 Diffusion 的模型

那我之所以特別引用這篇文章是因為 這篇文章還強調了一個點 它是 Llama for Scalable Image Generation

它說前人的文章 都還是對 Auto-Regressive 的模型 針對影像做了一些客製化

做了一些客製化的調整 那等一下我們會講這個調整是什麼 它說它這邊沒做任何客製化的調整

它的模型單純就是 Llama 的架構 Train 下去就沒有然後了 就結束了

就產生了一個影像生成的模型 可以比當時的 Diffusion 還要做得更好 好 那怎麼做這個影片的 Token 呢

那影片就是一串圖片 你把它丟進 Tokenizer 裡面 它也會產生 Token

只是影像的 Token 它是排成三維的樣子 所以它有寬 有高 而且還有時間 那通常在做影像 Token 的時候

每一個 Token 不只是代表 這個一個圖片裡面的一個小區域 它還會代表一個時間的範圍

所以說現在這一個 Token 它不只是代表一個 2x2 的範圍 它還代表一段時間

比如說代表兩個 Frame 所以兩個 Frame 合起來會產生 Token 兩個 Frame 合起來會產生 Token

所以 Token 的這個長度 是比原來輸入的影像的長度 還要更短的

然後接下來那個 Detokenizer 就根據這些 Token 再還原原來的影片 那其他都是一樣的

就是讓輸入輸出越接近越好等等 串下去 然後就結束了 你就可以找出影像的 Token

有了影像的 Token 之後 你只要訓練一個 Transformer 把影像的 Token 一個一個生出來

就可以產生影片了 這樣真的可行嗎 在 2021 年的時候

這個也是遠古時代 就已經有人嘗試過了 有人訓練了一個 VideoGPT

它的方法就是我剛才講的 先找出影像的 Token 那個時候叫做 Discrete

那個時候 Token 這個字眼還不流行 那時候叫 Discrete 然後讓 Transformer 把這些 Token 一個一個產生出來

就結束了 那 VideoGPT 可以產生什麼樣的影片呢 它產生出來的影片大概是這樣子的

就播放一下他們 Demo Web Page 上的影片 就這樣 沒了 再播一次

就這樣子 我知道說以今天的角度來看 你當然覺得說

蛤 就給我看這個嗎 當然在 2021 年 在遠古時代 這已經是非常厲害的東西了

那後來呢 再過了兩年 那那個時候影像生成

就能夠做得更成功了 有一篇文章叫做 Language Model Beats Diffusion

那從它的標題也可以看到說 它想要彰顯的就是 過去主流的方法是 Diffusion Model

那它可以用 Language Model 做出比 Diffusion 更好的結果 那怎麼做到呢

對它來說一個關鍵的技術是 Tokenizer is key to visual generation 他們有更好的找 Token 的方式

那至於他們怎麼樣更好的找出 Token 那這個就大家再詳細閱讀原始的論文 那有了比較好的 Token 之後

再來生影片 可以生出更好的 更清晰的 更流暢的影片

那現在這些影片生成 看起來都非常的驚人 到底用了多少的訓練資料呢

那我們其實不知道 Sora 用了多少的訓練資料 但有一個 Project 叫做 OpenSora

那他們是試圖去復現 Sora 的結果 那根據他們的論文呢 他們說他們用了 30M

其實這比我想像的少 用了 3000 萬部影片 來訓練他們的模型

但今天啊 你要找影片其實不是難題 它這邊就列了很多影片的 Corpus

告訴你說 其實有這麼這麼多影片的 Corpus 那它用的那些影片都是

開源的影片 Corpus 就這些影片是公開的 你可以找到

這個不是什麼秘密的資料 他們花比較多力氣的 反而是在於 Filtering

他們把這些公開的影片 做一下 Filtering 那看到這個圖呢

我們在講語言模型訓練的時候 也看過非常類似的圖 總之需要做非常大量的 Filtering

選出品質比較好的影片 才能夠訓練比較好的 文字生影片的模型

好那影片的 Token 呢 還有一個值得多提的是 影片的 影像的 Token

一定要用 2D 的方式來排列嗎 在我們想像中 影像本身是 2D 的

所以表示影像的 Token 應該也是 2D 的 每一個 Token

表示影像裡面的一個小區域 但是一定要這樣嗎 這會不會不是特別有效的表示方式

我們能不能夠說 一張圖片 就用 32 個 Token 來表示

這個 32 個 Token 沒有固定對應的區域 這 32 個 Token 也許代表的是

影像裡面有什麼樣的物件 比如說也許有個 Token 代表 影像四邊都是綠色的草

某個 Token 代表中間有條狗 用這種方式 其實可以更有效的

來表示一張圖片 所以有一篇論文就說 An image is worth 32 Token

for reconstruction and generation 從它標題就知道它想做什麼 它說一張圖片

我們說一張圖片值千言萬語 那它值幾個 Token 呢 值 32 個 Token

那這邊論文就告訴你說 其實你用剛才那個方法 可以把一張圖片

壓成 32 個 Token 來表示它 它做法是這樣 你有個 Tokenizer

這個 Tokenizer 其實是一個 Transformer 這個 Transformer 讀一張圖片做為輸入 然後它就產生一排 Token

那你會先指定好產生 Token 的數目 比如說就產生 32 個 Token 這 32 個 Token 每一個 Token

到底對應到影像的哪邊 不知道 這個是機器自己學出來的

然後再把這 32 個 Token 丟給 Detokenizer 它也是一個 Transformer

讓它還原原來的圖片 訓練的時候一樣 讓輸入跟輸出越接近越好

就結束了 那這 32 個 Token 能好好的表示一張圖片嗎 從文獻上看起來是可以的

這是從原始論文裡面截出來的圖 最下面這個是原圖 那原圖每張圖片有 65536 個 Pixel

那這 65536 個 Pixel 你其實可以用這個 256 個 Token 16x16 個 Token

來還不錯的來表示這一些影像 所以這些圖片是 把這一個原始圖片表示成 256 個 Token

也就是 16x16 個 Token 這邊的 Token 是 2D 的樣子 然後再還原回來

但是如果你仔細看的話 你會發現說 用 256 個 2D 的 Token

排成二維形狀的 Token 來表示圖片 看起來還是有一些資訊的損失的

比如說這個鳳梨的葉子 感覺是有一點點模糊的 你還是可以看出一點點的差異

不過乍看之下 你會覺得中間這一排圖跟下面這一排圖 其實沒什麼差別

那最上面呢 是用一排 32 個 Token 來表示的 那你會發現它其實比較清晰

但用 32 個 Token 來表示一張圖片 其實有一個小小的問題是 有時候那個圖片會被改變

因為想現在每一個 Token 它已經不是對應到一個固定的區域了 它對應的東西比較像是語意

告訴你說這個圖片裡面 有什麼樣的東西 所以如果你仔細看

下面原圖有水花 這裡就沒有水花 然後這個熊的臉的角度

跟這個熊的臉的角度 其實有點不一樣 這隻熊它臉有一點轉向螢幕

這個熊完全是在看左邊 或者是你發現這一隻水母 跟這隻水母

它們的形狀是不太一樣的 所以 Token 裡面可能只表示說 在圖片的右邊要畫一隻水母

但它沒有完全的描述 這個水母長什麼樣子 所以它圖片還是有一點改變的

但是總之這是告訴我們說 你其實可以用更少的 Token 來描述一張圖片

好 那接下來我們來講 什麼叫做像 就是找 Token 的一個核心

就是要量輸入跟輸出 這個 Tokenizer 之前 跟 Detokenizer 之後

你一張圖片 或者是一段聲音訊號 它還原前還原後

到底有多麼的相像 那等一下的討論 我都是用語音作為例子

但是影像上可以用 完全一模一樣的套路 好 什麼叫做像呢

基本上有三種方向的像 第一個像叫做表面上的像 也就是我們回歸到

物件的最基本的單位 在最基本的單位上算它的相似度 如果是聲音訊號的話

那它就是一排取樣點 然後我們就計算 兩堆取樣點之間的相似度

我們就計算兩堆取樣點之間的相似度 計算它們之間的差距 把它們的差距全部平均起來

就是我們的 Loss 就是我們要去 Minimize 的東西 這個東西叫做 Regression 的 Loss

這是表面上的像 那表面上的像有一個非常巨大的問題 如果我們今天把這一些取樣點

全部往右平移一個點 然後最前面補一個 0 那一個取樣點

哇 這個一秒鐘 如果是 16kHz 的 Sampling Rate 一秒鐘 16000 個取樣點

所以你只把取樣點向右平移一個位置 這個人類是根本聽不出差異的 但是如果你去計算 Regression Loss 的話

兩段原來一模一樣的聲音訊號 其實會有天差地遠的差別 所以這個表面上的像

會跟人感知的像有非常大的差距 所以第二種像就是感知上的像 也就是人類聽起來像不像

但我們沒辦法真的找人來聽兩段聲音 告訴你像不像你在訓練的時候 不能這麼做

所以今天採用的方法 是用某一個模型來代替人類 比如說用一個語者辨識的模型

或者是情緒辨識的模型來代替人類 就假設說 我一個很好的情緒辨識的模型

給一段聲音訊號 它可以告訴我是什麼樣的情緒 那產生出來的情緒

人也認為是對的 人認證它是對的 所以這是一個好的

可以模擬人類情緒辨識能力的模型 然後你再把這個模型的某一個 Hidden Representation

某一個 Layer 的 Representation 拿出來算它的相似度 那這個叫做感知上的像

那這個模型給它兩段聲音訊號 從它的 Hidden Representation 抽兩個像量出來

計算它們之間的距離 這個叫做 Perceptual 的 Loss 那還有第三種像叫做

模型難以分辨的像 什麼是模型難以分辨的像呢 你就把原來的聲音訊號

通過 Tokenizer Detokenizer 以後 得到還原的聲音訊號 能有一堆原來的聲音訊號

有一堆還原回來的聲音訊號 然後你去訓練一個模型叫做 Discriminator 這個 Discriminator 做的事

就是分辨一段聲音訊號 它是真正的聲音訊號 還是還原回來的聲音訊號

那如果這個 Discriminator 沒辦法分辨 就代表說

原來的聲音訊號 跟還原的聲音訊號非常像 代表今天還原的非常的好

那代表說這個 Tokenizer 跟 Detokenizer 它們是做得非常的好的 那如果這個 Discriminator

它可以輕易的分辨 兩者之間的差異 那這樣反而是壞的情形

因為就代表說 最後還原出來的聲音訊號 跟原來的聲音訊號

看起來有非常明顯的不同 所以 Discriminator 可以輕易看出 它們兩者之間的差異

那透過 Discriminator Train 好壞 來判斷說我們的 Tokenizer 跟 Detokenizer 做得好不好

這個叫做 Adversarial 的 Loss 那其實呢 這個 Tokenizer 跟 Detokenizer

因為它們是會不斷訓練的 所以它們會訓練得越來越像 它們甚至可以拿 Discriminator

來當作它的目標 它們會拿 Adversarial 的 Loss 當作它的目標來進行訓練

會希望可以讓 Adversarial Loss 越小越好 所以這個 Tokenizer 跟 Detokenizer

可能經過訓練之後 它們產生出來的訊號 會跟原來的聲音訊號

更加相像 但是 Discriminator 呢 也會跟著訓練

就你訓練完 Tokenizer Detokenizer 之後 Discriminator 會拿新生成的結果

也來 Update 參數 也跟著做訓練 那 Discriminator 會越來越嚴苛

那這種訓練一下 Tokenizer Detokenizer 再去訓練一下 Discriminator 這個往復往復這樣的行為

其實就跟一個叫做 Generative Adversarial Network (GAN) 的模型做的事情是一樣的

那如果你想要知道 更多有關 GAN 的事情的話 那我們這堂課時間有限

那我們這學期 其實就沒有講到太多 跟 GAN 有關的事情

如果你想要知道的話 可以再參見機器學習 2021 的內容 好 總之我們現在講了三種像

雖然我們是拿語音做例子 但它其實完全可以套用到 影像上面

就是有表面上的像 感知上的像 跟模型難以分辨的像

那你可以問說 要用哪一種比較好 那這個就是小孩子才問的問題

大人就是全都要 所以今天你其實會把三種不同的像 加起來

然後希望有一個模型 儘量做到三種像都很像 好 那這個是有關 Tokenization 的部分

之前在講文字接龍的時候 我們都假設說接龍就是由前往後 由左向右

但是對於影像 我們一定要由左向右由前往後嗎 那到目前為止

講到影像接龍的時候 影像的 Token 接龍的時候 我們剛才也都是預設說

接龍就是由左向右由上到下 這個接龍的模型 產生一排的影像的 Token 之後

這些 Token 會被擺成由左到右 由上到下的樣子 這種順序叫做 Raster Order

但是影像的接龍 一定要是 Raster Order 嗎 想想看我們人類在畫圖的時候

你其實通常也不會由左向右 由上而下 一個一個 Pixel 的畫出來

人在畫圖的時候 你可能是先畫圖片裡面 你覺得最重要的東西

如果你要畫一隻狗 狗的頭如果在左邊的話 那你就先從左邊開始畫

狗的頭在右邊的話 你就是先從右邊開始畫 所以人在畫圖的時候

也不是按照 Raster Order 在畫的 那我們為什麼讓機器生圖的時候 要按照 Raster Order 來生圖呢

有沒有更好的生成的方法 或甚至我們能不能讓機器自己決定 生成的順序呢

這種方法是有的 有一個方法叫做 MaskGIT 它是 Masked Generative Image Transformer 的縮寫

那這個 MaskGIT 的做法是這樣子的 在訓練的時候 我們先講怎麼做訓練

然後再講怎麼做 Inference 在訓練的時候 它是這樣教模型的

它教模型說訓練資料裡面有 一段文字、一隻奔跑的狗跟對應的圖片 那這個圖片呢

我們把它描述成一串 Token 那這一串 Token 可能本來是二維的 反正就把它拉直

不管它在二維圖片裡面的順序 就會變成一排 Token 然後把這排 Token 呢

其中一些 Token Mask 掉 那哪些要被 Mask 掉呢 就是隨機 Mask 掉

那所謂 Mask 的意思其實可能就是 把這個 Token 換成一個特殊的 Token 你可能保留一個編號

比如說編號 0 代表特殊的 Token 那模型呢 要把這個特殊的 Token 還原回來

那你接下來做的事情 就把這段文字丟給一個 Transformer 把這個裡面有一些 Mask 掉的 Token

的這個 Token Sequence 丟給 Transformer 那 Transformer 訓練的目標 就是把這些被 Mask 的 Token 還原回來

它去猜出這個被蓋起來的位置 原來應該放個籃球 這個位置原來是一個氣球

這兩個位置原來是蘋果 這個是 MaskGIT 訓練的時候的方法 那在訓練的時候呢

這個 Masking 是隨機的 那要 Mask 多少也是隨機的 所以有時候可能在這九個 Token 裡面

會 Mask 掉四個 但有時候可能會 Mask 很多 全部都被 Mask 掉

模型要想辦法只從這段文字 猜出這九個 Token 到底是什麼 那有時候可能 Mask 的非常少

幾乎整張圖片都看得到 只有一小部分被 Mask 起來 那可能對模型來說

這是一個比較容易的任務 這個是訓練的時候 訓練的時候你就是教模型

看到 Mask 如何還原原來的 Token 那測試的時候呢 這個模型訓練好之後

做 Inference 的時候 你做的事情是這個樣子的 有人輸入一段文字

然後你產生一堆 Mask 的 Token 那因為你已經知道圖片的大小 我們通常在產生圖片的時候

你會先設好圖片的大小 所以要有幾個 Mask 的 Token 你是已經事先知道的

所以這樣子的方法 它比較適合用在 已知生成的東西大小的任務上面

那如果你要拿它來生成語音 拿它來生成音樂 因為一段文字進去

要生成多長的對應的聲音 其實有時候並不是一個固定的數值 那你就需要用額外的方法來處理

那在影像上 這個方法用起來是非常的自然的 因為通常圖片的大小

是已經預設知道的 那把這一排 Mask 跟這段文字 丟到我們剛才訓練好的 Transformer

它的工作就是去猜說 被 Mask 起來的地方該是什麼 它就把 Mask 的地方

想辦法還原回來 然後產生這些還原回來的 Token 之後 再把這些 Token 丟到 Detokenizer

希望就可以產生圖片 但是如果你只是這樣做 把給它一堆 Mask

讓它產生一堆 Token 你還原出來的圖片 產生出來的圖片

通常都是非常糟糕的結果 這張圖片是原始論文裡面的例子 它想生一隻紅鶴

但是你看到模型生出來 不知道是什麼奇形怪狀的東西 這黃色東西好像是嘴巴

感覺這邊模型想要放個頭 這邊也想放個頭 這邊也想放個頭

好多地方它都想畫一個紅鶴的頭 全部集合在一起 就是一個奇怪的混合的生物

為什麼會這樣呢 因為這一些 Token 全部都是同時產生的

它們在輸出的時候 彼此沒有協調一下 大家都想畫自己想畫的

大家都針對它對於一隻紅鶴 在圖片的某一個位置要畫什麼 各自做了理解

所以可能在某一個地方 在左上角這個 Token 想要畫一個頭

在中間這個 Token 也想畫個頭 大家看到紅鶴都想要畫一個頭 把頭畫在圖片裡面各個地方

畫出來就是錯誤的結果 所以怎麼辦呢 你需要把一些生成的圖出來的 Token

再蓋回去 那事實上在這個 MaskGIT 實際的操作裡面

通常會把多數的 Token 都蓋回去 只保留少數的 Token 比如說在這個例子裡面

我們假設只保留前三個 Token 只保留三個 Token 其他人都蓋回去

那怎麼決定誰要被保留下來 誰要被蓋回去呢 這邊你可以根據

每一個 Token 產生出來的時候 模型給它的分數來決定 因為產生每一個 Token

跟產生文字的 Token 產生影像的 Token 跟產生文字的 Token 其實一樣的

在每一個位置 其實模型真正產生的是一個機率分布 它會給每一個可能的 Token 一個分數

然後我們再看分數最高的是哪一個 Token 當作是最終的輸出 所以就算這些 Token

都是分數最高的 Token 它們彼此之間還是有分數差距的 我們看每一個 Token 它的分數是多少

可以決定 模型在這個位置產生這個 Token 的時候 它有多確定多想要在這個位置產生 Token

所以假設我們已經知道了每一個 Token 它在這個機率分布裡面的分數 但是要注意一下

這邊並不是同個機率分布裡面的 不同的 Token 的分數 而是每一個位置都有個機率分布

那這些 Token 都已經是 它們那個班級裡面的第一名 只是雖然都是第一名

可能還是有程度的差異 所以每一個第一名再取出來 做一下比較

取出所有第一名裡面的前三名 其他人通通都蓋回去 重新做生成

那你可能會想說 這樣就是最好的方法嗎 取這個分數最高的有道理嗎

在實作上這是一個蠻能運作的方法 那我們實驗室有同學 也做過一些 MaskGIT 相關的研究

實作經驗是 其實把誰保留下來 把誰蓋回去不重要

重點就是 只有一些人可以被留下來 其他人蓋回去

就算這個過程 就誰留下來是隨機的 你就隨機取

K 個 Token 保留下來 其他都蓋回去 結果其實做起來也是差不多的

總之關鍵就是 只有少量的 Token 可以被保留下來 所以可以想成這一步呢

就是 Auto-Regressive 的其中一步 只是一般 Auto-Regressive 一次只能產生一個 Token

現在一次可以產生 K 個 Token 那在這個例子裡面 是一次產生三個 Token

好所以這張圖片還沒被畫完 只畫了三個 Token 接下來呢

把只有三個 Token 的這個 Sequence 多數都是 Mask 的這個 Sequence 再丟進同一個模型

再把 Mask 的地方展回來 那因為有一些地方已經畫起來了 比如說左上角已經畫了一個頭了

因為它已經畫了頭 所以其他人就不可以再畫頭了 我已經知道

輸入已經把頭畫好了 其他人就算沒有互相之間沒有溝通 大家也都知道輸入已經有頭

所以就不會把頭畫出來 所以擺這個位置想要畫一個頭 但它被蓋起來再重新生一次的時候

因為頭已經被畫了 所以它就畫別的東西 可能就畫一個身體

那希望反覆這個步驟 每次只產生 K 個 Token 就好像做 Auto-Regressive

做接龍每次接 三個 Token 只接 K 個 Token 出來 然後最後可以產生完整的圖片

但是跟一般的接龍不一樣的地方是 因為每一次被蓋起來的東西 被保留下來的東西都是不一樣的

所以順序是不固定的 每一張圖片生成的時候 會先產生哪些地方

再產生哪些地方是不固定的 可以說是模型自己決定的 那這個方法

在實作上運作的是蠻好的 那這張投影片裡面的例子 是來自於 MaskGIT 的原始論文

它先說 如果是一般的 Auto-Regressive 的方法 生圖片是這個樣子的

你有 你總共有 256 個 Token 你總共有 16 x 16 個 Token

那你每次就產生一個 Token 每次產生一個 Token 進行 256 次以後

你就可以把整張圖片生出來 所以可以看到說 它要產生一隻紅鶴

這個紅鶴就是從左上角開始生 慢慢的產生完整的紅鶴 那如果用它們的方法呢

它們的方法這個 MaskGIT 每次就是產生一把 Token 每次就產生一把 Token

所以一開始所有 Token 都是被蓋住的 然後接下來 在第一步產生一些 Token

在第二步再產生一些 Token 在第三步再產生一些 Token 但每次實際上是產生全部的 Token

多數蓋回去 所以這邊這個投影片上面 深色代表被保留下來

沒被蓋回去的 Token 所以它就用這個步驟 這些 Token 彼此之間

這個 Token 生成的順序 可能沒有什麼特定的順序 是根據這個圖片的特性來產生的

那最後也一樣可以產生完整的紅鶴 而且需要的步數是比較少的 因為你每次保留 Token

如果大於 1 的話 那你需要的步數 就可以比 Auto-Regressive 的方法

比單純由左而右由上到下接龍的方法 還要更有效 用更少的步數就可以產生圖片

那至於這兩個方法誰比較強 等一下我們在講其他東西的時候 會正好看到一個比較的結果

好那其實這個 Auto-Regressive 可以有好幾層 Auto-Regressive 什麼意思呢

我們在畫圖片的時候 不只不會由左到右而上到下 我們甚至不會一次畫完

完整圖片的所有的細節 你可能是先畫個草稿 再打個底色

然後再把細節畫出來 那我們能不能在生圖片的時候 也做一模一樣的事情呢

比如說我們想要輸入一隻奔跑的狗 輸出是一個 1024 x 1024 高解析度的圖片

但我們沒有必要一步驟 就產生高解析度的圖片 可以先讓接龍模型產生

64 x 64 的圖片 當然這個過程 還是需要做某種程度的接龍

不管你是用一般的 Auto-Regressive 還是 MaskGIT MaskGIT 今天很多人都說

它算是一種 Auto-Regressive 的方法 因為它也是一次產生幾個 Token 不管是什麼樣的接龍的方法

你就先產生比較小的圖 那根據比較小的圖 再用另外一個接龍的模型

把它放大變成 256 x 256 的圖 加上比較多的細節 再用另外一個模型

把 256 x 256 的圖變成 1024 x 1024 的圖 加上更多的細節 那現在生成的時候就有兩個方向

生圖的時候用的是 Token 的 Prediction 你每次都要產生一些 Token 但是從小圖到大圖

你可以看作是 另外一個層次的 Prediction 它是 Next Scale 的 Prediction

所以今天在生圖片的時候 你可以有兩個不同方向 不同角度的 Auto-Regression

兩種不同角度的接龍 從小圖到大圖 也可以看作是另外一種接龍

那像有一個 Paper 叫作 Muse 那這個是 23 年上古時代的文章 它其實就是 MaskGIT 的延伸

它就是 MaskGIT 加上分兩個步驟 來生成圖片 所以它作法是

先有一個比較小的 Transformer 那這個比較小的 Transformer 它的目標就是根據輸入的文字

生成 256 x 256 的圖片 但這個生成的過程是用 MaskGIT 就是每次只 Predict 幾個 Token 出來

其他蓋回去 每次只產生幾個其他蓋回去的方法 產生 256 x 256 圖之後

再根據這個 256 x 256 的圖 擴展成 512 x 512 的圖 那產生 512 x 512 的圖的過程

一樣是 MaskGIT 也就是產生 Token 蓋回去 產生 Token 蓋回去這樣子的方法

那以下是這個 Muse 這篇 Paper 裡面的一個範例 它就告訴你說 在產生 256 x 256 的圖的時候

那你看一步一步 有一隻貓在下圍棋的圖 在下西洋棋的圖慢慢的產生出來

那產生這個小圖之後 再根據小圖去產生大圖 這樣就可以產生高清的大圖

那這種方法還有一個變形叫做 VAR Visual Auto-Regressive Modeling 剛才我們在講 Next Scale 的 Prediction 的時候

好像每一個 Scale 用的都是不同的模型 從小圖生中圖中圖生大圖 用的都是不同的模型

但你其實可以把小圖生中圖中圖生大圖 這一系列的過程 通通用同一個模型來做

這個就是 Visual Auto-Regressive Modeling 的核心的想法 這個 VAR 這個想法就是說 小圖生到大圖

全部也都是用同一個模型 End to End 的訓練出來 所以就是訓練出一個模型

它每一張小圖都是 Auto-Regressive 的生圖 然後小圖再根據小圖生大圖 它有兩層的 Auto-Regressive

但通通是用同一個模型 同一組參數來完成的 那在影像上也可以做非常類似的事情

比如說 NanoBanana Video 就是用類似的方法 它要產生比較高品質的 Video 但是先從低品質的 Video 升起

先產生 Frame 數比較少 比較模糊的圖片 比較模糊的 Video

再從模糊的 Video 逐漸產生清晰的 Video 那因為 NanoBanana Video 倒是 2024 年的時候講過的東西

我們這邊就不再細講 好 那我們剛才已經講了說 在圖片上有一些特殊的生成方法

不一定要用由左到右 而上到下的生成方式 好 那到目前為止

我們都還是用 Token 做為生成的單位 接下來我們就要看 Token 的極限 那 Token 一開始

讓人類更容易的可以做圖片的生成 但是隨著人類對於圖片生成的要求越來越高 人們開始覺得 Token 限制了生成的品質

因為我剛才一直說 Token 就是把圖片做某種程度的壓縮 所以用 Token 來還原圖片的時候

你就是會有一些失真 Token 無法完全表示影像 它竟然無法完全表示影像

當把 Token Detokenize 回來的時候 你生成的影像的品質就會不夠好 而這個品質不夠好

跟接龍模型沒有關係 這個是 Token 的鍋 不是接龍模型的鍋

所以接龍模型你弄再大的模型 用再多的資料最終都沒有用 你的 Upper Bound 可能會被 Token 所限制住

那真的會被 Token 所限制住嗎 這邊就引用一篇去年 10 月的論文 告訴你說確實 Token 有它的極限

而這群作者就拿當時一個比較好的 Tokenizer 他們把一張圖片丟給 Tokenizer 這個 Tokenizer 是把 16 x 16 的範圍

用 8192 個不同的 Token 來進行表示 然後他把一張圖片丟給 Tokenizer 還原回來看看還原後的圖片長什麼樣子

這是丟進去的圖是蒙娜麗莎的畫像 還原回來變成這個樣子 像這樣等級的圖片

如果在一兩年前你其實也可以接受 因為那時候機器生圖很差 但今天你可能很難接受

機器產生這樣子等級的圖片 蒙娜麗莎有點臉歪嘴斜 還增加了一些額外的皺紋

看起來表情怪怪的 總之現在人類已經不能接受 產生這種等級的圖片

所以需要更好的做法 有什麼樣更好的做法呢 Token 限制了我們的模型

描述一張圖片的能力 我們需要更有表述力的 Token 那這種 Token 就是 Continuous 的 Token

所以 Continuous Token 的意思是說 我們現在不再用離散的數字 來表示一個 Token

現在一個 Token 可以是一個向量 向量的每一個維度 都可以是一個 Real Number

我們可以用 16 維的一個向量 來表示一個 Token 那這種用向量來表示一個 Token

就叫做 Continuous Token 那其實很多時候有人甚至現在 會把 Continuous Token 的 Continuous

直接省略掉 所以你讀很多近期的文獻 當他說他用 Token 的時候

其實往往指的已經不是 Discrete 的 Token 而是 Continuous 的 Token 所以當我們用 Continuous Token 的時候

每一個向量 它可以表示的東西 就比原來的 Discrete 的

用整數來表示的東西 多的多非常多了 所以如果你有一個 Continuous 的 Token

那你輸入一個蒙娜麗莎的圖 再還原回來之後 它就可以還原幾乎一樣的圖

所以我們應該要用 Continuous 的 Token 那在這篇論文裡面 它確實也比較了一下

Discrete Token 跟 Continuous Token 的差異 在這個投影片上面 這個藍色跟綠色

藍色跟綠色代表是 Discrete 的 Token 紅色跟黃色代表的是 Continuous Token 橫軸是指接龍模型的大小

越往右代表你的接龍模型越大 這邊是用參數當作單位 縱軸是一個叫 FID 的東西

我們這邊就不細講 FID 是什麼 它代表的是圖片生存的品質 這是一種 perceptual 的 loss

總之這個數值越小 代表你的圖片生存是越好的 那這邊也可以看到說

如果你是用這個虛線的 也就是 Discrete 的 Token 的話 你會達到一個上限

你會在某個時候 你的接龍模型就算是越來越大 你圖片生存的品質也不會再更好

因為它的極限就被 Token 所限制住 那如果你是用 Continuous 的 Token 那隨著模型變大

你的結果是可以越來越好的 那在這一篇配合裡面 他們也順便比較了

這個 Raster Order 跟 Random Order Raster Order 就是由左到右由上到下 Random Order 其實就是剛才的 MaskGIT

那比較這兩種方法 到底哪一種比較好呢 在這個實驗裡面

看起來是 Random Order 比較好 那 Random Order 最後可以產生 黃色的這一條線

所以最終 Random Order 可以給我們最好的結果 那 Raster Order 只能給我們次加的結果 但是其實不是所有的實驗都這樣

它有做一些別的實驗 有時候也有可能 Raster Order 比較好 但總之這個實驗是告訴我們說

Raster Order 跟 Random Order 它們是差不多的 就算是模型今天生成的時候

是用混亂的順序生成的 也可以生成不錯的圖片 好 那我們剛才說我們要用 Continuous 的 Token

那我們顯然就需要訓練一個接龍的模型 使用 Continuous 的 Token 做接龍 那你想說這是個問題嗎

那就是訓練一個模型用 Continuous 的 Token 做接龍囉 那怎麼做呢 好 這個是我們訓練資料裡面一張圖片

這是它對應的文字 把圖片變成 Continuous 的 Token 排成一直線

這個就是我們要生成的目標 我們用 z_hat 來代表要生成的目標 那我們就是告訴接龍的模型說

看到這段文字作為輸入 接下來你要輸出什麼呢 你要輸出的目標就是 z1_hat 這一個向量

每一個 Continuous 的 Token 都是一個向量 所以接龍模型要學會看到這段文字 要儘量輸出跟 z1_hat 越接近越好

那它的輸出跟 z1_hat 之間的距離 我們用 L1 來表示 同樣的道理

如果已經輸入文字 然後給了 z1_hat 這個 Continuous 的 Token 那接龍模型要產生 z2_hat 這個 Token

接龍模型的輸出 要跟 z2_hat 這一個向量越接近越好 我們會計算它的距離當做一個 Loss

把每一筆訓練資料 Loss 全部加起來 是我們要最小化的目標 這個聽起來都是非常 Typical 的方法

但真正難的點來了 真正難的點是 怎麼計算這兩者之間的距離

一個非常直覺的想法 就跟我們之前在前幾堂課裡面 用來計算距離的方式一樣

跟 Regression 的時候用來計算距離的方式一樣 就選 Mean Square Error 也就是計算 z1 跟 z1_hat 之間的 Norm

來當作 Loss z2 跟 z2_hat 之間的 Norm 來當作 Loss 這聽起來非常的直覺

Norm 越小就代表兩個向量的距離越近 那我們就是希望訓練一個接龍的模型 它輸出的向量跟正確答案越近越好

這聽起來沒什麼問題 聽起來非常直覺 但真正的問題就出在這個

聽起來非常直覺的想法上 這個非常直覺的想法 會有什麼樣的問題呢

假設你今天的訓練資料裡面 有兩段類似甚至一樣的描述 都是一隻奔跑的狗

但你知道一張圖片勝過千言萬語 同樣是一隻在奔跑的狗 它對你的圖片可能有千千萬萬的可能

這是在草地上奔跑的狗 這是在城市裡奔跑的狗 它們都是一隻在奔跑的狗

當你今天用接龍模型在訓練的時候 如果你現在的 Batch 裡面 Sample 到這筆資料

那你就告訴接龍模型說 看到輸入一隻在奔跑的狗 那你輸出要跟正確答案

就這個綠色的向量越接近越好 那如果你 Batch Sample 到這筆資料 那你就告訴模型說

看到一隻在奔跑的狗作為輸入 那你的輸出要跟你的正確答案 粉紅色的向量越接近越好

所以你有時候告訴模型 要跟綠色的向量越接近越好 有時候告訴模型要跟紅色的向量越接近越好

不要忘了輸入是一模一樣的 而我們的接龍模型就是個 Neural Network 所以一樣的輸入

它的輸出就是一樣的東西 一樣的東西它根本沒有辦法同時 又跟綠色接近又跟紅色接近

假設綠色跟紅色的向量是很不一樣的話 所以模型最終學到什麼 它就學到說

我希望讓我輸出的結果 既跟綠色接近也跟紅色接近 我要 minimize 跟綠色跟紅色的距離的 MSE

那它得到的結果就是兩者的平均 就是綠色跟紅色的混合 那它如果輸出綠色的向量是對的

輸出紅色的也是對的 但輸出混合的結果就是錯的 本來輸出綠色的你可以畫一隻狗

輸出紅色的可以畫另外一隻狗 輸出綠色跟紅色混合的 你可能就畫一個雙頭狗

那畫出來的東西就是錯誤的東西 所以看起來用 MSE 是有問題的 看起來接龍模型不適用在這個場合上

那講到這邊可能想說 接龍模型不適用在這個場合上嗎 那之前訓練文字模型的時候

做語言模型的時候 怎麼沒考慮到這個問題呢 語言模型應該也有一樣的問題

同樣的未完成的句子 後面可以接很多不同可能 「李宏毅是」這個未完成句子後面

可以接演員也可以接教授 有很多不同的接法 你在訓練的時候有時候會教模型說

看到「李宏毅是」那後面要接「演」 要跟「演」機率是 1 其他 Token 機率是 0 的這樣的機率分布

越接近越好 那如果看到「李宏毅是」 有時候你又教它應該要輸出「教」

應該要跟「教」機率是 1 其他詞彙機率是 0 的狀況越接近越好 那這樣會不會有問題呢

這樣訓練出來的結果是什麼呢 在這個例子裡面 假設有時候你告訴模型

它輸出要是「演」 假設有時候告訴模型輸出要是「教」 它最後產生的機率分布就是

「演」輸出的機率是 0.5 「教」輸出的機率是 0.5 這個是可以讓兩者的

Cross Entropy 的和最小的一個輸出的方式 那輸出這種混合的結果 會不會有問題呢

神奇的是 正好因為我們用的是 Discrete Token 所以這個混合的結果是沒有問題的

為什麼混合的結果是沒有問題的呢 我們今天語言模型的輸出 我們說它的輸出代表每一個 Token 的分數

然後我們得到每一個 Token 的分數以後 接下來你會做取樣 你會去擲一個骰子

根據這個機率分布 決定說「李宏毅是」後面要接「演」 還是要接「教」

它可以決定要接哪一個字 它只會產生某一個 Token 產生「演」也是對的

產生「教」也是對的 它每次只會產生某一個特定的 Token 而不會產生兩個 Token 綜合起來的結果

所以當我們的輸出是 Discrete 跟我們輸出是 Continuous 的時候 狀況是不一樣的

Discrete 直接套用文字接龍的方法 Train 下去沒有問題 但 Continuous 直接套用接龍的方法

Train 下去 當你用 MSE 當作 Loss 的時候 其實是有問題的

那既然問題出在用 MSE 當作 Loss 那感覺我們需要重新定義我們的 Loss 我們要重新定義

我們在輸出 Continuous Token 的時候 我們要用的 Loss 是什麼 這就進入了另外一個研究的世界線

我們剛才講說生成除了用文字接龍的方法以外 有另外一個世界線 有另外一個系列的生成的方法

比如說 VAE 比如說 GAN 比如說 Diffusion

比如說 Flow Model 因為時間有限的關係 今天不會詳細說明這些方法

但是今天會詳細說明這些方法的精神 告訴你另外一個世界線發生了什麼樣的事情 另外一個世界線

最想要處理的問題是 這個世界並沒有標準答案 所以真正的生成問題是這個樣子的

當你告訴一個生成模型 給它一個輸入 叫它去預測下一步要產生什麼的時候

其實並沒有真正正確的答案 真實的答案 標準的答案其實是一個機率分布

在這個機率分布裡面 只要機率高的都是對的 所以一個生成模型

它真正應該要輸出的應該是一個機率分布 然後它輸出機率分布以後 我們再從機率分布去做取樣

來決定要產生什麼 那我們在機率分布上取樣 Sample 到不同的東西

我們最終產生的就是不同的東西 那有趣的是 當我們要生成的是 Discrete Token

比如說文字的時候 這個問題很直覺的就被解決了 因為當我們生成是 Discrete Token 的時候

我們說我們讓模型真正輸出的是一排數字 不要忘了這些模型都是類神經網路 類神經網路真正能輸出的是什麼

它真正能輸出的就是一排數字 但是我們把這排數字 解釋成是每一個 Token 的分數

我們可以說我們讓生成模型 給每一個 Token 一個分數 這個分數代表了一個機率分布

我們再從這個機率分布去做取樣 去做 Sample 就可以給我們一個 Token 所以當我們生成目標是 Discrete Token 的時候

你不會去想說 世界上有多個不同答案的這種事情 因為這個問題很自然的就被解決了

但當我們生成的是一個 Continuous 的東西的時候 這個問題就浮現出來了 假設我們現在要生成的是 Continuous 的向量

那這個世界上正確的答案 給你一個輸入接下來應該要產生的向量 不只一種可能

它是一個機率分布 我們這邊畫一個綠色的 像是阿米巴原蟲的東西

當作一個機率的分布 你可以想像在這個綠色的範圍內 代表這個正確答案出現的機率是比較高的

那這個綠色範圍內的每一個點 都是一個向量 對一個生成模型來說

它充其量能夠生成的東西就是一排數字 所以它能夠生成的就只能是一個向量 它沒辦法生成一個向量的機率分布

所以它沒有辦法生成一個向量的機率分布 所以根本沒有辦法讓生成模型輸出的東西 去跟這個機率分布越接近越好

因為它們本質上就是不一樣的東西 那怎麼解決這個問題呢 這邊就有不同的思路

一個比較早期的思路是 讓生成模型生出來的東西 不是最終的結果

而是讓它生成出來的東西 被解讀成是某種機率分布裡面的參數 什麼叫某種機率分布裡面的參數呢

比如說拿 Multivariate 的 Normal Distribution 為例 一個 Multivariate 的 Normal Distribution 它的參數是什麼

它的參數就是控制它的 Mean 的一個向量 叫做 Mu 控制它的 Covariance 的一個矩陣叫做 Sigma

知道 Mu 知道 Sigma 你就知道這一個 Normal Distribution 它長的是什麼樣子

所以我們讓生成模型生成出來的東西 是 Mu 跟 Sigma 它生成的東西不是一個向量

而是控制一組向量的參數 那假設我們現在的目標的分布 裡面的向量都是 10 維

那這個 Mu 就是 10 維 那這個 Sigma 就是 10 乘 10 維 也就是 100 維

所以你就要求生成模型 生成出一個 110 維的東西 前 10 維就是一個 Normal Distribution 的 Mean

後面 100 維就是一個 Normal Distribution 的 Covariance Matrix 有了這兩個東西

你就定義了一個 Normal Distribution 這個 Mu 告訴我們 Normal Distribution 的中心在哪裡 這個 Sigma 告訴我們 Normal Distribution 的形狀

長什麼樣子 我們訓練的目標 就是要訓練這個生成模型裡面的參數

讓它生成的 Mu 跟 Sigma 產生這個 Normal Distribution 以後 要跟我們真實的答案

要跟我們正確的答案越接近越好 那你這邊有一個顯而易見的問題就是 這個 Normal Distribution 怎麼弄

都是橢圓形的 不管這個 Mu 跟 Sigma 長什麼樣子 都是橢圓形的

你不管怎麼去扭曲這個 產生什麼樣數值的 Mu 跟 Sigma 你都弄不出這個

阿米巴原蟲的形狀 所以如果我們今天是把生成模型 當作是控制某一個機率分布的參數的話

因為我們能夠控制的那些 機率分布都是一些很簡單的機率分布 我們沒辦法真的讓生成模型

產生非常複雜的機率分布 讓它可以跟正確答案非常的類似 尤其假設正確答案

它是真實的資料 它是非常複雜的分布 如果我們只是用產生參數的方法

去控制某一些已知的機率分布的話 我們是沒有辦法 真的跟正確答案非常類似的

所以怎麼辦呢 所以這邊就有了一系列的想法 這一系列的想法

通常會被統稱為 Generative Model 也就是生成模型

雖然 Autoregressive Model 看起來也是一個生成模型 但通常講 Generative Model 的時候

指的是另外一個系列的模型 比如說 VAE、GAN、Diffusion、Flow 雖然這些方法

它們的式子長得看起來非常的不一樣 如果自己有讀文獻的話 往往你就是看得一頭霧水

但它們背後要做的事情 是一模一樣的 它們背後要做的事情是什麼呢

它們背後要做的事情是這個樣子的 我們要讓生成模型 可以生出一個機率分布

怎麼做 生成模型就是一個類神經網路 我們輸入的時候

給它一個 Normal Distribution 什麼叫輸入的時候 給它一個 Normal Distribution 呢

從一個已知的 其實這邊是不是 Normal Distribution 一點都不重要

它就是一個簡單的 你可以從這個 Distribution 去做 Sample 的 Distribution

我們這邊假設它是 Normal Distribution 我們從這個 Normal Distribution 裡面 去做一個 Sample

Sample 出一個點 把這個點丟進生成模型裡面 經過一個很複雜的類神經網路的轉換

它會變成另外一個向量 輸入一個向量 然後變變變變成另外一個向量

然後呢 從這個 Normal Distribution 再 Sample 一個向量

通過生成模型又得到另外一個向量 反覆這個步驟 我們可以從 Normal Distribution 裡面

Sample 大量的點 然後從生成式模型輸出大量的點 這些點集合起來

它是一個機率分布 它等於是在近似一個機率分布 而我們希望這個近似跟正確答案

越接近越好 這個生成模型的目標 它就是希望產生一個機率分布

跟正確答案越接近越好 那在等一下的討論裡面 我們會把正確答案當作

Target Distribution 輸入的 Normal Distribution 叫做 Source Distribution

它真的沒有必要一定是 Normal 的 雖然一般文件上都是 Normal 的 但是它沒有必要一定是 Normal 的

而你在文件上看到的 VAE、GAN、Diffusion、Flow-based Model 你覺得它們看起來很不一樣