2024年影像與聲音生成策略解析與前沿技術

各位同學大家好啊 我們就來上課吧 那今天這堂課要講的是

影像跟聲音上的生成策略 那到目前為止呢 我們課堂主要都集中在語言模型

那這些語言模型可以輸入一段文字 輸出一段文字 我們都知道說

這個語言模型怎麼產生文字呢 都是透過文字接龍 那今天呢

這堂課我們要來講 這一些生成式的人工智慧 它們是怎麼產生圖片

甚至產生影片 它們是怎麼產生聲音 怎麼說一句話

甚至唱一首歌 那麼來看看這些產生影像 產生聲音的技術

跟文字上有什麼樣不一樣的地方 但是呢 在開始講技術之前

我想展示一下 現在這一些生成式人工智慧 在生成影像

生成影片 生成聲音上 到底可以做到什麼樣的地步

但很多這些平台 大家可能也都玩過 但是給還沒有玩過的同學知道一下

現在這一些人工智慧 到底可以做到什麼樣的地步 首先呢

現在很多生成式人工智慧 都可以輸入一段文字 然後按照文字的描述

產生對應的圖片 那做得非常好的一個 就是 NanoBanana

那這是 Google 的模型 那你可以在 Gemini 上呼叫到 NanoBanana 那我就在 Gemini 上呢

要求 NanoBanana 產生 PTT 八卦版 鄉民貼文的截圖

就這樣一個指令而已 它產生出來的輸出 是這個樣子的

所以這個是機器產生出來的輸出 它裡面的文字都是讀得懂 而且都是合理的

一開始它就知道這個看板 是 Gossiping Po 文的人

是 PTT Loser 他的暱稱是魯蛇之王 他抱怨的是

巷口雞腿便當漲到 160 了 然後他就說剛才肚子餓 大雞腿飯發現要 160 元

去年才 130 前年才 100 這漲幅比我的薪水還高

月薪三萬的魯蛇 是不是只能吃土了 然後下面

有一堆人推文 而且這些人的帳號都是有意思的 第一個人是 First Floor

他是第一樓 他就說哥投降 早就破 200 了好嗎

然後一個叫 Salary Slave 薪水奴隸

他說 20 年來經濟最好 Rich Daddy 說窮人整天叫 嫌貴你不要吃啊

為什麼這個人叫做 Egg Lover 我也不知道 這個人叫做 A5566

所以這個 NanoBanana 還創造了一堆

鄉民的暱稱 而且看起來都蠻有道理的 你可能會想說

這個真的是影像嗎 它會不會只是把文字 Po 到貼到一個影像上

那我蠻相信它是直接產生這張圖片的 因為你看右下角 它這邊有一塊小小黑色的東西

還想要模擬說這是在螢幕上面呈現的結果 然後這些文字啊 如果你放大來看

有一些比較複雜的地方 它其實是有一些模糊的 或者是你看這個 160 的 0

你們非常仔細看喔 它 0 中間有一條斜線 但是 100 跟 130 的 0

中間是沒有斜線的 所以我蠻相信它是直接產 這個這是直接產生圖片產生出來的

那看到這邊有人可能會再進一步 引申說 哎呀這個影像生成的模型

厲害到這個地步了嗎 它知道鄉民的 ID 是什麼 也能夠猜測鄉民是什麼

也許它是一個世界模型 是一個 World Model 那這個部分我就比較保留

因為我是在 Gemini 上呼叫這個模型 所以你不知道 當你輸入這個指令的時候

Gemini 有沒有試圖去強化它 Gemini 那個語言模型 有可能

但我們不知道它背後實際上做了什麼 但是有可能 它把我的指令轉化得更複雜一點

它先去猜測說 鄉民在八卦版上應該會講什麼 所以它已經要把

要生成的文字先想好 然後再把更複雜的指令丟給 NanoBanana 所以我們現在沒有辦法確定說

是不是所有的內容 所有的知識都是 NanoBanana 有的 還是有些知識

其實是 Gemini 有的 但是總之這張圖片 是有一個影像生成的模型

所生成出來的 那還有更驚人的例子 現在我給 NanoBanana 呢

一張線性代數期中考的考卷 然後留下一些空白 然後它可以輸入文字

然後告訴它說 給我這份考卷被考試學生完成後的樣子 所以它會根據這張圖片進行修改

它修改完的結果長這樣 我仔細檢查一下它的計算過程 都是對的

它拿到滿分啊 很厲害啊 那這張圖片

是不是文字直接另外 key 上去的呢 我還是蠻相信 它是直接產生這張圖片的

你看這些字 它這個 1 2 3 甚至是沒有對好的

它這個文字 是有點斜的 這個 w

有時候有一個勾勾 有時候沒有一個勾勾 所以我蠻相信它是自動生成的

那至於這個解法 是不是 NanoBanana 自己想的 還是 Gemini 先想好

再告訴 NanoBanana 告訴它要生成什麼樣的文字 那這個我們就不得而知

總之 你現在在 Gemini 上 自動呼叫 NanoBanana

它可以做到這樣子的地步 那現在呢 當然也可以產生語音

讓機器說話 那如果你輸入一段文字 比如說你好

然後機器呢 就把這段文字念出來 那這個是語音合成

但語音合成 這樣子的技術 大家都非常熟悉了

Google 小姐 就是語音合成的一個例子 但現在呢

光是做語音合成 讓機器 產生 Google 小姐的聲音是不夠的

今天呢 這些語音合成的模型 往往除了文字以外

還可以輸入一段語音 那這段語音的作用是什麼呢 這段語音的作用

是為了要控制輸出的聲音 聽起來是什麼樣的感覺 比如說

你跟語音合成系統說 輸入的文字是你好 然後給它一個女生的聲音說 Goodbye

它就會用這個女生的聲音 說你好這兩個字 那這個女生的聲音

甚至不是中文 那你卻可以讓機器模仿這個女生的聲音 說出中文

那這個可以用在什麼樣的地方呢 這個就可以用在 AI 配音 比如說本來是英文的影片

那你可以根據原來英文影片的配音 去產生對應的中文的台詞 那這可以做到什麼樣的結果呢

那這邊就是給大家看一個叫做 IndexTTS2 的模型產生出來的結果 那 IndexTTS2 的團隊呢 就用他們技術幫各式各樣知名的影片片段配音

比如說大家很熟悉的這個 臣妾做不到啊 我們直接從 臣妾做不到阿那段開始

然後等一下你會先聽到那個 中文的原音 再來你會聽到 用IndexTTS這個模型 跟模仿中文的原音 唸出來的英文的台詞

所以他可以做到這樣 好那我們來看另一個例子阿 這邊有這個MYGO的例子阿

來播一下MYGO的例子 是一個名場面 我甚麼都願意做這個名場面 來看一下用中文演繹的結果

這就是 中文配音聽起來就是這個樣子 好 所以你知道今天語音合成可以做到甚麼事情 那除了產生人的聲音之外

現在機器也可以產生音樂 也可以唱歌 那產生音樂一個非常知名的模型呢

就是 Suno Suno 你可以給它歌詞 然後呢它就幫你把歌詞唱出來

它自己作曲 然後自己把歌詞唱出來 不過做歌呢

做產生歌詞呢也是很麻煩的 所以我這邊用 Gemini 來產生歌詞 我就跟 Gemini 說

寫一首歌說明想訓練模型 卻沒有運算資源的痛苦 然後它就產生歌詞

然後再把歌詞丟給 Suno 它就產生一首歌 因為 Gemini 一開始產生歌詞

其實就非常好了 所以我幾乎沒有修改 就直接丟給 Suno

它唱起來是這個樣子的 我現在來播放 這個是純粹由 AI 做歌曲

裡面沒人類什麼事情 他就唱出你的心聲 這個歌聽著聽著就落淚了

那現在當然也可以產生影片 那像 Sora 呢 它不只是你給它一段文字

根據文字產生影片 你還可以給它一張圖片 所以它可以根據一張圖片

一段文字產生影片 而且它產生的影片 都是有聲音的

所以我就嘗試給了它這樣一張圖片 大家在看 YouTube 的時候 是不是常常看到這種廣告啊

然後就叫你要用兩步來解這個遊戲 我想了一下應該是 先把下面這個插銷拔掉

然後呢這個岩漿就會掉到下面的水池裡面 然後再把這個插銷拔掉 然後公主就掉下來

然後錢就掉下來 然後這種廣告通常會先拔掉這一個 然後你就沒有錢了

總之就是這麼樣一個廣告 然後呢我就問 Sora 叫它產生解開這個遊戲的過程

看看它能不能解開這個遊戲 以下是 Sora 直接產生的結果 不知道在做什麼

不知道它在幹嘛 然後再試了一次 第二次呢

它又產生中文的配音 這個謎題只允許兩步 先把中間的插銷拔掉

讓金幣先留下來 替公主墊出一層隔離 等金幣掉滿後

再抽掉最下方的插銷 岩漿會被金幣擋住並流走 不會燙到人

公主安全注入 順便撿到一地黃金 完美

阿這睜眼說瞎話 然後我就想說 那 Sora 能不能夠自動來上課呢

所以我就給它 我們上一次上課的投影片封面 然後告訴它

這是課程的投影片封面 請產生課程 然後告訴它

它知道標題是 通用模型的終身學習 講者是李宏毅

那我們來看看 Sora 產生什麼樣的結果 這是 Sora 直接生成的結果 歡迎來到通用模型的終身學習課程

我是李宏毅 這門課要帶大家認識 當模型不再只針對單一任務

而是像人一樣 一生都在學習時 我們會遇到什麼挑戰

又有什麼新的機會 並嘗試讓模型持續吸收知識 它產生一個假的李宏毅出來

大家知道這個假的人 必須叫做李宏毅 你看它產生了一些文字

這些文字顯然是直接生成的 因為根本看不懂它到底想要寫什麼 但這個是一個影像生成模型

直接產生出來的結果 那我又再試了一次 嗨 大家好 我是李宏毅

這門課要和你一起探索通用模型 如何做到終身學習 這個也是 Sora 直接產生的結果

應該很神奇的是 它一開始出現名字的時候 我的名字下面還出現臺大電機系

我很訝異它到底是怎麼知道的 當然如果是影像模型直接產生出來 那我會覺得有點驚訝

那如果是其實有文字模型的輔助 文字模型剛好做了 RAG 或者從 Memory 裡面讀出說

現在的使用者李宏毅是臺大電機系的教授 那我其實沒有這麼驚訝 這邊這個文字你看

它也是直接生成的 所以會有一些奇怪的錯字 這邊有個 QR Code

我掃了什麼都沒有 就這樣子 所以你知道今天影像生成可以做到什麼樣的地步

那今天要講什麼呢 今天要講的不是 Diffusion Model 那如果你想要知道跟 Diffusion Model 有關的事情的話

那在 2024 年的生成式人工智慧導論 其實花了蠻多時間講了 Diffusion Model 那今天會稍微講一下

今天有一個看起來有取代 Diffusion Model 趨勢的模型 叫做 Flow Matching 那其實在這個影像還有聲音的生成上

除了 Diffusion Model 這條路徑以外 還有另外一個路徑 就是用 Auto Regressive

也就是接龍的方法來進行生成 那所以今天會主要以 Auto Regressive 這個角度來作為主軸 然後講 Auto Regressive 這個角度

如何跟 Flow Matching 還有 Diffusion Model 另外一個研究的路線結合起來 他們如何在 2025 年的時候走在一起

那這可能是今天最前沿的影像跟語音生成的技術 所以今天只會側重在 Auto Regressive 這條研究路線上面 那如果你想多知道一些另外一條路線發生的事情的話

你可以看一下去年生成式 AI 導論課程裡面講的一些內容 好 那我們就開始今天有關技術的部分 那我們從開學的第一堂課就跟大家講說

所謂的生成啊 就是你先知道你要生成的東西的基本單位是什麼 接下來做接龍把這些單位一個一個生成出來就結束了

所以我們要問的是如果我們今天要產生的是聲音 那聲音它可能是音樂 它可能是人說話的聲音

那還有或者是影像 那它們的基本單位到底是什麼 我們來先看一下構成影像的基本單位

但這個部分對很多人來說都是基本常識 大家知道說構成影像的單位其實是像素 然後每一個像素呢又可以分成三個子像素

就是 RGB 三個顏色的子像素 每一個子像素它的數值是 0 到 255 之間 也就是有 256 種可能

那我本來想要做投影片講解這個 那我想說做這一頁投影片實在是太無聊了 能不能直接用 Sora 產生一個教學影片

所以我就說創作一個教學影片 畫一個二次元的人物 並展示這個人物是由像素構成的

每個像素又由 RGB 三個子像素所組成 每個子像素的可能數值範圍是 0 到 255 我們來看看 Sora 能不能直接產生教學影片

這樣就可以取代人類老師的角色 以下是 Sora 直接產生的影片 大家看看你根據它講的內容你學不學得了

用像素畫出角色完成 它看起來很細緻對吧 但它其實是由小方塊堆成的

這就是一個像素 每個像素裡有三個子像素 RGB

他們的數值範圍從 0 到 255 不同的組合就成了不同 它這個講的話都跟畫面沒有對到

而且你看它這個字幕居然是生成的 而且你看這個它字幕都會產生一些奇奇怪怪的字 它字幕居然是直接透過一個影像模型產生出來的

剛才我們都說機器看到李宏毅三個字 會產生一個假的李宏毅老師 但是其實 Sora 是有個人化的功能的

你其實可以給它某一個人的影像 然後告訴它說這個人呢以後就叫做宏毅李 然後接下來你再告訴它說創造一個由宏毅李講解的教學影片

它就可以用宏毅李這個角色來講解教學影片 那就是為什麼現在網絡上充斥的 Altman 在做各式各樣的事情的影片就是這麼來的 其實在我們今天要講解的作業裡面

也有 personalization 的部分 只是我們沒有做影像生成那麼複雜 我們是做的是圖片生成

那大家可以體會一下說這種 personalization 可能是怎麼被做出來的 好，所以剛才呢一樣的敘述、一樣的指令

我改成是有李宏毅講解的教學影片 剛才啊我們看過的那些李宏毅都是假的李宏毅 那線上看聽課程的同學你可能從來不知道我長什麼樣子

那我長得呢跟前面兩段有李宏毅的影片是一點都不像啦 那我們來看一下如果客製化之後 它產生的結果長什麼樣子

先來畫一個二次元角色 用最簡單的線條開局 臉型、頭髮、衣服輪廓都勾出來再加上一點表情

上色後的她長這樣，是一位短髮穿著連帽衫的女孩 可是放大來看你會發現其實是由一塊塊像素拼成的 每一個像素裡面

好雖然最後結尾的時候表情有點奇怪 但是我確實差不多就是長這個樣子 所以如果你無法想像我長什麼樣子的話

我其實真的是長這個樣子的 好那剛才講的是產生圖片 那怎麼產生影片呢

其實影片就是一連串的圖片 只是你在產生圖片的時候 那些像素只要考慮兩個維度

只要考慮寬跟高 那如果是影片的話 影片是由一連串的圖片所構成的

所以你還要考慮第三個維度 也就是時間 那在影片裡面的一連串的圖片

在影片裡面的每一張圖片 有一個專有名詞叫做 Frame 如果是翻成中文的話

通常就翻成幀 好那剛才講的是有關影像的部分 那聲音呢

聲音的基本單位又是什麼呢 我們一樣由 Sora 來跟大家說明 Sora 就用我這個角色來做一個教學影片

它告訴大家說 聲音訊號是由取樣點構成的 遠看是聲音訊號

拉近後可以看到一個一個的取樣點 一秒鐘有多少的取樣點 取決於取樣率

也就是 Sampling Rate 也就是說假設 Sampling Rate 是 16 kHz 意味著一秒鐘有 16000 個取樣點

那每個取樣點有多少種可能的數值呢 這取決於取樣的解析度 也就是 Bit Resolution

那 16 個 Bit 意味著解析度有 65536 種可能的數值 好那我們就播放一下 你聽到的聲音訊號其實是一條連續的波形

拉近來看就會發現 它是由一個一個的取樣點連起來的 一秒鐘有多少取樣點取決於取樣率

像這裡的 16000 Hz 代表一秒鐘有 16000 個取樣點 而每個取樣點可以有多少種不同的數值

這又取決於 這個影片講到一半就結束了 而且它最後還手震

你好好產生影片不行嗎 還學人類手震啊 所以 Sora 要產生教學影片

還是有它的極限 那我這邊試了一下 HeyGen 這是另外一個平台

那 HeyGen 上面如果你要創造影片的話 它其實是用一個 Agent 產生出來的 也就是它不是一個步驟生成的

如果是剛才的 Sora 它是直接根據文字就直接產生影像 那 HeyGen 背後呢

應該是呼叫了某一個語言模型 雖然細節我們並不清楚 它會把它用多個步驟來完成

那背後其實也會 call Sora 有一些需要生成影像的地方 它可能是用 Sora 生成的

但是它是用一個 Agentic 的 Framework 透過多個步驟來產生教學影片的 所以一樣的指令丟給 HeyGen

它產生出來的影片是這個樣子的 好，那我們當然可以把影像跟語音生成 看作是像素或者是取樣點的接龍

那如果你今天訓練一個接龍的模型 它根據你的輸入 你的輸入可能是文字

然後它就產生一堆的像素的話 那這些像素集合起來 它就是一張圖片

那如果今天接龍的模型產生出來的是取樣點 代表聲音訊號的取樣點 把這些取樣點集合起來

它就是聲音訊號 那影像生成我們知道就是像素接龍 那這樣子的概念其實早在寒武紀

也就是 2016 年的時候人類就已經知道了 在寒武紀的時候就有一個模型叫做 Pixel RNN 那你從這個投影片上 Pixel RNN 的圖

就可以看出來說它做的事情 就是把一張圖片裡面的像素 一個一個的生成出來

把我的雷射筆叫出來，等我一下 好，它就是把這個像素 由左到右、由上而下

一個一個的生成出來 那麼我們知道每一個像素 是由三個子像素 RGB 所構成的

那在 Pixel RNN 裡面 要產生一個完整的像素 它就是把 RGB 三個子像素依序產生出來

所以它在這個小圖裡面 還展示了它是怎麼產生 RGB 三個子像素的 那再過了幾個月

有另外一個模型叫做 Pixel CNN 概念是一樣的 就只是把 RNN 換成 CNN 而已

一樣它會把像素一個一個產生出來 那每一次要預測一個子像素的時候 就是從 0 到 255 這個數值裡面

選擇一個數值出來 那因為在 2016 年 在寒武紀的時候

就已經知道用像素接龍了 所以在 2016 年秋季班的機器學習 其實也有展示用像素接龍 產生一張圖片

那個時候用像素接龍的技術 可以產生看起來非常簡單的寶可夢的圖像 然後接下來在過了半年之後

2017 年春季班的機器學習課程 我們就有影像生成的作業 只是那個時候能夠做得非常的有限

那個時候讓大家生二次元的圖片 你生出來就是這樣子 最好就是做到這樣

你也可以輸入文字 但輸入文字只能夠指定眼睛跟頭髮的顏色 你在輸入更多模型是不會理你的

因為訓練資料裡面也沒這樣子的資料 所以用像素接龍可以產生圖片 是在寒武紀就已經知道的事情

那把一張一張圖片產生出來 就可以產生影片 所以其實早在寒武紀的時候

也就是 16 年的時候 有一個模型叫做 Video Pixel Network 它就可以產生一張一張的圖片

它把圖片串起來就是影片 在寒武紀的時候生成出來的影片 長什麼樣子呢

其實後來在一年之後 2017 年的春季班也有課程 是講 Video 的 Generation

那你可以去看一下 2017 年春季班的課程 看看那個時候可以生出來的影片

長什麼樣子 然後接下來 那剛才講的都是有關圖像生成的部分

那有關語音生成的部分呢 早在寒武紀的時候 就已經有一個模型叫做 WaveNet

它做的事情就是 把一段聲音訊號裡面的取樣點 一個一個的預測出來

在這個動畫裡面 橙色的一個一個點 就是聲音中的取樣點

那你從這個動畫的解析裡面 就可以看到說 模型把這些取樣點一個一個產生出來

就可以產生聲音訊號 那 WaveNet 合成出來的聲音訊號 聽起來是什麼樣子的呢

那在有 WaveNet 之前 當然也有很多人嘗試用深度學習的技術 來產生聲音訊號

只是那時候做的沒有非常的好 所以那個時候其實一個比較主流的做法 其實是一個 Concatenate 的做法

也就是說你把一些人的聲音訊號拿來 然後切成一小段一小段的 然後拼起來

就可以產生你要的聲音訊號 那那個時候呢 用 Concatenate 的做法

可以做起來的聲音聽起來像是這樣子的 那這邊用 Traditional 代表傳統的 Concatenate 的方法

聽起來是這樣的 就有點像是 Google 小姐的聲音 那時候用 WaveNet

其實當然以今天的角度來看 合成的其實也不是特別好 但當時用一個一個的取樣點接龍

居然可以做到這個地步 當然今天聽起來是覺得還好啦 但是在十年前

哇這個用取樣點接龍居然可以做到這個地步 這個世界上的人都驚呆了 那當時 WaveNet 呢

也試圖產生了音樂 這個我記得是 Google 的結果啦 他們就把這個

拿一堆鋼琴的聲音去訓練 WaveNet 所以它也可以彈鋼琴 聽起來聲音是這個樣子的

就是這樣啊 彈得好不好不好說啦 聽起來就是鋼琴的聲音就是了

但是像這樣子取樣點 或者是像素接龍的方法 有什麼樣的大問題呢

雖然 WaveNet 可以合出還不錯的聲音 但是在當年就有人發了一個 這樣的 Twitter 文章抱怨

他說這個WaveNet 生成一秒鐘的 Audio 需要花 90 分鐘的時間

實在是太長了 所以因為取樣點這個東西 實在是太細了

用取樣點來當作單位 來產生聲音 實在是非常沒有效率的事情

所以我們接下來要問的是 適合生成的基本單位到底是什麼 也就是語音跟影像的 Token

到底是什麼 這就好像是說 我們講萬物的基本單位都是原子

但是我們在討論人類身體構造的時候 我們通常不會在原子的層級上 來討論人類身體的構造

我們當然說細胞 是構成人體的基本單位 所以語音跟影像也是一樣

拿取樣點或者是像素 來當作語音和影像的基本單位 可能實在是太細了

到底什麼樣的單位 比較適合拿來做語音跟影像的生成呢 那為什麼我們有可能用更大的單位

來作為語音跟影像的 Token 呢 你可以想想看 在聲音訊號裡面

可能 B 這個聲音 如果是同一個人講的 甚至是不同人講的

它看起來的聲音訊號 可能都非常的類似 所以也許這些看起來非常類似的聲音訊號

我們可以直接用一個 Token 來直接表示它 我們可以說 B 這個聲音

以後只要看到這樣子的一段波形 它就是 Token 編號 128 雖然它們有點不一樣

但通通都說是 Token 編號 128 用這種方式來表示語音 你就可以用比較簡潔的方式

來表示語音的訊號 對影像來說可能也是一樣 這邊有一隻貓

牠的左眼跟右眼 可能長得蠻像的 或不同的動物的眼睛

只要是貓科動物的眼睛 可能都長這樣 也許我們就把這樣子的眼睛

直接把它命名為 Token 256 以後這個區塊就叫 Token 256 這個區塊也叫 Token 256

那你可以講說這兩隻眼睛 還是有點不一樣吧 它們的反光感覺是不太一樣的

你怎麼能說它們是一模一樣的東西呢 確實它們不是一模一樣的東西 所以當我們把語音跟影像

表示成 Token 的時候 確實有它的極限 那等一下我們再回來探討這個問題

我們現在先假設說 我們就是把語音跟影像做了 非常大規模的簡化

我們用 Token 來表示語音跟影像 那在講這種 Token 怎麼被自動找出來之前 我們先來講說

假設有了這種 Token 之後 我們怎麼樣來訓練模型 就有了這種 Token 之後

首先有一段聲音訊號 你就會跑過一個步驟叫做 Tokenization 把聲音訊號變成一個 Token 的 Sequence

那 Tokenization 這個詞彙 其實在第一堂課 我們講文字語言模型的時候

就已經說過 那我們之前在看 Hugging Face 的模組的時候 我們在跟大家講這個語言模型示範的時候

那時候就會呼叫一個叫做 Tokenization 的 function 但是這邊語音的 Tokenization 跟文字的 Tokenization 是非常不一樣的

那個文字的 Tokenization 非常的簡單 你就是把一句話分成一個一個 Token 但語音的 Tokenization

我們等一下會看到 你必須要用一個複雜的模型 才能把聲音變成一個一個 Token

那聲音變成 Token 之後呢 你還會有一個叫做 Detokenization 的模組 可以把這一些代表聲音的 Token

轉回聲音訊號 但是因為當我們把聲音訊號 轉成 Token 的時候

中間就失去了一些資訊 本來有點不一樣的聲音訊號 變成一樣的 Token

所以你還原回來之後 就會有失真 所以輸入的聲音訊號

經過 Tokenization 然後再做 Detokenization 其實還原回來

是會有一點不一樣的 我們只是期待說 Tokenization 跟 Detokenization 技術做得夠好

這個失真可以越小越好 所以這個語音跟影像的 Tokenization 跟文字非常不一樣

文字你把文字做 Tokenization 再做 Detokenization 轉回來是一模一樣的東西

但是在聲音和影像上 做完 Tokenization Detokenization 之後

你就沒有辦法還原回 原來一模一樣的聲音訊號 或者是圖片了

圖片你也可以做 Tokenization 把它變成一堆 Token 圖片跟聲音不一樣的地方是

因為聲音是一維的 所以這個 Token 也就是排成一排 但是影像是二維的

所以這些 Token 通常也是二維的 那可以想像每一個 Token 其實就對應到圖片裡面的一個小的區塊

然後可以做 Detokenization 把這個二維的 Token 轉回一張圖片的樣子

當然一樣可能會有失真的問題 那假設我們知道 怎麼把語音跟影像表示成 Token 之後

那語音跟影像 其實跟語言模型是非常像的 它仍然是 Token 的接龍

如果你就要做語音合成 也就讓模型吃一段文字 然後產生聲音的話

那其實就是訓練模型 看到一段文字 然後接下來就去預測

接在這段文字後面的語音 Token 應該長什麼樣子 它把 Token 用接龍的方式

一個一個產生出來之後 做 Detokenization 就會還原回聲音訊號

那你還可以做文字生圖片 文字生圖片就是 給這個模型一段文字

然後它去預測這段文字後面 應該接什麼樣代表圖片的 Token 那它會把 Token 一個一個的產生出來

但是因為圖片本身是二維的 所以這些 Token 雖然它產生出來的時候 是一維的

但是你會把它擺成一個二維的樣子 你會假設這個生成的順序 是由左到右

由上到下 你會把一串 Token 擺成二維的樣子 經過 Detokenization

一樣可以產生一張圖片 這個其實就是語音跟影像生成的原理 所以現在真正的核心

是 Token 怎麼產生 Token 上面 那怎麼產生 Token 呢 如果是語音的話

你找 Token 的方式是這樣的 這些 Token 並不是憑藉人力找出來的 而是自動被學出來的

用某個模型學出來的 怎麼學呢 你要學的是一個 Tokenizer

這個 Tokenizer 其實就是一個類神經網路 它可能是有好多層 CNN 後面接好多層的 Transformer 所構成的

那這個 Tokenizer 吃一段聲音訊號 它的輸出就是一排 Token 那這個輸入的聲音訊號跟 Token 之間有什麼樣的關係呢

輸入的聲音訊號 假設是 16kHz 的話 那通常 Token 呢可能是 50Hz

那當然這邊有很多不同的 Setup 你要做更取樣率更小的 Token 其實也是可以的

那如果你把原來 16kHz 的原始聲音訊號變成 50Hz 的 Token 50Hz 的 Token 就是一秒呢 裡面會有 50 個 Token

那你其實就是把 320 個取樣點變成一個 Token 那一個 Token 其實就是你可以想成就是一個數字 那會有多少個不同的 Token 呢

那就要看你當初在訓練模型的時候 你打算有多少不同的 Token 比如可以說我就是 200 個 Token

我有 200 個不同的 Token 也就是 320 個取樣點 它會被壓縮

我們用從 0 到 199 這 200 個數字的其中一個 來表示這 320 個取樣點

然後接下來你要把它還原 然後 Detokenizer 就吃這個 Token sequence 然後想辦法還原聲音訊號

我們在訓練的時候 通常就是 Tokenizer 跟 Detokenizer 一起訓練 我們就一起訓練 Tokenizer 跟 Detokenizer

希望輸入跟最後還原的聲音訊號越接近越好 你就是找一個 Tokenizer 跟 Detokenizer 你的 Loss 就是輸入跟輸出之間的差距

要讓輸入跟輸出越接近越好 但至於什麼叫做接近 什麼叫做像

什麼叫做聲音上的像 那等一下我們會再有幾頁投影片 來探討這個問題

我們現在先假設 我們就是有辦法計算 兩段聲音之間的相似度

好 那這個呢 其實就是 Autoencoder 的概念 那這個是我們在機器學習 2021 的課程

有講過的 那說你還不知道 Autoencoder 是什麼的話 你可以先看一下

機器學習 2021 的課程 但是我們這邊所訓練的 Autoencoder 是一個比較特別的 Autoencoder

因為你會發現說 中間這個 Tokenizer 輸出的 是離散的東西

是 Token 是 Discrete 的東西 那這需要用一個特殊的技術

叫做 VQ-VAE 來訓練 那這邊我們就不細講 它的訓練方式

那我把原始的論文留在這邊 給大家參考 那其實在語音上呢

這個產生 Token 的方式啊 有一個語音蠻常用的方式 叫做 Residual Vector Quantization

縮寫呢 是 RVQ 那它的想法是這樣

也許只用一組 Token 沒辦法好好的表示語音 因為語音非常的複雜

那如果一組 Token 不夠的話 那也許我們可以多用幾組 所以會有很多個 Tokenizer

第一個 Tokenizer 先產生第一組 Token 那第一組 Token

沒辦法完整表示聲音訊號 就假設你 Token 數目 只有 200 個的話

嗯 320 個取樣點 只用

0 到 199 200 個數字來表示 感覺太勉強了

那再加第二個 Tokenizer 第二個 Tokenizer 呢 去想辦法把第一個 Tokenizer

沒有辦法表示的地方 用另外一組 Token 來表示 然後以此類推

你可以有多個 Tokenizer 比如說你可以 train 個 8 個 Tokenizer 或者可以 train 個 32 個 Tokenizer

然後把每一組 Token 呢 一起丟到 Detokenizer 然後還原聲音訊號

這些 Tokenizer 跟 Detokenizer 是一起做訓練的 那有很多模型

比如說 SoundStream 啊 EnCodec 啊 或者是 Mimi 啊

都用類似的方法來產生 Token 那在我們這堂課的第十個作業呢 會有更多跟語音相關的東西

那到時候在作業裡面 你會玩一下 Mimi 這個 Token 那你會更有概念說

Mimi 的每一組 Token 學到了什麼東西 那這個多組 Token 啊

可以看成像是 進位的概念 什麼意思呢

就是第一組 Token 假設有 200 個可能 第二組 Token

假設也有 200 個可能 那他們總和起來的可能性多少呢 並不是 200 加 200

他們合起來的可能性 其實是 200 的平方 當一段聲音訊號

我用兩組 Token 每組 200 個 Token 來表示的時候 這一段聲音訊號

其實等於有 200 的平方的表示方式 就好像是進位一樣 在進位的時候

這個阿拉伯數字只有 0 到 9 只有 10 個可能 但是透過把這個阿拉伯數字

擺在個位數 十位數 百位數

千位數 你可以創造出無窮無盡的數字 那這邊有多個 Tokenizer 的概念

其實也是非常類似的 你可以想像成這是個位數 這是十位數

所以合起來 有 200 的平方的可能的 Token 語音的 Token 其實有非常多不同的變形

這不是我們在這堂課能夠講的 如果大家有興趣的話 可以看一下這篇有關聲音 Token 的 Overview Paper

我其實也是作者之一 接下來我們來講影像的 Token 影像的 Token 怎麼找呢

一樣你有一個 Tokenizer 唯一跟聲音不一樣的地方 只是影像的 Token 是二維的

所以這個 Tokenizer 產生出來的是二維的 Token 那這個二維的 Token 裡面 每一個 Token 其實就是對應到影像裡面的一小塊

比如說在 OpenAI 的 DALL-E 這個模型裡面 每一個 Token 對應到 8x8 這樣子的小範圍 那在 DALL-E 裡面它用的 Token 數目非常多

它有 8192 個 Token 所以可以想像說影像裡面 8x8 的範圍 它用 8192 個不同的 Token

來描述這個 8x8 的範圍 它就把 8x8 的範圍壓縮成只有 8192 個可能性 然後你會有一個 Detokenizer

把這些 Token 還原回原來的影像 訓練的時候一樣你是希望輸入跟輸出越接近越好 你會訓練你的 Tokenizer 跟 Detokenizer

希望輸入跟輸出越接近越好 訓練完你就知道怎麼把影像變成 Token 怎麼把 Token 還原回影像

那用這樣子的方法找出 Token 之後 再去訓練一個接龍的模型 那個接龍模型其實就跟原來的語言模型其實沒什麼不同

只是 Token 的定義變了而已 真的可以做出很好的影像生成模型嗎 其實是可以的

那這邊引用一篇去年年中的論文 那這是那個論文裡面展示的圖 當然現在你看到這種圖你可能也不會特別訝異啦

不過在當時這個也是不錯的生成的結果 那在那篇 Paper 的標題裡面 它就說 Auto-Regressive Model

就是接龍的模型 Beats Diffusion 其實從這個 Title 可以看出來說 在當時 Diffusion Model 應該是比較主流的方法

所以這篇文章才會特別強調說 它用 Auto-Regressive 的 Model 其實是可以做得比 Diffusion Model 更好的

那其實早在這篇文章之前 就有蠻多文章用 Auto-Regressive Model 超越 Diffusion 的模型

那我之所以特別引用這篇文章是因為 這篇文章還強調了一個點 它是 Llama for Scalable Image Generation

它說前人的文章 都還是對 Auto-Regressive 的模型 針對影像做了一些客製化

做了一些客製化的調整 那等一下我們會講這個調整是什麼 它說它這邊沒做任何客製化的調整

它的模型單純就是 Llama 的架構 Train 下去就沒有然後了 就結束了

就產生了一個影像生成的模型 可以比當時的 Diffusion 還要做得更好 好 那怎麼做這個影片的 Token 呢

那影片就是一串圖片 你把它丟進 Tokenizer 裡面 它也會產生 Token

只是影像的 Token 它是排成三維的樣子 所以它有寬 有高 而且還有時間 那通常在做影像 Token 的時候

每一個 Token 不只是代表 這個一個圖片裡面的一個小區域 它還會代表一個時間的範圍

所以說現在這一個 Token 它不只是代表一個 2x2 的範圍 它還代表一段時間

比如說代表兩個 Frame 所以兩個 Frame 合起來會產生 Token 兩個 Frame 合起來會產生 Token

所以 Token 的這個長度 是比原來輸入的影像的長度 還要更短的

然後接下來那個 Detokenizer 就根據這些 Token 再還原原來的影片 那其他都是一樣的

就是讓輸入輸出越接近越好等等 串下去 然後就結束了 你就可以找出影像的 Token

有了影像的 Token 之後 你只要訓練一個 Transformer 把影像的 Token 一個一個生出來

就可以產生影片了 這樣真的可行嗎 在 2021 年的時候

這個也是遠古時代 就已經有人嘗試過了 有人訓練了一個 VideoGPT

它的方法就是我剛才講的 先找出影像的 Token 那個時候叫做 Discrete

那個時候 Token 這個字眼還不流行 那時候叫 Discrete 然後讓 Transformer 把這些 Token 一個一個產生出來

就結束了 那 VideoGPT 可以產生什麼樣的影片呢 它產生出來的影片大概是這樣子的

就播放一下他們 Demo Web Page 上的影片 就這樣 沒了 再播一次

就這樣子 我知道說以今天的角度來看 你當然覺得說

蛤 就給我看這個嗎 當然在 2021 年 在遠古時代 這已經是非常厲害的東西了

那後來呢 再過了兩年 那那個時候影像生成

就能夠做得更成功了 有一篇文章叫做 Language Model Beats Diffusion

那從它的標題也可以看到說 它想要彰顯的就是 過去主流的方法是 Diffusion Model

那它可以用 Language Model 做出比 Diffusion 更好的結果 那怎麼做到呢

對它來說一個關鍵的技術是 Tokenizer is key to visual generation 他們有更好的找 Token 的方式

那至於他們怎麼樣更好的找出 Token 那這個就大家再詳細閱讀原始的論文 那有了比較好的 Token 之後

再來生影片 可以生出更好的 更清晰的 更流暢的影片

那現在這些影片生成 看起來都非常的驚人 到底用了多少的訓練資料呢

那我們其實不知道 Sora 用了多少的訓練資料 但有一個 Project 叫做 OpenSora

那他們是試圖去復現 Sora 的結果 那根據他們的論文呢 他們說他們用了 30M

其實這比我想像的少 用了 3000 萬部影片 來訓練他們的模型

但今天啊 你要找影片其實不是難題 它這邊就列了很多影片的 Corpus

告訴你說 其實有這麼這麼多影片的 Corpus 那它用的那些影片都是

開源的影片 Corpus 就這些影片是公開的 你可以找到

這個不是什麼秘密的資料 他們花比較多力氣的 反而是在於 Filtering

他們把這些公開的影片 做一下 Filtering 那看到這個圖呢

我們在講語言模型訓練的時候 也看過非常類似的圖 總之需要做非常大量的 Filtering

選出品質比較好的影片 才能夠訓練比較好的 文字生影片的模型

好那影片的 Token 呢 還有一個值得多提的是 影片的 影像的 Token

一定要用 2D 的方式來排列嗎 在我們想像中 影像本身是 2D 的

所以表示影像的 Token 應該也是 2D 的 每一個 Token

表示影像裡面的一個小區域 但是一定要這樣嗎 這會不會不是特別有效的表示方式

我們能不能夠說 一張圖片 就用 32 個 Token 來表示

這個 32 個 Token 沒有固定對應的區域 這 32 個 Token 也許代表的是

影像裡面有什麼樣的物件 比如說也許有個 Token 代表 影像四邊都是綠色的草

某個 Token 代表中間有條狗 用這種方式 其實可以更有效的

來表示一張圖片 所以有一篇論文就說 An image is worth 32 Token

for reconstruction and generation 從它標題就知道它想做什麼 它說一張圖片

我們說一張圖片值千言萬語 那它值幾個 Token 呢 值 32 個 Token

那這邊論文就告訴你說 其實你用剛才那個方法 可以把一張圖片

壓成 32 個 Token 來表示它 它做法是這樣 你有個 Tokenizer

這個 Tokenizer 其實是一個 Transformer 這個 Transformer 讀一張圖片做為輸入 然後它就產生一排 Token

那你會先指定好產生 Token 的數目 比如說就產生 32 個 Token 這 32 個 Token 每一個 Token

到底對應到影像的哪邊 不知道 這個是機器自己學出來的

然後再把這 32 個 Token 丟給 Detokenizer 它也是一個 Transformer

讓它還原原來的圖片 訓練的時候一樣 讓輸入跟輸出越接近越好

就結束了 那這 32 個 Token 能好好的表示一張圖片嗎 從文獻上看起來是可以的

這是從原始論文裡面截出來的圖 最下面這個是原圖 那原圖每張圖片有 65536 個 Pixel

那這 65536 個 Pixel 你其實可以用這個 256 個 Token 16x16 個 Token

來還不錯的來表示這一些影像 所以這些圖片是 把這一個原始圖片表示成 256 個 Token

也就是 16x16 個 Token 這邊的 Token 是 2D 的樣子 然後再還原回來

但是如果你仔細看的話 你會發現說 用 256 個 2D 的 Token

排成二維形狀的 Token 來表示圖片 看起來還是有一些資訊的損失的

比如說這個鳳梨的葉子 感覺是有一點點模糊的 你還是可以看出一點點的差異

不過乍看之下 你會覺得中間這一排圖跟下面這一排圖 其實沒什麼差別

那最上面呢 是用一排 32 個 Token 來表示的 那你會發現它其實比較清晰

但用 32 個 Token 來表示一張圖片 其實有一個小小的問題是 有時候那個圖片會被改變

因為想現在每一個 Token 它已經不是對應到一個固定的區域了 它對應的東西比較像是語意

告訴你說這個圖片裡面 有什麼樣的東西 所以如果你仔細看

下面原圖有水花 這裡就沒有水花 然後這個熊的臉的角度

跟這個熊的臉的角度 其實有點不一樣 這隻熊它臉有一點轉向螢幕

這個熊完全是在看左邊 或者是你發現這一隻水母 跟這隻水母

它們的形狀是不太一樣的 所以 Token 裡面可能只表示說 在圖片的右邊要畫一隻水母

但它沒有完全的描述 這個水母長什麼樣子 所以它圖片還是有一點改變的

但是總之這是告訴我們說 你其實可以用更少的 Token 來描述一張圖片

好 那接下來我們來講 什麼叫做像 就是找 Token 的一個核心

就是要量輸入跟輸出 這個 Tokenizer 之前 跟 Detokenizer 之後

你一張圖片 或者是一段聲音訊號 它還原前還原後

到底有多麼的相像 那等一下的討論 我都是用語音作為例子

但是影像上可以用 完全一模一樣的套路 好 什麼叫做像呢

基本上有三種方向的像 第一個像叫做表面上的像 也就是我們回歸到

物件的最基本的單位 在最基本的單位上算它的相似度 如果是聲音訊號的話

那它就是一排取樣點 然後我們就計算 兩堆取樣點之間的相似度

我們就計算兩堆取樣點之間的相似度 計算它們之間的差距 把它們的差距全部平均起來

就是我們的 Loss 就是我們要去 Minimize 的東西 這個東西叫做 Regression 的 Loss

這是表面上的像 那表面上的像有一個非常巨大的問題 如果我們今天把這一些取樣點

全部往右平移一個點 然後最前面補一個 0 那一個取樣點

哇 這個一秒鐘 如果是 16kHz 的 Sampling Rate 一秒鐘 16000 個取樣點

所以你只把取樣點向右平移一個位置 這個人類是根本聽不出差異的 但是如果你去計算 Regression Loss 的話

兩段原來一模一樣的聲音訊號 其實會有天差地遠的差別 所以這個表面上的像

會跟人感知的像有非常大的差距 所以第二種像就是感知上的像 也就是人類聽起來像不像

但我們沒辦法真的找人來聽兩段聲音 告訴你像不像你在訓練的時候 不能這麼做

所以今天採用的方法 是用某一個模型來代替人類 比如說用一個語者辨識的模型

或者是情緒辨識的模型來代替人類 就假設說 我一個很好的情緒辨識的模型

給一段聲音訊號 它可以告訴我是什麼樣的情緒 那產生出來的情緒

人也認為是對的 人認證它是對的 所以這是一個好的

可以模擬人類情緒辨識能力的模型 然後你再把這個模型的某一個 Hidden Representation

某一個 Layer 的 Representation 拿出來算它的相似度 那這個叫做感知上的像

那這個模型給它兩段聲音訊號 從它的 Hidden Representation 抽兩個像量出來

計算它們之間的距離 這個叫做 Perceptual 的 Loss 那還有第三種像叫做

模型難以分辨的像 什麼是模型難以分辨的像呢 你就把原來的聲音訊號

通過 Tokenizer Detokenizer 以後 得到還原的聲音訊號 能有一堆原來的聲音訊號

有一堆還原回來的聲音訊號 然後你去訓練一個模型叫做 Discriminator 這個 Discriminator 做的事

就是分辨一段聲音訊號 它是真正的聲音訊號 還是還原回來的聲音訊號

那如果這個 Discriminator 沒辦法分辨 就代表說

原來的聲音訊號 跟還原的聲音訊號非常像 代表今天還原的非常的好

那代表說這個 Tokenizer 跟 Detokenizer 它們是做得非常的好的 那如果這個 Discriminator

它可以輕易的分辨 兩者之間的差異 那這樣反而是壞的情形

因為就代表說 最後還原出來的聲音訊號 跟原來的聲音訊號

看起來有非常明顯的不同 所以 Discriminator 可以輕易看出 它們兩者之間的差異

那透過 Discriminator Train 好壞 來判斷說我們的 Tokenizer 跟 Detokenizer 做得好不好

這個叫做 Adversarial 的 Loss 那其實呢 這個 Tokenizer 跟 Detokenizer

因為它們是會不斷訓練的 所以它們會訓練得越來越像 它們甚至可以拿 Discriminator

來當作它的目標 它們會拿 Adversarial 的 Loss 當作它的目標來進行訓練

會希望可以讓 Adversarial Loss 越小越好 所以這個 Tokenizer 跟 Detokenizer

可能經過訓練之後 它們產生出來的訊號 會跟原來的聲音訊號

更加相像 但是 Discriminator 呢 也會跟著訓練

就你訓練完 Tokenizer Detokenizer 之後 Discriminator 會拿新生成的結果

也來 Update 參數 也跟著做訓練 那 Discriminator 會越來越嚴苛

那這種訓練一下 Tokenizer Detokenizer 再去訓練一下 Discriminator 這個往復往復這樣的行為

其實就跟一個叫做 Generative Adversarial Network (GAN) 的模型做的事情是一樣的

那如果你想要知道 更多有關 GAN 的事情的話 那我們這堂課時間有限

那我們這學期 其實就沒有講到太多 跟 GAN 有關的事情

如果你想要知道的話 可以再參見機器學習 2021 的內容 好 總之我們現在講了三種像

雖然我們是拿語音做例子 但它其實完全可以套用到 影像上面

就是有表面上的像 感知上的像 跟模型難以分辨的像

那你可以問說 要用哪一種比較好 那這個就是小孩子才問的問題

大人就是全都要 所以今天你其實會把三種不同的像 加起來

然後希望有一個模型 儘量做到三種像都很像 好 那這個是有關 Tokenization 的部分

之前在講文字接龍的時候 我們都假設說接龍就是由前往後 由左向右

但是對於影像 我們一定要由左向右由前往後嗎 那到目前為止

講到影像接龍的時候 影像的 Token 接龍的時候 我們剛才也都是預設說

接龍就是由左向右由上到下 這個接龍的模型 產生一排的影像的 Token 之後

這些 Token 會被擺成由左到右 由上到下的樣子 這種順序叫做 Raster Order

但是影像的接龍 一定要是 Raster Order 嗎 想想看我們人類在畫圖的時候

你其實通常也不會由左向右 由上而下 一個一個 Pixel 的畫出來

人在畫圖的時候 你可能是先畫圖片裡面 你覺得最重要的東西

如果你要畫一隻狗 狗的頭如果在左邊的話 那你就先從左邊開始畫

狗的頭在右邊的話 你就是先從右邊開始畫 所以人在畫圖的時候

也不是按照 Raster Order 在畫的 那我們為什麼讓機器生圖的時候 要按照 Raster Order 來生圖呢

有沒有更好的生成的方法 或甚至我們能不能讓機器自己決定 生成的順序呢

這種方法是有的 有一個方法叫做 MaskGIT 它是 Masked Generative Image Transformer 的縮寫

那這個 MaskGIT 的做法是這樣子的 在訓練的時候 我們先講怎麼做訓練

然後再講怎麼做 Inference 在訓練的時候 它是這樣教模型的

它教模型說訓練資料裡面有 一段文字、一隻奔跑的狗跟對應的圖片 那這個圖片呢

我們把它描述成一串 Token 那這一串 Token 可能本來是二維的 反正就把它拉直

不管它在二維圖片裡面的順序 就會變成一排 Token 然後把這排 Token 呢

其中一些 Token Mask 掉 那哪些要被 Mask 掉呢 就是隨機 Mask 掉

那所謂 Mask 的意思其實可能就是 把這個 Token 換成一個特殊的 Token 你可能保留一個編號

比如說編號 0 代表特殊的 Token 那模型呢 要把這個特殊的 Token 還原回來

那你接下來做的事情 就把這段文字丟給一個 Transformer 把這個裡面有一些 Mask 掉的 Token

的這個 Token Sequence 丟給 Transformer 那 Transformer 訓練的目標 就是把這些被 Mask 的 Token 還原回來

它去猜出這個被蓋起來的位置 原來應該放個籃球 這個位置原來是一個氣球

這兩個位置原來是蘋果 這個是 MaskGIT 訓練的時候的方法 那在訓練的時候呢

這個 Masking 是隨機的 那要 Mask 多少也是隨機的 所以有時候可能在這九個 Token 裡面

會 Mask 掉四個 但有時候可能會 Mask 很多 全部都被 Mask 掉

模型要想辦法只從這段文字 猜出這九個 Token 到底是什麼 那有時候可能 Mask 的非常少

幾乎整張圖片都看得到 只有一小部分被 Mask 起來 那可能對模型來說

這是一個比較容易的任務 這個是訓練的時候 訓練的時候你就是教模型

看到 Mask 如何還原原來的 Token 那測試的時候呢 這個模型訓練好之後

做 Inference 的時候 你做的事情是這個樣子的 有人輸入一段文字

然後你產生一堆 Mask 的 Token 那因為你已經知道圖片的大小 我們通常在產生圖片的時候

你會先設好圖片的大小 所以要有幾個 Mask 的 Token 你是已經事先知道的

所以這樣子的方法 它比較適合用在 已知生成的東西大小的任務上面

那如果你要拿它來生成語音 拿它來生成音樂 因為一段文字進去

要生成多長的對應的聲音 其實有時候並不是一個固定的數值 那你就需要用額外的方法來處理

那在影像上 這個方法用起來是非常的自然的 因為通常圖片的大小

是已經預設知道的 那把這一排 Mask 跟這段文字 丟到我們剛才訓練好的 Transformer

它的工作就是去猜說 被 Mask 起來的地方該是什麼 它就把 Mask 的地方

想辦法還原回來 然後產生這些還原回來的 Token 之後 再把這些 Token 丟到 Detokenizer

希望就可以產生圖片 但是如果你只是這樣做 把給它一堆 Mask

讓它產生一堆 Token 你還原出來的圖片 產生出來的圖片

通常都是非常糟糕的結果 這張圖片是原始論文裡面的例子 它想生一隻紅鶴

但是你看到模型生出來 不知道是什麼奇形怪狀的東西 這黃色東西好像是嘴巴

感覺這邊模型想要放個頭 這邊也想放個頭 這邊也想放個頭

好多地方它都想畫一個紅鶴的頭 全部集合在一起 就是一個奇怪的混合的生物

為什麼會這樣呢 因為這一些 Token 全部都是同時產生的

它們在輸出的時候 彼此沒有協調一下 大家都想畫自己想畫的

大家都針對它對於一隻紅鶴 在圖片的某一個位置要畫什麼 各自做了理解

所以可能在某一個地方 在左上角這個 Token 想要畫一個頭

在中間這個 Token 也想畫個頭 大家看到紅鶴都想要畫一個頭 把頭畫在圖片裡面各個地方

畫出來就是錯誤的結果 所以怎麼辦呢 你需要把一些生成的圖出來的 Token

再蓋回去 那事實上在這個 MaskGIT 實際的操作裡面

通常會把多數的 Token 都蓋回去 只保留少數的 Token 比如說在這個例子裡面

我們假設只保留前三個 Token 只保留三個 Token 其他人都蓋回去

那怎麼決定誰要被保留下來 誰要被蓋回去呢 這邊你可以根據

每一個 Token 產生出來的時候 模型給它的分數來決定 因為產生每一個 Token

跟產生文字的 Token 產生影像的 Token 跟產生文字的 Token 其實一樣的

在每一個位置 其實模型真正產生的是一個機率分布 它會給每一個可能的 Token 一個分數

然後我們再看分數最高的是哪一個 Token 當作是最終的輸出 所以就算這些 Token

都是分數最高的 Token 它們彼此之間還是有分數差距的 我們看每一個 Token 它的分數是多少

可以決定 模型在這個位置產生這個 Token 的時候 它有多確定多想要在這個位置產生 Token

所以假設我們已經知道了每一個 Token 它在這個機率分布裡面的分數 但是要注意一下

這邊並不是同個機率分布裡面的 不同的 Token 的分數 而是每一個位置都有個機率分布

那這些 Token 都已經是 它們那個班級裡面的第一名 只是雖然都是第一名

可能還是有程度的差異 所以每一個第一名再取出來 做一下比較

取出所有第一名裡面的前三名 其他人通通都蓋回去 重新做生成

那你可能會想說 這樣就是最好的方法嗎 取這個分數最高的有道理嗎

在實作上這是一個蠻能運作的方法 那我們實驗室有同學 也做過一些 MaskGIT 相關的研究

實作經驗是 其實把誰保留下來 把誰蓋回去不重要

重點就是 只有一些人可以被留下來 其他人蓋回去

就算這個過程 就誰留下來是隨機的 你就隨機取

K 個 Token 保留下來 其他都蓋回去 結果其實做起來也是差不多的

總之關鍵就是 只有少量的 Token 可以被保留下來 所以可以想成這一步呢

就是 Auto-Regressive 的其中一步 只是一般 Auto-Regressive 一次只能產生一個 Token

現在一次可以產生 K 個 Token 那在這個例子裡面 是一次產生三個 Token

好所以這張圖片還沒被畫完 只畫了三個 Token 接下來呢

把只有三個 Token 的這個 Sequence 多數都是 Mask 的這個 Sequence 再丟進同一個模型

再把 Mask 的地方展回來 那因為有一些地方已經畫起來了 比如說左上角已經畫了一個頭了

因為它已經畫了頭 所以其他人就不可以再畫頭了 我已經知道

輸入已經把頭畫好了 其他人就算沒有互相之間沒有溝通 大家也都知道輸入已經有頭

所以就不會把頭畫出來 所以擺這個位置想要畫一個頭 但它被蓋起來再重新生一次的時候

因為頭已經被畫了 所以它就畫別的東西 可能就畫一個身體