早前網上有款名為 Toon Me 的 App 相當流行,當中的特效可將真人轉換成動畫以及畫作模樣,不過,大家又有沒有想過如果將 AI 生成的動畫人物轉換成真人模樣,又能否成功呢? 有 AI 藝術家就因為有此念想,而利用一款 AI 模版將 AI 製成的動畫角色以及舊時的畫作真人化,效果相當像真。
AI 藝術家 Nathan Shipley 在利用國外研究團隊推出的 AI 模版 Pixel2Style2Pixel(pSp)將 AI 製成的動畫角色以及舊時的畫作真人化,成功不少迪士尼和 Pixar 的動畫人物,以及蒙娜麗莎、華盛頓等人的真實模樣成功模擬。
Today's reverse toonification experiments with art from @Pixar for Incredibles 2, Up, & Coco.
This framework from @EladRichardson and @yuvalalaluf quickly finds a "real" human face in the #StyleGAN FFHQ latent space. Adding some style randomness too.
More Pixar in thread! ⬇️ pic.twitter.com/uI2v4Tn96m
— Nathan Shipley (@CitizenPlain) October 15, 2020
▲女畫家芙烈達卡蘿(Frida Kahlo) ▲瑪麗皇后一世(Mary I of England)
▲美國首任總統華盛頓(George Washington)
▲伊莉莎白一世(Queen Elizabeth I)
他其後更嘗試將白單的線條人像畫轉換,效率也是相當不俗。
And here's what the neural network does crappy drawing as it's input! Future of criminal sketch art?
Any #Procreate character illustrators want to collab on one of these? I've got ideas!
Links to HQ versions of these videos on my site here: https://t.co/Fh1UZ7AbPF 📽️ pic.twitter.com/hUoY2VXxD0
— Nathan Shipley (@CitizenPlain) October 22, 2020
他所使用的 Pixel2Style2Pixel(pSp)其實是一款轉換框架,其基於新編碼器網路,可以直接生成一系列樣式向量,送入預先訓練的 StyleGAN 建構程式(StyleGAN Generator),形成可延伸的 W+ 潛在空間,最後匯出影像。比起傳統的 StyleGAN 模版,pSp 能夠將真實的臉部影像直接編碼到 W+ 潛在空間,並解決點到點通用任務。
這款 AI 模型已在 Github 開源,有興趣的讀者也可自行使用並體驗。
資料來源:Twitter