亞洲資本網 > 資訊 > 科技頻道 > 正文
抖音變身漫畫火遍全網 吳亦凡PDD戚薇都玩上癮了
2020-06-23 14:48:36來源: 量子位

「變身漫畫」

這兩天,抖音上一款特效——,簡直火到不行。

從明星到路人,堪稱全民參與,來看下效果吧~

張藝興

首先登場的是和。

二次元漫畫

可以看到,這個特效基于人物的面容,很好的轉換成了風格。

尤其是眼睛的處理,把張藝興慵懶的眼神、戚薇水汪汪的大眼睛,詮釋的淋漓盡致。

當然發(fā)型也都是「滿分轉換」,分叉、造型等細節(jié)可以說是絲毫不差了。

抖音網友們直呼:

終于看到這個特效啦!早就想看偶像的漫畫風,圓夢了!

PDD

可愛的同學也參與了進來,這個漫畫風讓他變得少了些油膩,多了份清純,好評!

調皮的網友竟發(fā)出疑問:

安西教練?

當然,刷了眾多視頻之后,你會發(fā)現(xiàn)這個特效并不是適合所有人,建議以下2類人慎用此特效。

第一類是顏值過高,這里的高是指本來長相就像「從漫畫里走出來」的人,例如吳亦凡。

本來吳亦凡是濃眉大眼、五官立體,轉換后卻顯得「單薄」了不少。

第二類是彪形大漢……話不多說,來感受一下這個畫風……

嗯……原來的味道,全沒了……引得網友直呼:

你為什么要拉過來?

發(fā)我男朋友看一下,讓他認清社會的現(xiàn)實。

突破「次元壁」的關鍵技術那么如此有趣的特效,是怎么做到的呢?

雖然目前并沒有看到專門對應此特效的研究,但是有關「風格遷移」的研究,并不是新鮮的事物了。

GAN

而在眾多研究中,打破二次元和三次元的關鍵技術,就是(對抗生成網絡)。

用GAN實現(xiàn)漫畫風早在去年,港中文、哈工大和騰訊優(yōu)圖的一篇最新研究,可以將人臉照片轉化成如同手繪版的卡通圖,甚至還能反向轉換,將二次元的卡通圖像,轉換成現(xiàn)實中可能的樣子。

將真實人臉照片轉化成卡通圖像,效果超越了CycleGAN。

還能轉換成日漫畫風,自帶了熱血青春的氣息。

Landmark Assisted CycleGAN

這項研究利用到的技術叫做,它利用面部標志特征來定義一致性損失,指導在CycleGAN中訓練局部鑒別器。

整體結構如下:

整體來說,這個轉換過程分為3步。

首先,生成器先根據(jù)CycleGAN生成一張粗糙的卡通人臉。

隨后,模型根據(jù)第一步生成的圖像,生成一個預訓練回歸量(regressor),來預測面部landmark,對面部的關鍵點進行標記。

最后,通過局部和全局兩種鑒別器,研究人員細化在卡通圖和對應真實圖像中的人臉特征。在這個階段,強調了landmark的一致性,因此最后的生成生成結果逼真且有辨識度。

AI Portraits Ars

用GAN實現(xiàn)油畫風例如MIT和IBM沃森聯(lián)合實驗室,發(fā)布的名為的工具,只要給定一張圖像,就能秒變「文藝復興款」的油畫風。

值得一提的是,這不是風格遷移,而是GAN自己畫出來的。

不止能拿著照片作畫,看著視頻也沒問題,例如1960年的老電影《驚魂記》。

這項技術里GAN的生成器就像是個畫師,而判別器就充當鑒賞家角色,負責識破生成器的畫不是人類作品。

生成器里有個潛在空間,里面有千千萬萬的AI畫像,都是從人類畫作里,用不同的向量修改而成。

然后,要按著照片生成畫像,就把一個向量 (Latent Vector) ,映射到千萬AI畫像里和照片最接近的一幅。

團隊還設計了一個Inverter,可以從照片里近似出一個向量,用來找到潛在空間里最合適的那個向量。

用GAN讓紙片人活起來除此之外,GAN甚至還可以讓2D形象變成3D“活物”。

照片喚醒

例如來自華盛頓大學的(Photo Wake-Up)技術,可以讓你體驗到麻瓜的神奇魔法。

它可以讓你最愛的體育明星從照片里跑出來:

還能賦予二次元角色新力量:

還可以借此把角色們AR/VR化,只要動動手指,它們就能出現(xiàn)在你身邊的世界:

這項研究整個操作過程,其實只用了三步:

分割紙片人

第一步是:利用現(xiàn)成的圖像分割算法,將畫中人的軀干、四肢分割,再用人體姿態(tài)估計,提取畫中人的2D骨骼關鍵點,忽略厚重的衣服,擬合出一種半裸的可塑3D模型,稱為SMPL模型。

細化紙片人3D模型

第二步是是:先將SMPL模型映射到2D世界對準輪廓,調好再次轉換成3D模型確保精確度。

最后一步中,研究人員用CMU的Mo-cap人體動作數(shù)據(jù)集喂給模型。

讓二次元走進現(xiàn)實除了抖音最近火爆的「變身漫畫」特效外,隔壁島國的一項「3D姿態(tài)追蹤」也火了。

可以讓漫畫人物跟隨著你的動作,一起翩翩起舞,仿佛二次元人物走進了現(xiàn)實。

利用「真人模型」也是可以的。

并且這項技術可在線體驗哦(鏈接見傳送門)。

這樣一來,和你心儀的二次元對象,在現(xiàn)實中共舞便不再是夢!

若是把明星作為模型輸入的一部分,是不是也可以跟偶像共舞了?

咦?好像可以預見娛樂平臺的下一個爆款特效了。

關鍵詞: 抖音 變身漫畫 吳亦凡

相關新聞
專題新聞
  • 雖說萬物皆可盤 但盤得住時光的才是王牌
  • 霍爾果斯:馮小剛等明星資本大撤離
  • 開心麻花電影頻出
  • 男頻IP為何“武不動乾坤,斗不破蒼穹”
  • 《鐵血戰(zhàn)士》北美市場票房跳水 又玩壞一個大IP?

京ICP備2021034106號-51

Copyright © 2011-2020  資本網   All Rights Reserved. 聯(lián)系網站:55 16 53 8 @qq.com