作品集 → AI 圖像

AI 圖影音 · 圖像AI 圖片

決定什麼才叫「對」

「畫得好看一點」是任何模型都沒辦法照著做的要求。六輪本機實驗,把它變成一份書面規格,精確到最後的成品圖第一次就畫對了。

角色 C:蜂蜜金色的側邊辮子繫著深綠色緞帶,米白色寬鬆開襟毛衣搭苔綠色背心裙,站著,一手扶著辮子。
角色 C
角色 D:薰衣草灰色長髮,米白色襯衫配藍色緞帶蝴蝶結,搭裙襬有花朵圖案的紫色長裙,站著,一手輕碰頭髮。
角色 D
挑戰

調整角色的姿勢或比例時,可能連角色辨識特徵都一起改掉;相似度分數很高,也可能漏掉錯誤的髮色或服裝顏色。

我的貢獻

我主導實驗、寫清楚角色特徵與比例,依據結果訂定驗收標準。圖像由模型生成,最後的完成圖使用雲端模型。

這兩張完成圖,是雲端的頂尖圖像模型畫的。本機實驗產出的是規格:交給模型的確切用字、比例、材質和要避開的失敗情況,以及背後的量測數據。

各輪實驗

六輪實驗,每輪只改一個變數

#問題結果寫進規格
1「denoise」設多少,原圖還保得住?看圖而定:繪畫感的圖 0.45,平塗的圖 0.60每張圖各自量,不照抄教學裡的數字
2編輯模型能從另一張圖借一張臉嗎?連那張圖的表情和光線也一起借過來角色特徵用文字描述,不用借的
3只改顏色時,附一張配色參考圖有幫助嗎?沒有。而且錯的和對的結果,分數是 0.958 對 0.965相似度看不出這種錯,配色檢查看得出來
4用編輯能把 Q 版改成成人比例嗎?停在六頭身;再加強,角色就走樣改比例要重新生成,不是用編輯
5寫「15/20/25 歲」有用嗎?20 和 25 歲畫出來一樣;寫「成熟」只會多上妝改寫結構:頭身比、下顎、眼睛大小
6換新一代的基礎模型,比例問題能解決嗎?可以,第一次就對,12–24 秒;但只給參考圖還是會失敗以文字描述為主,參考圖只當輔助
看每一輪的完整結果

第 1 輪。用 SSIM 量:繪畫感的圖,denoise 到 0.45 畫面就開始變;平塗的圖撐得到 0.60。光是經過編碼器一次,相似度上限就只有 0.98–0.996。

第 2 輪。要編輯模型「用另一張圖裡的這張臉」,它會把那張圖的表情和光線一起帶過來;快速的 8 步版本則會漂回同一張預設的臉。

第 3 輪。只用文字時,其他部分都保持原樣;附上配色參考圖,反而把參考圖裡那個角色的髮色和辮子拖進畫面。而錯的結果 SSIM 是 0.958,對的是 0.965。

第 4 輪。角色特徵和服裝完全保住,但身體停在大約六頭身。再加強(換完整版模型、調高 guidance),身體終於變了,角色卻也走樣:髮色變了,背心裙變成窄裙,線條變成歐美畫風。

第 5 輪。15 歲分得很清楚;20 和 25 歲畫出來幾乎一樣。要求「成熟」只會多上妝。

第 6 輪。新一代的基礎模型第一次就畫出正確的成人比例,每張 12–24 秒。但只給參考圖,還是有三種失敗:完全被忽略、變成三視圖,或衣服被換掉。

規格

分成四塊,一次只改一塊

01

角色特徵:精確

每個決定這個角色的元素都寫出來:髮型和髮帶、眼睛顏色,每件衣服的剪裁、顏色和細節。寫得含糊的地方,下一次就會被重新畫過。

02

比例:寫結構

七到七頭半身;頭小、腿長、腰線明顯;成人的下顎線,眼睛是自然大小。不是 Q 版,也不是時裝插畫那種拉長的比例。

03

姿勢:一句話

放鬆的四分之三側身站姿,重心放在一隻腳,一手扶著頭髮。換姿勢時,其他部分一字不改。

04

質感:像畫出來的

乾淨的線稿、有繪畫感的陰影、沒有塑膠般的光澤、布料依材質畫出不同質感、細緻的手、柔和的棚拍光,全身入鏡。

刻意不寫的,因為實驗證明沒有幫助:堆疊品質標籤、一長串負面提示詞、改顏色時附風格參考圖,以及單獨一個「成熟」。

留下來的檢查

看不出錯的分數,和看得出錯的那一個

  • 拿掉:用相似度分數(SSIM)當關卡。顏色錯的結果,它給 0.958;對的結果給 0.965
  • 留下:配色檢查。同一個角色和不同角色的距離,差了三倍
  • 最後的成品圖交給當時能用的最強雲端圖像模型。能帶到別的工作上的,是規格和驗收標準:知道要求什麼,也知道怎麼判斷有沒有拿到
  • 下一步:她們會是我下一支影片的主角
現況與限制

已有的、量過的、不宣稱的

已完成

  • 分成四塊的角色規格,換姿勢也能畫出同一個角色
  • 自動標出設計偏移的配色檢查
  • 六輪有紀錄的實驗,每輪一個變數,附參數和結論

已量測

  • 不同類型圖片的 denoise 門檻(繪畫感的圖 0.45,平塗的圖 0.60)
  • 編碼器的相似度上限:0.98–0.996
  • 配色距離:同一個角色 3.8–6.6,不同角色 19.0–20.3

不宣稱

  • 最後的完成圖不是在本機畫的
  • 畫面複雜的場景圖,配色檢查用不上
  • 沒有公開的 repo,程式不公開
在新分頁開啟