ポートフォリオ → AI画像

AIメディア · 画像AI画像

「正しい」とは何かを決める

「いい感じに描いて」という指示には、どのモデルも従えません。6回のローカル実験で、それを文章の仕様に変えました。最終的な画像が一度で狙いどおりに仕上がるほど、精密な仕様です。

キャラクターC:はちみつ色の髪をサイドで三つ編みにし、濃い緑のリボンを結んでいる。クリーム色のオーバーサイズのカーディガンに、モスグリーンのジャンパースカート。片手を三つ編みに添えて立っている。
キャラクターC
キャラクターD:ラベンダーグレーのロングヘア。クリーム色のブラウスに青いサッシュのリボン、裾に花柄の入った紫のロングスカート。片手で髪に触れて立っている。
キャラクターD
課題

ポーズや体の比率を変えると、キャラクターの特徴まで変わることがあります。類似度が高くても、髪や服の色の誤りを見逃す場合があります。

私の貢献

実験の方針を決め、キャラクターの特徴と比率を仕様にし、結果から受け入れ基準を定めました。画像はモデルが生成し、完成イラストにはクラウドのモデルを使いました。

完成した2枚のイラストは、クラウドで提供されている最先端の画像モデルで生成しました。ローカルでの作業が生み出したのは仕様――生成時に渡した正確な言葉づかい、プロポーション、素材、失敗のパターン――と、その裏付けとなる測定結果です。

実験の記録

6回の実験、毎回変える変数は1つだけ

#問い結果仕様に反映したこと
1「denoise」は元の画像をどこまで残すか?画像による:絵画調は0.45、フラット塗りは0.60画像ごとに測る。ガイドの数値をそのまま使わない
2編集モデルは、別の絵から顔だけを借りられるか?表情とライティングまで一緒に借りてしまうキャラクターの特徴は借りずに、言葉で書く
3色だけを変えるとき、色の参考画像は役に立つか?立たない。しかも誤った結果のスコアは0.958、正しい結果は0.965類似度ではこの誤りを見抜けない。配色チェックなら見抜ける
4編集で、ちびキャラを大人の頭身にできるか?6頭身で止まる。さらに強めるとキャラクターが崩れる頭身の変更は、編集ではなく生成の仕事
5「15歳/20歳/25歳」という言葉は効くか?20歳と25歳は同じ結果に。「mature(大人っぽい)」はメイクが足されるだけ構造で指定する:頭身、あごの形、目の大きさ
6新しいベースモデルなら、頭身の問題は解決するか?解決。1回目で成功し、1枚12–24秒。ただし参考画像だけではまだ失敗する主役は文章の記述。参考画像は補助にとどめる
詳しい結果を読む

1回目:SSIMで測定しました。絵画調の画像ではdenoise 0.45で絵が変わり始め、フラット塗りの画像では0.60まで保たれます。エンコーダーを通すだけでも、類似度は0.98–0.996が上限になります。

2回目:「この顔を、あちらの絵から」と指示された編集モデルは、その絵の表情とライティングまで持ち込みます。高速な8ステップ版では、決まったひとつの顔に寄っていきます。

3回目:言葉だけで指示すると、ほかの部分はすべて保たれました。色の参考画像を添えると、その画像のキャラクターの髪色と三つ編みまで入り込みました。しかも誤った結果のSSIMは0.958、正しい結果は0.965でした。

4回目:キャラクターの特徴と服装は完全に保たれましたが、体は約6頭身で止まりました。さらに強めると(フルモデル、ガイダンスを上げる)ようやく体型が変わったものの、キャラクターが崩れました。髪色が変わり、ジャンパースカートはタイトスカートになり、線画は洋風のタッチになりました。

5回目:15歳ははっきり区別できましたが、20歳と25歳はほぼ同じ結果でした。「mature」と指定しても、メイクが足されるだけでした。

6回目:新しいベースモデルでは、1回目から正しい大人の頭身になりました。1枚あたり12–24秒です。一方、参考画像だけでは3通りの失敗が続きました。完全に無視される、キャラクターの三面図になってしまう、服装が置き換わる、の3つです。

仕様

4つのブロックに分け、変えるのは一度に1つだけ

01

キャラクターの特徴は、正確に

キャラクターを決める要素をすべて名指しで書きます。髪型とそのリボン、目の色、服それぞれの形・色・細部。曖昧なところは、次の生成で描き直されてしまいます。

02

プロポーションは、構造で

7〜7.5頭身。小さな頭、長い脚、くびれたウエスト。大人のあごの線と、自然な大きさの目。ちびキャラでも、ファッションモデルのような引き伸ばしでもありません。

03

ポーズは、1文で

力を抜いた斜め向きの立ち姿、片脚に重心、片手を髪に。ポーズを変えても、それ以外の記述は1バイトも変えません。

04

描画は、手描きらしく

きれいな線画、絵画的な陰影、プラスチックのようなテカリはなし、素材ごとに違う布の質感、細かく描いた手、やわらかなスタジオライト、全身をフレームに収める。

実験で効果がないとわかったため、あえて入れなかったもの:品質タグの積み重ね、長いネガティブプロンプト、色の調整のためのスタイル参考画像、そして「mature」という語の単独での使用。

残ったチェック

誤りを見抜けなかったスコアと、見抜けたスコア

  • やめたこと:類似度スコア(SSIM)を合否の関門にすること。色を誤った結果を0.958、正しい結果を0.965と評価したため
  • 残したこと:同じキャラクターと別のキャラクターを、3倍の差で見分ける配色チェック
  • 最終生成は、利用できる中で最も強力なクラウドの画像モデルに任せました。ほかにも活かせる成果は、仕様と受け入れ基準です。何を頼めばよいか、そして頼んだものが得られたかをどう見分けるか
  • 次へ:この2人のキャラクターは、次の動画制作の主役になります
現状と制約

できていること、測ったこと、主張しないこと

できていること

  • ポーズが変わっても同じキャラクターを再現できる、4ブロックのキャラクター仕様
  • デザインのずれを自動で検出する配色チェック
  • 6回分の実験記録。毎回変数は1つで、パラメータと結論つき

測定したこと

  • 画像の種類ごとのdenoiseのしきい値(絵画調0.45、フラット塗り0.60)
  • エンコーダーによる類似度の上限:0.98–0.996
  • 配色の距離:同じキャラクター3.8–6.6、別のキャラクター19.0–20.3

主張しないこと

  • 最終的なイラストは、ローカルで生成したものではない
  • 配色チェックは、情報量の多い場面のイラストには使えない
  • 公開リポジトリはなし。スクリプトは非公開
新しいタブで開きます