ビューポートのメニューからtyDiffusionをクリックします。

tyDiffusionのUIが出現します。

Setupタブ内EngineタブからInstall ComfyUI
One Click Installをクリックします。

プログレスバーが動き始めるのでしばらく待ちます。

インストールが終わると画像のようなポップアップが表示されます。

UIのModelsタブを選択すると、様々なAIモデルが表示されダウンロードする事が出来ます。

Base SettingsのModelだけでも下記のリストとなります。

・Stable Diffusion 1.5
・Stable Diffusion 1.5 InPainting
・Stable Diffusion XL
・Stable Diffusion XL InPainting
・Stable Diffusion XL Lighting (2steps)
・Stable Diffusion XL Lighting (4steps)
・Stable Diffusion XL Lighting (8steps)
・Art Universe v8 (1.5)
・Art Universe XL v3
・Dream Shaper v8(1.5)
・Dream Shaper XL Turbo v2
・epiCPhotoGasm (1.5)
・epiCRealism (1.5)
・epiCRealism XL
・Juggernaut Reborn (1.5)
・Juggernaut XL. v10
・Juggernaut XL Lightning
・Pirsus Artstation (1.5)
・Photon (1.5)
・Proteus (XL) v0.4
・Proteus (XL) v0.4 Lightning
・RealVisXL 4.0
・RealVisXL 4.0 Lightning
・TF/XL 3
. ThinkDiffusion XL
・TMND Mix Rainbow (1.5)
・TMND Mix V (1.5)
・Tooneame 2
・ZavyChromaXimuryou

任意のモデルをダウンロードしてください。
※使用するModelによってUIも多少の変化があります。

GenerateタブをクリックするとPrompt ウィンドウに
A fluffy red cat
と記述されております。

下部のGenerate imageボタンをクリックします。
Prompt通りふわふわの赤い猫が表示されました！

シーンにキューブとスフィアを適当に配置します。

Promptウィンドウには
「A cube object and a sphere are fighting, emitting lightning. The cube has red lightning and the sphere has blue lightning.」
このように入力してみました。

日本語訳
「立方体と球体が稲妻を放ちながら戦っています。立方体には赤い稲妻が、球体には青い稲妻が放たれています。」

私は単語を考えながらプロンプトを打ち込むと非常にカロリーが消費する為、ある時期からGoogle翻訳に日本語の文章を入れ込み、英語訳を丸々ペーストするという手抜きスタイルになってしまいました。簡単にスタート出来ますので、まずは難しく考えずこのような手法で変化を楽しんで頂けたら幸いです。

UI下部のGenerate imageをクリックします。

画像生成はされたものの全く配置したオブジェクトと関連性の無い絵になっております！
シーンのレイアウトや配置したオブジェクトに関連性を持たせるには下記の行程を進めていきます。

UIのBasic settingsからControlNetタブに切り替えます。
更に下のメニュータブをDepthタブに切り替えチェックを入れます。

チェックを入れると、各項目とパラメーターの調整が可能となります。
Weightは0.39となっております。

オブジェクトに近い形でAI生成出来ました！
生成時間はたったの3秒程でした。

Weightを1.00にします。

形に沿ってますね！！素晴らしいですね！

メッシュ表示してみました。
形にほぼ沿っていますね。
このようにWeightの数値で実際のモデルに近づける事が出来ます。

Layer Explorerを開きSphereを新しいレイヤー「Layer001」に入れます。

DepthタブのViewport内、Include objects by layerにチェックを入れ、右側の...ボタンをクリックします。

Layer Selectorウィンドウが表示されるのでLayer001を選択します。
Selectボタンをクリックするとウィンドウが閉じます。

Include object by layerにLayer001が入りました。

AIを生成してみましょう！

しっかりとIncludeしたレイヤーのみ反応してます。
他にも様々な組み合わせや数値で生成される画像が変化していきますので、是非遊んでみてください！

Depthタブのチェックを外し、Edgesタブへ切り替えチェックを入れました。
MethodをCanyにしSourceをViewport depthに切り替えます。

Modelによって全然違う画像が生成されますね！

MethodをSoftEdgeに切り替えてみました。

全く違うスタイルですね。プロンプトでCubeと謳っているにも関わらずCubeの扱いが面白い事になっております。

タブのチェックは複数チェックも入れられるので、無限に可能性が広がりますがコントロールが難しくなってくる可能性もあるので、各々弄りながら特性を見極めて行くのが良いのかなと思っております。

ロボットを配置して、カメラでアングルを作っていきます。

tyDiffusionを起動します。

プロンプトを以下のようにします。
「In the middle of a battlefield in a conflict zone, filled with flames and smoke, a white robot covered in scars from repeated battles is fighting.」

日本語訳
「紛争地帯の炎と煙が立ち込める戦場の真ん中で、度重なる戦闘による傷跡だらけの白いロボットが戦っている」

しっかり背景も生成され、加えて謎の新たなキャラクターが生成されております！

ざっくりと背景も飾っていきます。

なんとなく背景プロップを配置してみました。

背景を踏襲してAIが画像を生成してくれました！

この画像をプロップにカメラマップしてカメラを動かすだけでも楽しそうです。

上記画像はこのような設定で生成しました。
Weightは1.12で設定しております。

Weightを0.51に下げてみました。

絵作りが変化してきますね！
右側の背景は有刺鉄線のようなものに瓦礫が残されております。

ちなみにtyDiffusionはStable Diffusion同様、ずっとパラメーターを追い込んで、プロンプトも変化させながら、永遠に絵を生成出来るのでキリがありません。

下の画像は、様々なチューニングを行い、画像生成をしてみました。

これらの設定は‘Base SettingsのModelの選択だけでも、かなり絵に変化が出てきます。

STEP1でダウンロードしたModelの数によって選べるタイプが増減しますが、色々試したい方は１つ１つModelの特性を把握しながら進めていくと思い通りの絵作りが可能になるかもしれません。

今回はほんの入口にしかすぎません。

今回のポイントとしては、Base Settingsで基本の設定を行い、ControlNetでCGビューポート内のモデルをどのように活かせるかチューニングをしていくだけの手順でした。

それでは冒頭に貼り付けていた動画をもう一度ご覧くださいませ。