3DCADを使って、生成AIの構図を制御する

こんにちは！
子どもと一緒に、 3D CAD やものづくりを楽しみたい “まるいしお” です。

画像生成AIで絵を作ったとき、「欲しいのはこんな構図じゃない！！」となったことはありませんか？
今回は、生成AIの画像を3D CADで狙った構図に近づける方法をご紹介します。

この記事はこんな方におすすめです：

画像生成AIに興味がある方
思い通りの構図が出なくて、毎回もやもやしている方

1. はじめに

AIで思い通りの構図の画像を作るのって、難しいですよね。

例えば、下の絵のように「窓があって、椅子と机が置いてある部屋」を作りたいとします。

まずは、テキストプロンプトだけで生成してみました。

使ったプロンプトはこちら：
A simple room viewed from an elevated, slightly angled perspective near the entrance. In the far corner, a desk is placed against the back wall with a chair in front of it. To the right of the desk, on the adjacent wall, there is a window. On the left side of the room, near the desk, there is a single bed positioned along the wall. The scene is minimal and clearly structured, with a focus on the layout and proportions of the furniture.

ある程度近いものもありますが、「これ！」という構図にはなりません。

やはりテキストだけで構図を表現するのは難しい…。

でも！CADとAIを組み合わせれば、狙った構図の画像を簡単に生成できるようになります！

2. 使用したソフト

今回使用したソフトは以下の2つです：

Tinkercad（3D CAD） … 構図の作成

Stable Diffusion（画像生成AI） … 画像の生成

2-1. Tinkercadについて

「Tinkercad」は、無料で使える初心者向けの3D CADツールです。
オブジェクトのライブラリも豊富で、直感的に操作できるため、今回のような構図作りにもぴったり。
https://www.tinkercad.com/

2-2. Stable Diffusionについて

「Stable Diffusion」は、2022年に登場した画像生成AIで、テキストや画像をもとにイラストを生成できます。
以前ご紹介した「Mage.space」も、このAIをベースにしています。

今回は、そのStable Diffusion の拡張機能「ControlNet」を使用します。

ControlNeとは、
テキストプロンプトに加えて「画像」や「姿勢情報」等を入力することで、テキストだけでは表現しにくい複雑な構図やテイストを反映した画像を生成できる機能です。

ControlNeにはたくさんの種類がありますが、その中の「Depth」を使います。
Depthを使うことで、参考画像の奥行き情報を活用し、よりリアルな構図を再現できるようになります。

なお、ControlNetはWebサービスでも使えるものもありますが、多くは有料です。
そこで今回は、自分のPCにStable Diffusion Web UIをインストールして使っています。ローカルで環境を準備すれば無料です！

Stable Diffusion Web UI のインストール方法や使い方については、わかりやすく解説されているサイトがたくさんあります。詳しい手順は、そちらをご参照ください。

3. 生成の流れ

それでは、CADを使って狙った構図の画像を生成する流れをご紹介します。

Tinkercadでレイアウトを作る
オブジェクトを組み合わせるだけで簡単に作れます。

TinckerCADの基本的な使い方は、こちらをご参照ください。
＞＞T inkercadでモデリングに挑戦！
構図を決めてスクリーンショットを撮る
狙ったアングルに調整し、画像として保存します。
Stable DiffusionのControlNet – Depthに画像を読み込む
テキストプロンプトを設定し、画像を生成
ちなみに、テキストプロンプト自体も、chatGPTにキャプチャを渡して、「この画像を生成するプロンプトを作って」で作っています。（無課金なので画像生成自体はすぐに制限達してしまう、、、）