MetaがリリースしたオープンソースAIモデル「SAM 3D」を紹介する動画である。このツールは2D画像から任意のオブジェクトを抽出し、3Dモデルに変換することができる。完全無料かつオープンウェイトで提供されており、3Dプリント、ゲーム開発、VFX、アニメーション制作など幅広い用途に活用可能だ。動画では実際にゲームキャラクターを3Dプリントしたり、複雑な画像から人体のスケルトンを抽出する機能など、驚くべき実用例が紹介されている。
MetaのSAM 3Dで画像を3Dモデルに変換
私はこのスパイクの画像を使いました。ブロスタに登場するお気に入りのキャラクターの1人です。これをMetaのSAM 3Dに読み込んで、3Dモデルに変換し、3Dプリントソフトに取り込んで、実際にプリントしました。これ、すごくないですか？
これはすべてMetaのSAM 3Dによって可能になっています。完全オープンソースでオープンウェイトのモデルで、2D画像からオブジェクトを抽出して3Dモデルに変換できるんです。もちろん3Dプリントに使えますが、ビデオゲームにも使えます。VFXや義肢にも使えます。本当にたくさんの異なる用途があって、純粋にクールなんです。お見せしましょう。
SAM 3D Playgroundの新機能
MetaのSAM Playgroundには3つの新しいモデルが用意されています。繰り返しますが、これは完全に無料です。オープンソースでもあります。オープンウェイトでもあり、Metaはこの動画で皆さんにこれを紹介するために私とパートナーシップを組んでいます。
新しい機能はこちらの2つです。「3Dシーンを作成」と「3Dボディを作成」です。まず「3Dシーンを作成」から始めましょう。クリックすると、任意の画像をアップロードするか、用意されているサンプルを使用できます。そして画像内のどこでもクリックするだけです。クリックした場所を認識して、ハイライト表示し、3Dモデルとして抽出します。見てください。
このスピーカーが欲しいとしましょう。クリックするだけです。少し時間がかかり、全体がハイライトされて、「3Dを生成」をクリックすると、3Dモデルの生成が始まります。すごくクールでしょう。これで2D画像からこのスピーカーの3Dモデルができました。
他のこともできますよ。ここをクリックすると、レコードプレーヤーを取得できます。ご覧の通り、レコードプレーヤーの下部分だけがハイライトされました。そこで2つのことをします。まず「削除」に行って、古いものを削除します。次に「追加」で上のガラス部分をクリックして、そのガラスが全体の3D画像の一部として含まれるようにします。そしてまた「3D画像を生成」をクリックするだけです。本当に簡単です。
信じられないですね。これ、すごくクールじゃないですか。
3Dモデルのダウンロードと編集
さて、この3Dモデルができました。「ダウンロード」をクリックすると、PLYとGBの2つのフォーマットがあります。3Dプリンターに読み込むために、GB形式でダウンロードしてSTLに変換しました。これが何のことかわからなくても心配しないでください。すべて3Dプリント関連のことです。
でも繰り返しますが、これで何でもできるんです。例えばBlenderに読み込んで、追加したり、シャープにしたり、変更したりできます。ここに手動コントロールがたくさんあります。スケールを変えたり、回転させたり、移動させたり、再生成したり。そして「エフェクトを追加」ボタンをクリックできます。
選べるエフェクトがいくつかあります。まず3Dエフェクト。シマーを追加したいとしましょう。3Dオブジェクトにシマーがかかっているのが見えますね。ゴールドにしたり、爆発させたりもできます。これらはすべて、3Dモデルを生成した後にできるクールな小技です。
モデルのスタイルも変更できます。ここで「トゥーン」に変えてみましょう。少しセルシェーディングのような見た目になって、本当にクールですね。手描き風、エッジ検出、ピクセル化もあります。そしてビジュアルフィルターもたくさんあります。雨、雪、蛍など。
3Dボディ作成機能
そしてMeta SAM 3Dには「3Dボディを作成」機能もあって、これが信じられないほどクールなんです。正直、ここまでうまく機能するとは思っていませんでした。見てください。
これは柔術をしている2人の男性の写真です。この非常に複雑な画像で、それぞれの体のパーツがどこにあるかを実際に理解してくれます。これがどれだけクールか見てください。読み込みます。
人物を検索中。1人の男性がハイライトされて、青色でハイライトされているのが見えます。向こう側に彼の足があるのも見えますね。そしてもう1人はピンク色です。「全員を生成」をクリックします。見てください。すごいでしょう。3D空間で両方の人物がレンダリングされています。
背骨、腕、指、すべてが正しくレンダリングされて近似されています。もちろんこれもダウンロードして好きなように使えます。VFXが思い浮かびますね。アニメーションにも使えます。手動でアニメーションにスケルトンを追加する代わりに、このようにするだけでできるんです。
本当に素晴らしいです。こちらで2人の人物が識別されているのが見えて、クリックするとそれぞれがハイライトされます。1人を削除したい場合も簡単です。この人を削除したいとしましょう。「ボディを削除」。「削除」。できました。画像から1人だけになって、彼のスケルトン全体が完璧に近似されています。本当にクールです。
様々な活用例
他にもいくつかの例をお見せしましょう。これには本当に驚かされていて、しばらく遊んでいると思います。ちょうど3Dプリンターを手に入れたので、ランダムなものをプリントするのがとても楽しいんです。でも今は写真からものを抽出して、3Dプリントソフトに読み込んで、3Dプリンターでプリントできるんです。
ちなみに、私はこの分野に入ったばかりで、3Dプリントの専門家というわけではありません。でもこのキャラクターをプリントする方法はすぐに理解できました。実際に理解するのに約20分かかりました。
これはホワイトハウスの写真です。これを読み込んでみましょう。ホワイトハウスのどこかをクリックするだけで、完璧にハイライトされるはずです。はい、できました。「3Dを生成」。
ホワイトハウスの3Dレプリカができました。本当にクールですね。
これは私がプレイしているもう1つのビデオゲームです。リーグ・オブ・レジェンドのティーモです。読み込んで、3D画像が作れるか見てみましょう。読み込みました。キャラクターのどこかをクリックするだけです。見てください。ほぼ完璧にハイライトされました。
小さな吹き矢が残ってしまいました。それをクリックすれば追加されるはずです。できました。「3Dを生成」。できました。ティーモの3Dバージョンができました。裏返すと背面は少しおかしいですが、背面がどう見えるか推測しなければならなかったんです。でもそれ以外は素晴らしい出来だと思いますし、とても楽しいです。
まとめ
そう、これは本当にどんな画像でもできるんです。たくさんの異なるユースケース、たくさんの異なる用途があります。そして繰り返しますが、無料で、オープンソースで、オープンウェイトです。
Metaとパートナーシップを組めてとても興奮しています。本当にクールな製品で、誰でも使えます。本当に簡単です。
というわけで、以上です。ぜひチェックしてみてください。説明欄にすべてのリンクを貼っておきます。この動画が気に入ったら、いいねとチャンネル登録をお願いします。
コメント