ガウシアンスプラッティングの仕組みとは?写真から3D空間を再現する流れ

生成AI
生成AI

離れた場所にいる人へ空間の様子を共有したいものの、写真だけでは物の位置関係や周囲の広がりが伝わりにくいことがあります。例えば建設現場では、設備の配置や作業エリアの周囲の状況を、遠隔の関係者に伝える場面があるでしょう。

現場を立体的に見せる技術を検討する際は、見た目のリアルさに加えて、どのようにデータを作り、何に使えるのかを知ることが大切です。

ガウシアンスプラッティングは、複数の写真をもとに、視点を変えて見られる3D空間を作る技術です。

本記事では、写真から3Dデータを作る工程と画面に表示する工程を順にたどり、点群・メッシュ・NeRFとの違いや利用時の注意点を解説します。

ガウシアンスプラッティングとは、「写真から3D空間を再現する技術」のこと

ガウシアンスプラッティング(3DGS)は、複数の写真から、さまざまな視点で見られる3D空間を再現する技術です。

3DGSは、空間を多数の「ガウシアン」の集合で表します。ガウシアンは、ガウス分布に基づき、中心ほど濃く、周辺ほど薄くなる広がりを持つデータです。輪郭のぼやけた半透明の楕円体を思い浮かべると、見え方をつかみやすいでしょう。これは空間を表すための計算上の要素であり、写真に物理的な粒が写っているわけではありません。

一つひとつのガウシアンには、位置、大きさ・向き、色、不透明度が設定されます。大きさや向きを変えられるため、同じ球を並べる方法ではありません。また、見る方向に応じた色の変化も表せます。

ガウシアンスプラッティングとはについて、技術の概要や活用例はこちらの記事で解説しています。

ガウシアンスプラッティングとは?メリットや現状の課題点、作成方法を解説
ガウシアンスプラッティング(3D Gaussian Splatting:3DGS)は、複数の写真や動画から写実的な3D空間を高速に生成できる最新の3Dレンダリング技術です。建設・土木、不動産、観光、エンターテイメントなどの業界では、現場の状...

ガウシアンスプラッティングの仕組み|生成から表示までの流れ

ガウシアンスプラッティングの全体の流れは、

  1. 写真から3Dデータを作る(復元・最適化)
  2. 作った3Dデータを画面に描く(表示)

の二段階です。

復元・最適化では、元写真と比較するために仮の画像を何度も描き、ガウシアンを調整します。表示では、調整済みのデータから、選んだ視点の2D画像を描きます。

ここでは、復元・最適化と表示に分けて、ガウシアンスプラッティングの仕組みを解説します。

ステップ1:写真から3Dデータを作る(復元・最適化)

まず、写真の撮影位置を推定し、空間の手がかりとなる点にガウシアンを配置します。その後、写真に近い見え方になるよう調整しましょう。

ここでは、人や車などが動かない静的な場面を扱う基本手法に沿って解説します。

① 写真から撮影位置と空間の手がかりを推定する

対象を複数の方向から撮った写真に、同じ壁の角や設備などが写っていれば、それらを対応づけて撮影位置を推定できます。こうした写真間の共通点を手がかりに、カメラの位置・向きと、空間内の点の位置を求める処理がStructure from Motion(SfM)です。

ここで得られる「疎な点群」は、空間の手がかりとなる、まばらな点の集まりです。この時点で壁や設備の表面が完成するわけではなく、次にガウシアンを配置するための初期情報として使います。

② 空間の手がかりをもとにガウシアンを配置する

疎な点群の各点を出発点として、3D空間にガウシアンを置きます。各ガウシアンは、中心ほど濃く周辺ほど薄い、輪郭のぼやけた半透明の楕円体のような広がりを持ちます。位置に加え、大きさ・向き・色・不透明度を設定でき、見る方向による色の変化も表現可能です。

ただし、ここでの配置は出発点です。点をガウシアンに置き換えただけで完成するのではなく、元写真に近づけるための調整が続きます。

③ ガウシアンの情報と数を調整し、元の写真に近づける

撮影時と同じ位置・向きから仮の画像を描き、元写真と見比べます。画像の違いが小さくなるよう、ガウシアンの位置や大きさ、向き、色、不透明度を繰り返し調整する処理が「最適化」です。

細部を十分に表せない場所ではガウシアンを複製・分割し、不要な要素は抑えながら数も調整します。その結果、シーンを表すガウシアンの集合が得られます。

ステップ2:3Dデータを画面に描く(表示)

次は、調整済みのガウシアンから、選んだ視点の2D画像を作る工程です。このように、3Dデータをもとに画面へ画像を描く処理を「レンダリング」といいます。

完成データを閲覧するときは、視点を変えるたびに元写真から作り直す必要はありません。手元にあるガウシアンを、その視点に合わせて描き直します。

① 画面に投影したガウシアンを重ね合わせる

3D空間にあるガウシアンを、見る位置と方向に合わせて2D画面へ投影します。広がりを持つ要素を画面に描く、この処理が「スプラッティング」です。

画面上で要素が重なった部分は、前後関係と不透明度を考慮して色を合成します。手前の要素による遮られ方を反映しながら重ねる処理を、アルファブレンドといいます。

広がりのあるガウシアンを滑らかに重ねることで、点群を点のまま表示したときに目立ちやすい隙間を抑えやすいです。そのため、視点を動かしながら、写真に近い見た目で空間を確認できます。

② GPUで効率よく処理する

表示時には、画面を小さな領域に区切り、各領域に関係するガウシアンを奥行き順に並べます。GPUで並べ替えと重ね合わせを効率よく処理し、選んだ視点の画像を描きます。

ただし、描画速度はデータの規模や閲覧する端末によって変わります。

ガウシアンスプラッティングと点群・メッシュ・NeRFの仕組みの違い

ガウシアンスプラッティング・点群・メッシュ・NeRFの違いは、空間を何で表し、選んだ視点の画像をどう描くかを見ると整理しやすくなります。

代表的な表現・描画方法について、比較表にまとめます。

方式 空間を表す情報 画像の描き方
点群 位置や色などを持つ点の集合 点を画面に表示する。点の間に隙間が見える場合がある
メッシュ 多角形をつないだ面 面を画面に描き、必要に応じて色や質感を反映する
代表的なNeRF 空間内の位置や見る方向から色・密度を求める関数 カメラから伸びる線に沿って複数の位置を調べ、画像を作る
3DGS 広がり、色、不透明度などを持つガウシアンの集合 ガウシアンを画面へ投影し、重なりを合成する

3DGSは、点群を単にぼかして表示する方法ではありません。SfMで得た点群を出発点に、ガウシアンを写真の見え方に近づけるよう調整します。フォトグラメトリでもSfMを使う場合がありますが、メッシュを作る方法とは完成データの表し方が異なります。

なお、NeRFにはさまざまな方式があるため、表示速度の優劣は一律には決められません。

ガウシアンスプラッティングの注意点

ガウシアンスプラッティングは写真に近い画像を描けますが、再現のしやすさは対象によって異なります。

ここでは、ガウシアンスプラッティングを用いる際の注意点を解説します。

撮影できていない部分や動く対象は再現が難しい

元の写真に十分写っていない部分は、ガウシアンスプラッティングを用いて別の視点から見ても、正確に再現できるとは限りません。にじみや形の崩れが生じる場合もあります。

ガウシアンスプラッティングは、動かない場面を前提とする技術です。撮影中に人や車が動くと、写真ごとに状態が変わり、不自然な表示につながります。

再現の仕上がりは、写真のブレや死角、写真同士の重なりに左右されます。対象を複数の方向から十分に撮影することが大切です。

また、ガラスや反射の強い金属は、条件によって再現が難しい場合もあります。見る方向による色の違いを表せても、透明感や反射を常に正確に再現できるわけではありません。

リアルな見た目が、計測精度や編集のしやすさを保証するわけではない

ガウシアンスプラッティングでは、元の写真に近い画像を描けるようにデータを調整します。ただし、見た目のリアルさだけでは寸法の正しさを判断できません。測量や数量算出に使う場合は、別途、精度の確認が必要です。

また、ガウシアンの集合は、部材ごとに編集できるよう作られたモデルとは構造が異なります。そのため、個々の物体を選んで移動・削除する作業は難しい場合があります。

現況の共有が目的なのか、計測や形状の編集も必要なのかを分けて考え、必要に応じて点群やメッシュとの併用を検討しましょう。

ガウシアンが増えると、容量やメモリの負担も増える

3Dデータには、位置や形、色などの情報を持つガウシアンが多数含まれます。広い空間や細部を再現するには、より多くのガウシアンが必要になる場合があり、保存容量やメモリ使用量も増えます。

データの作成時には、ソフトウェアが元の写真と仮の画像を比較し、ガウシアンを繰り返し調整します。閲覧時には、調整済みのデータから、選んだ視点の画像を画面に描きます。

データを共有する際は、相手の端末で表示できるか、動きが滑らかかを確認しておきましょう。

まとめ|ガウシアンスプラッティングの仕組みを理解して用途を判断しよう

  • ガウシアンスプラッティングは、複数の写真から視点を変えて見られる3D空間を再現する技術
  • 撮影位置を推定してガウシアンを配置・調整し、完成したデータを選んだ視点から画面に描く仕組み
  • 撮影できていない部分や動く対象は再現が難しく、計測精度・編集のしやすさ・データ容量にも注意が必要

ガウシアンには位置や大きさ、向き、色などの情報があり、元の写真に近い画像を描けるよう調整します。完成後は、選んだ視点に合わせてガウシアンを画面に重ねるため、視点を変えるたびに3Dデータを作り直す必要はありません。

一方、十分に撮影できていない部分の再現や、計測・編集への適性、データ容量は、用途に合わせた確認が必要です。

まずは3Dで共有したい場所を一つ選び、複数の方向から撮影できるか確認しましょう。

あなたにおすすめの記事

  1. RAGを構築するには?必要な準備と5ステップの進め方を解説

    社内マニュアルが複数の場所に分かれていて、同じ問い合わせがあるたびに資料を探している方は多いのではないでしょうか。こうした状況では、どの文書をAIに参照させればよいか迷うケースは少なくありません。 資料が古かったり、部署 … 続きを読む

    • 生成AI
  2. ローカルLLMに必要なPCスペックは?初心者向けに目安と選び方を解説

    「社内文書の要約にローカルLLMを試したいけれど、手元のPCで動くのか分からない」と感じていませんか。GPUやメモリの数字だけを見ても、業務に活用するうえで何を優先すべきか、判断しにくいものです。 ローカルLLMは、自分 … 続きを読む

    • 生成AI
  3. LLMを自社向けに構築するには?方法の選び方と5ステップの進め方を解説

    社内資料を使って回答するLLMを構築したいものの、モデルを一から開発する必要があるのか、既存のモデルを使えるのか迷っていませんか。商品仕様や社内ルールへの問い合わせが集まる現場では、資料をどう参照させ、回答をどう確認する … 続きを読む

    • 生成AI
  4. LLMの活用方法には何がある?主な業務や導入時の注意点を解説

    報告書の作成や問い合わせ対応に時間がかかり、LLMを使ってみたいものの、どの業務から試せばよいか迷っている方は多いのではないでしょうか。 LLMを活用すると、文章の下書き、資料からの情報探し、記録の整理などを支援できます … 続きを読む

    • 生成AI
  5. RAGで社内文書を活用するには?活用シーンや導入ステップ、注意点を解説

    「社内マニュアルを整備しているのに、同じ質問が何度も届く」「過去の提案書を使いたいが、保存場所がわからない」と悩む方は多いのではないでしょうか。こうした課題への対策として、社内文書の検索と生成AIを組み合わせるRAGが挙 … 続きを読む

    • 生成AI
  6. ローカルLLMの構築方法を5ステップで解説|代表的なツールも紹介

    「生成AIで社内の問い合わせ対応を減らしたいけれど、社内資料を外部サービスに入力するのは不安」と感じていませんか。そのような企業で検討したい選択肢が、自分のPCや社内サーバーでAIモデルを動かすローカルLLMです。 ロー … 続きを読む

    • 生成AI
  7. オンプレLLMとは?クラウドとの違いやメリット、導入ステップを解説

    社内文書の要約や問い合わせ対応にAIを活用したくても、機密情報を外部へ送信できず、検討が進まない企業もあるでしょう。その選択肢となるのが、自社管理のサーバーで運用する「オンプレミスLLM」です。 オンプレミスLLMは、デ … 続きを読む

    • 生成AI
タイトルとURLをコピーしました