Macとカメラでフォトグラメトリー(Object Capture) 後、usdzファイルを編集する方法

Macに対応したフォトグラメトリのソフトは少なかったのですが、最近、AppleがObject Captureという機能をリリースしたので使ってみました。

使うためにはApple Developer Programの登録（おそらく有料）など若干手間はかかりますが、環境が整えば写真枚数に制限なく（メモリが足りなくなるなどのハードウェアの制限はあり）何枚でもフォトグラメトリーができるようになります。

環境

• macOS：12.0(Monteley) 以上
• Xcode：13.0 以上

セットアップの手順は下記の公式ページを参照してください。

https://developer.apple.com/jp/augmented-reality/object-capture/

龍 lileaさんのまとめもわかりやすいです。

usdzファイルの編集

Object Captureが成功するとusdz形式の3Dモデルファイルが出力されます。このファイルをMacやiPadであれば特別なソフトをインストールすることなく、グリグリ回転させたり拡大したりすることができます。

iPadだとARもできます。

さて、出来上がったusdzファイルですが、テクスチャを編集したりモデルを編集したいことがあると思います。その手順です。

では、まずObject Captureにて出力したモデルそのままはこちら。

https://skfb.ly/or8TO

息子が作った図工の作品です。名前が書いてあったり不要な部分がモデル化されていたり。

これを修正したモデルがこちら。

https://skfb.ly/orsIC

では、修正の方法です。

usdz拡張子変更し解凍

Object Captureにて出力されたファイルの拡張子を「usdz」から「zip」に変更します。すると普通に解凍できますので、解凍します。

その中に拡張子が「usdc」のファイルとpngのテクスチャファイルが展開されます。

テクスチャをグラフィックソフトで編集

pngファイルはどのソフトでも良いので編集したい部分を編集します。

Blenderでモデルを編集

usdcファイルはBlender 3.0にてインポートできます。インポート後モデルを編集しエクスポートするのですが、Blenderにてエクスポートしたusdcファイルはうまくusdzに戻せませんでした。

そこで、Blenderからエクスポートする際に、glb形式でエクスポートします。

glb形式をusdz形式に変換

Appleがリリースしている「Reality Converter」というツールを利用すると簡単に変換できます。

https://developer.apple.com/news/?id=01132020a