Meta 正式發佈影像轉 3D 模型 AI 系統「SAM 3D」,包含專門處理人體「SAM 3D Body」及物件專用「SAM 3D Objects」兩款模型,可以只用一張相片,就能製作出 3D 模型,兩者在評測中表現均勝過現有競爭對手。
SAM 3D Body 可辨識影像中人體體型與姿態,轉換成 3D 模型。Meta 進行真人評測顯示,SAM 3D Body 與多款競爭 AI 對比中全面勝出,評測者認為其生成質素較高比例超過 50%,遠高於對手。
用家透過 Meta AI Demos 網站試用 SAM 3D Body,上載相片或選擇預設影像後,系統會自動辨識影像中人像。用家點選想重建人物,幾秒後系統即生成可 360 度旋轉 3D 模型,精準重現體型及姿態,適合作繪畫或設計參考。
SAM 3D Objects 可從複雜場景中精準分割特定物件並生成 3D 模型。真人評測結果顯示,SAM 3D Objects 對所有競爭對手勝率均超過 80%。
用家使用時需在已上載影像上點選想建模物件部分,系統會以紅色標示選取範圍。用家可繼續點選其他部分以完整覆蓋整個物件,然後按「Generate 3D」按鈕,系統便在幾秒內完成 3D 模型生成。系統會自動修補影像中未拍攝到的物件背面,效果自然流暢。
Meta 已將 SAM 3D 技術整合至 Facebook Marketplace,推出「View in Room」功能,讓用家購買傢俱前預覽物件擺放家中效果。Meta 亦計劃將 SAM 3D 整合至旗下影片製作應用程式 Edits,及 Meta AI 應用程式中。
Meta 採取開源策略,公開釋出 SAM 3D Body 及 SAM 3D Objects 模型權重檔案、評測基準及推論程式碼,供研究人員及開發者使用。用家可透過 Meta 官方網站取得相關技術文件及下載連結。
資料來源:Meta