・物理法則に基づき荷崩れや落下を予測、棚積みタスクで成功率が73.1%から92.3%に向上
NTTは11月11日、ロボットが実際に行動する前に、複数の行動候補について荷崩れや落下などの結果を予測・評価し、成功につながる行動を選択できる技術を実現したと発表した。フィジカルAIの基盤として、物体の重さや向き、動く速さなどの物理量を明示的に扱い、運動方程式に基づいて状態変化を予測するワールドモデルを開発した。
ロボットなどの機械が実世界で自律的に判断・行動するフィジカルAIでは、行動に応じた未来の状態変化を予測するワールドモデルが注目されている。しかし従来のワールドモデルは、物体の物理量を内部で明示的に扱わないため、生成映像の中で物体が消失・変形したり、衝突などの相互作用を正しく予測できない場合があった。また、大量の学習データに依存するため、学習データに含まれない場面では予測が破綻しやすいという課題もあった。
■物理制御アダプタを映像生成モデルに統合
NTTは、映像から物体ごとの位置や向き、動く速さ、重さなどを推定し、物理法則に基づいて次にどのように動くかを計算する「物理制御アダプタ」を開発し、ワールドモデルの基盤となる映像生成モデルに世界で初めて統合した。アダプタの計算結果を映像生成に反映することで、物体の消失や変形を抑え、衝突や崩落などの物体どうしの相互作用をより正確に予測できる。予測の根拠となる物理量を明示的に出力できるため、予測の理由も把握しやすい。
本技術は既存のロボット制御ソフトウェアと連携し、その判断を補強する形で適用できる。VLA(Vision-Language-Action model)やモーションプランナなどが生成する複数の行動候補について、それぞれを実行した場合の未来を映像として生成し、物体の落下や衝突の有無などの結果を予測・評価してスコアを出力することで、成功につながる行動を選択可能にし、ロボットの行動失敗率を低減する。精度を維持しつつ高速に動作する構成とし、ロボット制御フローに直接組み込めるようにした。
■実験で成功率が向上
小型ロボットを用いて荷物の積付け作業を模擬した棚積みタスクで検証したところ、本技術の適用によりタスク成功率が73.1%から92.3%に向上した。あわせて、複数物体の衝突を含む公開ベンチマーク「OBJ3D」でも、予測映像の精度が人間の知覚に近い感覚で類似度を測る評価指標LPIPSにおいて従来手法を上回った。
■空港手荷物を最初の適用領域に
本技術の最初の適用領域として、形状や重量の異なる多様な空港手荷物の積込み・積降ろしを想定している。今後はMujinと連携しながら社会実装を進め、ロボットサービスベンダや物流・倉庫事業者などとの連携も検討する。さらに、荷物の積込み・積降ろしを起点に、製造、建設、小売など多様な物体を扱う幅広い分野へ展開し、人手不足が深刻な現場の省人化と生産性向上に貢献していく。
本研究成果は、2026年11月18日から25日まで開催される「NTT R&D FORUM 2026」に展示予定。