ロボティクス

不確実性を伴う計画立案をロボットに教える

ロボットが知覚・推論・行動を、より安全なフィードバック・ループで行うための身体的AI研究。

scope知覚 · 計画立案 · 制御された実世界への引き渡し
posture不確実性は知覚に宿るものであって、計画立案の死角に置き去りにするものではない
loopsim → real → sim、あらゆる驚きをそのつど折り返して取り込む
俯瞰シーン · 検出の信頼度 + 計画された経路 box · 92% human · 78% unknown · 41% high confidence medium confidence low confidence
身体化AIで何が変わるのか

不確実性は知覚の一部であって、計画立案の一部ではない

実世界で行動するロボットは、自分が間違っているときにそれを認識しなければならない。私たちの身体化研究は不確実性を知覚の側へ押し戻し、計画立案がそれに反応できるようにする。そのうえで、すべてを入念に制御された実環境に照らして検証し、その驚きをシミュレータへ折り返して取り込む。

従来の切り分け

知覚は点推定を出力し、計画立案はその誤りがどうであれ頑健であることが求められる。

私たちの切り分け

知覚は疑いをそのまま出力する——検出には信頼区間を、トラックには共分散を——そして計画立案はその疑いに反応するよう配線されている。

三つのコミットメント

身体化されたループが安全性を勝ち取る場所

E1

疑いを認める知覚

あらゆる検出は信頼区間を、あらゆるトラックは共分散を報告する。計画立案はその疑いを直接見る。

point + 2σ ellipse
報いるもの 不確実性にリアルタイムで反応する計画立案器 罰するもの 何かが床に落ちるまで自信ありげに見える点推定
E2

sim → real → sim

私たちはシミュレーションで訓練し、入念に制御された実環境で検証し、あらゆる驚きをシミュレータへ折り返して取り込む。

i1 0.62 i2 0.41 i3 0.27 i4 0.16 i5 0.09 reality gap by iteration
報いるもの サイクルごとに現実とのギャップを縮めるループ 罰するもの シミュレーションのみの指標を実世界の代理として扱うこと
E3

より安全なフィードバック・ループ

自分が間違っていると気づかないロボットこそ危険なものだ。私たちは、不確実性が明文化された閾値を越えたときに、停止し、問い、再計画するシステムを報いる。

confident execute uncertain pause · ask unsafe stop
報いるもの 疑いのもとで譲るコントローラ 罰するもの 不確実な状態を力ずくで突き進むコントローラ
sim → real → sim

ギャップが小さくなるまでループは締まり続ける

シミュレーションで訓練し、制御された実環境で検証し、あらゆる驚きをシミュレータへ折り返して取り込む。サイクルごとに現実とのギャップは縮まる。

SIM trained policy unit-test surface REAL controlled environment measured surprise SIM′ surprise folded in next training round cycle: each iteration shrinks the reality gap deploy log surprises
シーン・ポリシー

検出テーブルこそが行動テーブルである

ヒーローと同じシーンを、コントローラの視点で分解する——検出、信頼度、判断、ポリシー・クラス。信頼度の低い未知物は、実行される計画にはならない。

検出 信頼度 判断 ポリシー・クラス 緊急度
d1 · box 0.92 pick execute low
d2 · human 0.78 stop & yield override high
d3 · unknown 0.41 pause · ask escalate medium

疑いを認める知覚

実世界で行動するロボットは、自分が間違っているときにそれを認識しなければならない。私たちの知覚スタックは、あらゆる検出に不確実性を添えて報告し、計画立案が反応できるようにする。

シミュレーション、次に実世界、そして再びシミュレーション

私たちはシミュレーションで訓練し、入念に制御された実環境で検証し、その驚きをシミュレータへ折り返して取り込む。ギャップが小さくなるまでループは締まり続ける。

横断テーマ

身体化された不確実性とは、締切のあるキャリブレーションにすぎない

私たちの気候予測や評価ライブラリに現れるのと同じキャリブレーションの規律が、ここでは制御則として着地する——バンドが広いとき、ロボットは譲る。