マルチモーダルインスタンスセグメンテーション

マルチモーダルインスタンスセグメンテーションは、古典的なインスタンスセグメンテーション（画像内の個々のオブジェクトごとにピクセル単位のマスクとクラスラベルを割り当てる）を拡張したもので、深度マップ、LiDAR点群、赤外線フレームなどの補完的なセンサー情報を組み込みます。これらのモダリティを融合することで、モデルはRGBのみのシステムでは困難な、曖昧な外観、低照度、オクルージョンに対処できるようになります。