在Facebook方面,巨大的進步分為兩部分:新的Habitat 2.0訓練環境和為實現它而創建的數據集。Facebook組裝瞭許多相當逼真的虛擬環境供它們瀏覽。許多機器人和人工智能已經學會瞭在理想化、不現實的空間中移動和識別物體,這些空間更像遊戲而不是現實。現實世界的客廳與重建的客廳是非常不同的東西。通過學習在現實東西中移動,人工智能學習的知識將更容易轉移到現實世界的應用中,如傢庭機器人技術等。
但最終這些環境隻是多邊形的,互動性極低,沒有真正的物理模擬。如果機器人撞到瞭桌子,它不會摔倒,不會把物品灑得到處都是。機器人可以去廚房,但它不能打開冰箱或從水槽中拿出東西。Habitat 2.0和新的ReplicaCAD數據集改變瞭這種情況,增加瞭互動性和三維物體,而不是簡單地解釋三維表面。
現在在這些新的公寓規模虛擬環境中,模擬機器人可以像以前一樣滾來滾去,但當他們到達一個物體時,他們實際上可以對它做一些事情。例如,如果一個機器人的任務是從餐桌上拿起一個叉子,然後把它放在水槽裡,幾年前,拿起和放下叉子隻是假設,因為無法真正有效地模擬。在新的Habitat系統中,叉子是物理模擬的,可以被AI放在桌子和或者丟入水槽,這使計算上更加密集,也更加有用。
Facebook Habitat 2.0最接近的競爭對手可能是AI2的ManipulaTHOR,它將房間規模的環境與物理對象模擬結合起來。Habitat的優勢在於速度,根據描述它的論文,模擬器的運行速度大約為ManipulaTHOR的50-100倍,這意味著AI在每秒鐘計算中可完成更多的訓練。
Matterport在與Facebook的合作中也有一些大動作。在過去幾年中進行瞭巨大的平臺擴張之後,該公司已經收集瞭大量的建築掃描數據。