教導機器人在新的環境中執行任務極具挑戰。雖然可以使用人類事先錄製的影像或數據進行訓練,但收集這類資料的成本高昂且不易取得。相較之下,數位模擬技術可能是較有效的解決方案。然而,以目前的技術水平,機器人在虛擬環境完成訓練後,仍難以完全適應真實世界。
根據美國麻省理工科技評論MIT Technology Review,現在我們有了一種更棒的選擇,那就是結合生成式AI技術與模擬器,打造更貼近真實世界的虛擬環境。透過此方法訓練的機器人,在真實世界運作的成功率顯著高於傳統技術。
美國麻省理工學院電腦科學與人工智慧實驗室(Computer Science and Artificial Intelligence Laboratory,CSAIL)的研究人員開發了一套名為LucidSim的系統,用於訓練機器狗進行「跑酷」。這項技術讓機器狗在新環境也能輕鬆翻越箱子、爬上樓梯,充分展現了生成式 AI 與機器人結合的強大潛力。
這套系統利用AI模型創建訓練數據。研究人員首先透過 ChatGPT生成多樣化的生活場景,並考慮天氣、時間和光照條件。例如,老街與寬闊草原等場景都是訓練機器狗的模擬環境。
操作人員將環境測試的要件輸入系統後,該系統會將數據轉換為AI生成的圖像,並錄製影像幫助機器人順利在新環境中行進。機器人會自動根據這些資訊分析環境的特徵,如高度、寬度、深度,或是否有障礙物等。
研究人員使用一隻配備網路與攝影鏡頭的機器狗進行測試,並設定多種場景,如交通三角錐、足球、箱子和樓梯。結果顯示,機器狗在這些測試中的表現優於傳統的模擬方法。在20次尋找三角錐的測試中,LucidSim系統的成功率達100%,而傳統模擬系統僅為70%。另外,在20次尋找足球的測試中,LucidSim的成功率為 85%,而其他系統只有35%。
麻省理工學院副教授,同時是此計畫研究員之一的伊索拉(Phillip Isola)表示,如果LucidSim從與圖像和模型的組合進化到與影像的組合,那麼機器狗的執勤成功率將近乎百分百。
華為AI資深研究員福恩塔斯(Zafeirios Fountas)表示,以AI生成的情境從零訓練機器人是一項重大的突破,這項技術不僅適用於機器,還能擴展到更廣泛的領域。他指出,這項技術還可用於控制各種視覺數據,包括機器人、電動車,甚至是電腦螢幕或智慧型手機的操作。
接下來,研究人員計劃使用LucidSim來訓練人形機器人。這是一項極具挑戰的任務,因為人形機器人通常比四足機器人的系統更為複雜。此外,研究人員也計劃利用LucidSim訓練機械手臂,以提高它們在作業時的靈巧性。
伊索拉表示:「讓機器人拿起咖啡杯並倒出一杯咖啡是一個非常困難的挑戰。如果我們能利用生成式AI來增強機器人對環境的適應能力,那將是一件非常酷的事。」