科技新聞

開源大型模擬框架 RoboCasa 訓練機械人做家務

Published by
Ngan Ivan
Share

NVIDIA Research 和德克薩斯大學奧斯汀分校合作研發大型模擬框架 RoboCasa,可編製不同的模擬場景供機械人訓練。目前 RoboCasa 專注於廚房場景,訓練單臂移動平台機械人、類人型機械人、帶手臂的四足機械狗等通用型機械人。

 

 

▲圖片來源:RoboCasa

 

 

RoboCasa 參考許多建築和家居設計雜誌編製出一系列廚房樣式,提供大量可互動的櫥櫃、爐灶、水槽、微波爐等家具和電器,還原現實世界的複雜和多樣性。機械人可以在模擬場景中使用這些家具和電器,微波爐的門可以打開和關閉、轉動爐灶上的旋鈕也能打開火。RoboCasa 每個場景的紋理由 MidJourney AI 文字轉圖片模型生成,在牆壁、地板、櫃台和櫥櫃面板各提供了總共 100 種紋理,還有包含各種水果、蔬菜、包裝食品和容器的儲存庫,大大提升了訓練數據的視覺多樣性。RoboCasa 提供「抓取和擺放」、「開關門」、「開關抽屜」、「轉動旋鈕」、「轉動操作桿」、「按下按鈕」、「插入」、「導航」共 8 種基礎動作來建構模塊。

 

▲圖片來源:RoboCasa

 

RoboCasa 這個開源大型模擬框架在現在的 AI 時代可供許多沒有預算的開發者使用,訓練自家的機械人。預料未來 RoboCasa 將添加更多不同的場景,不再限於廚房場景。

 

資料及圖片來源:RoboCasa


相關文章:
  • 【教學】iOS 18.1 AI 一鍵清相片路人雜物 旅遊景點不再人頭湧湧
  • 【教學】Midjourney 網頁版免費試玩 無須再連 Discord + 生成圖片全部有紀錄
  • 【教學+實試】Apple Intelligence 7 大實用功能 一鍵校對英文文法 + TLDR 長文總結 + 錄音即時轉文字

  • Published by
    Ngan Ivan