NVIDIA Research 和德克薩斯大學奧斯汀分校合作研發大型模擬框架 RoboCasa，可編製不同的模擬場景供機械人訓練。目前 RoboCasa 專注於廚房場景，訓練單臂移動平台機械人、類人型機械人、帶手臂的四足機械狗等通用型機械人。
▲圖片來源：RoboCasa
Excited to announce RoboCasa, a large-scale simulation framework of everyday tasks! We use generative AI tools to create diverse objects, scenes, and tasks. Simulation plays a pivotal role in our Data Pyramid for training generalist robots.
Open-source at https://t.co/o4VKt5h5Wh pic.twitter.com/JoPwvUaTly
— Yuke Zhu (@yukez) May 28, 2024
RoboCasa 參考許多建築和家居設計雜誌編製出一系列廚房樣式，提供大量可互動的櫥櫃、爐灶、水槽、微波爐等家具和電器，還原現實世界的複雜和多樣性。機械人可以在模擬場景中使用這些家具和電器，微波爐的門可以打開和關閉、轉動爐灶上的旋鈕也能打開火。RoboCasa 每個場景的紋理由 MidJourney AI 文字轉圖片模型生成，在牆壁、地板、櫃台和櫥櫃面板各提供了總共 100 種紋理，還有包含各種水果、蔬菜、包裝食品和容器的儲存庫，大大提升了訓練數據的視覺多樣性。RoboCasa 提供「抓取和擺放」、「開關門」、「開關抽屜」、「轉動旋鈕」、「轉動操作桿」、「按下按鈕」、「插入」、「導航」共 8 種基礎動作來建構模塊。
▲圖片來源：RoboCasa
RoboCasa 這個開源大型模擬框架在現在的 AI 時代可供許多沒有預算的開發者使用，訓練自家的機械人。預料未來 RoboCasa 將添加更多不同的場景，不再限於廚房場景。
資料及圖片來源：RoboCasa
相關文章:
【教學】ChatGPT 視像隔空教你養魚 用相機攝取現場環境 實時 AI 回應用家問題 【教學】冗長文章 AI 變成有趣電台節目 Reader by ElevenLabs「聽」文章不再暈車浪 + 學習外語方便 【教學】MacWhisper 語音轉錄文字 AI 工具 本地 AI 模型處理 + 支援廣東話、多國語言 + 輸出字幕檔
分享到 :
最新影片
