เวิร์กโฟลว์ Isaac GR00T สำหรับข้อมูลสังเคราะห์และ NVIDIA Cosmos world foundation models อัดแน่นไปด้วยการพัฒนาหุ่นยนต์ฮิวแมนนอยด์ทั่วไป
คาดว่าตลาดหุ่นยนต์ที่มีรูปร่างเหมือนมนุษย์ (humanoid robots) จะมีมูลค่าถึง 38,000 ล้านดอลลาร์ในอีกสองทศวรรษข้างหน้า เพื่อตอบสนองความต้องการที่สำคัญนี้ โดยเฉพาะในภาคอุตสาหกรรมและการผลิต NVIDIA จึงได้เปิดตัวโมเดลพื้นฐานของหุ่นยนต์ ไพล์ไลน์ข้อมูล และกรอบการทำงานจำลองเพื่อเร่งความพยายามในการพัฒนาหุ่นยนต์ที่มีรูปร่างเหมือนมนุษย์รุ่นต่อไป
ในวันนี้ที่งาน CES 2025 ได้มีการประกาศเปิดตัว NVIDIA Isaac GR00T Blueprint สำหรับการสร้างการเคลื่อนไหวแบบสังเคราะห์ ซึ่งจะช่วยให้นักพัฒนาสามารถสร้างข้อมูลการเคลื่อนไหวแบบสังเคราะห์ขนาดใหญ่ได้อย่างทวีคูณ เพื่อฝึกหุ่นยนต์ที่มีรูปร่างเหมือนมนุษย์โดยใช้การเรียนรู้เลียนแบบ
การเรียนรู้ด้วยการเลียนแบบ — ส่วนย่อยของการเรียนรู้ของหุ่นยนต์ (robot learning) — ช่วยให้หุ่นยนต์ฮิวแมนนอยด์สามารถเรียนรู้ทักษะใหม่ๆ ได้ด้วยการสังเกตและเลียนแบบการสาธิตของมนุษย์ การรวบรวมชุดข้อมูลคุณภาพสูงที่ครอบคลุมเหล่านี้ในโลกแห่งความเป็นจริงนั้นเป็นเรื่องที่น่าเบื่อ ใช้เวลานาน และมักมีค่าใช้จ่ายสูง การนำ Isaac GR00T blueprint มาใช้สำหรับการสร้างการเคลื่อนไหวแบบสังเคราะห์ทำให้ผู้พัฒนาสามารถสร้างชุดข้อมูลสังเคราะห์ขนาดใหญ่แบบทวีคูณได้อย่างง่ายดายจากการสาธิตของมนุษย์เพียงไม่กี่ครั้ง

เริ่มต้นด้วยเวิร์กโฟลว์ GR00T-Teleop ผู้ใช้สามารถใช้ประโยชน์จาก Apple Vision Pro เพื่อบันทึกการกระทำของมนุษย์ในฝาแฝดดิจิทัล (digital twin) การกระทำของมนุษย์เหล่านี้จะถูกเลียนแบบโดยหุ่นยนต์ในการจำลองและบันทึกไว้เพื่อใช้เป็นข้อมูลพื้นฐาน
จากนั้นเวิร์กโฟลว์ GR00T-Mimic จะทวีคูณข้อมูลการสาธิตของมนุษย์ที่บันทึกไว้ให้เป็นชุดข้อมูลการเคลื่อนไหวสังเคราะห์ที่ใหญ่ขึ้น ในที่สุด เวิร์กโฟลว์ GR00T-Gen ที่สร้างขึ้นบน NVIDIA Omniverse และ NVIDIA Cosmos จะขยายชุดข้อมูลนี้แบบทวีคูณผ่านการสุ่มโดเมนและการอัปสเกล 3 มิติ
ชุดข้อมูลสามารถใช้เป็นข้อมูลป้อนเข้านโยบายหุ่นยนต์ ซึ่งจะสอนหุ่นยนต์ถึงวิธีการเคลื่อนที่และโต้ตอบกับสภาพแวดล้อมอย่างมีประสิทธิภาพและปลอดภัย NVIDIA Isaac Lab ซึ่งเป็นเฟรมเวิร์กโอเพ่นซอร์สและโมดูลาร์สำหรับการเรียนรู้หุ่นยนต์
โมเดล World Foundation ลดช่องว่างระหว่าง Sim-to-Real
NVIDIA ยังได้ประกาศเปิดตัว Cosmos ในงาน CES ซึ่งเป็นแพลตฟอร์มที่ประกอบด้วยโมเดลพื้นฐานโลกแบบเปิด (WFM – World Foundation Model) ที่ผ่านการฝึกอบรมล่วงหน้า ซึ่งสร้างขึ้นโดยเฉพาะสำหรับการสร้างวิดีโอและสถานะโลกที่คำนึงถึงหลักฟิสิกส์สำหรับการพัฒนา AI ทางกายภาพ ซึ่งรวมถึงโมเดลออโตเรเกรสซีฟและแบบกระจายในหลากหลายขนาดและรูปแบบข้อมูลอินพุต โดยโมเดลเหล่านี้ได้รับการฝึกฝนด้วยโทเค็น 18 ควอร์ดริลเลียน รวมถึงข้อมูลการขับขี่อัตโนมัติ หุ่นยนต์ ภาพจากโดรน และข้อมูลสังเคราะห์จำนวน 2 ล้านชั่วโมง
นอกจากการช่วยสร้างชุดข้อมูลขนาดใหญ่แล้ว Cosmos ยังสามารถลดช่องว่างระหว่างการจำลองกับความเป็นจริงได้ด้วยการอัปสเกลภาพจาก 3 มิติเป็นภาพจริง การรวม Omniverse ซึ่งเป็นแพลตฟอร์มสำหรับนักพัฒนาของอินเทอร์เฟซการเขียนโปรแกรมแอปพลิเคชันและไมโครเซอร์วิสสำหรับการสร้างแอปพลิเคชันและบริการ 3 มิติ เข้ากับ Cosmos ถือเป็นสิ่งสำคัญ เพราะช่วยลดอาการประสาทหลอนที่อาจเกิดขึ้นได้ซึ่งมักเกิดขึ้นกับแบบจำลองโลก โดยให้การป้องกันที่สำคัญผ่านการจำลองที่มีความแม่นยำทางกายภาพและควบคุมได้สูง

ระบบนิเวศที่กำลังขยายตัว
NVIDIA Isaac GR00T, Omniverse และ Cosmos ร่วมกันช่วยให้ปัญญาประดิษฐ์ทางกายภาพและนวัตกรรมหุ่นยนต์ฮิวแมนนอยต์ก้าวไปข้างหน้าอย่างก้าวกระโดด บริษัทหุ่นยนต์รายใหญ่เริ่มนำ Isaac GR00T มาใช้และสาธิตผลลัพธ์แล้ว รวมถึง Boston Dynamics และ Figure
ผู้ผลิตซอฟต์แวร์ ฮาร์ดแวร์ และหุ่นยนต์ฮิวแมนนอยต์สามารถสมัครเข้าร่วมโปรแกรมนักพัฒนาหุ่นยนต์ฮิวแมนนอยต์ของ NVIDIA ก่อนใคร
รับชม Keynote การเปิดงาน CES 2025 จาก Jensen Huang ผู้ก่อตั้งและซีอีโอของ NVIDIA และติดตามข่าวสารล่าสุดโดยสมัครรับจดหมายข่าวและติดตาม NVIDIA Robotics บน LinkedIn, Instagram, X และ Facebook
ดูข้อสังเกต เกี่ยวกับข้อมูลผลิตภัณฑ์ซอฟต์แวร์