นักพัฒนาสามารถเข้าถึงไมโครเซอร์วิส NVIDIA NIM ใหม่สำหรับการจำลองหุ่นยนต์ใน Isaac Lab และ Isaac Sim, บริการ OSMO Robot Cloud Compute Orchestration, เวิร์กโฟลว์การเก็บข้อมูลทางไกลและอื่น ๆ

DENVER—SIGGRAPH—29 กรกฎาคม 2024—เพื่อเร่งการพัฒนาหุ่นยนต์ฮิวแมนนอยด์ในระดับโลก NVIDIA ประกาศในวันนี้ว่ากำลังจัดหาบริการ โมเดล และแพลตฟอร์มคอมพิวเตอร์ให้กับผู้ผลิตหุ่นยนต์ ผู้พัฒนาโมเดล AI และผู้ผลิตซอฟต์แวร์ชั้นนำของโลก เพื่อพัฒนา ฝึกอบรม และสร้างหุ่นยนต์ฮิวแมนนอยด์เจเนอเรชันถัดไป

ข้อเสนอต่าง ๆ ได้แก่ ไมโครเซอร์วิสและเฟรมเวิร์ก NVIDIA NIM™ ใหม่สำหรับการจำลองและการเรียนรู้ของหุ่นยนต์ NVIDIA OSMO บริการประสานสำหรับรันปริมาณงานหุ่นยนต์หลายขั้นตอน และเวิร์กโฟลว์การทำงานระยะไกลที่เปิดใช้งาน AI และการจำลอง ซึ่งช่วยให้นักพัฒนาสามารถฝึกหุ่นยนต์โดยใช้ข้อมูลสาธิตของมนุษย์จำนวนเล็กน้อย

“คลื่นลูกต่อไปของ AI คือหุ่นยนต์ และหนึ่งในการพัฒนาที่น่าตื่นเต้นที่สุดคือหุ่นยนต์ฮิวแมนนอยด์” Jensen Huang ผู้ก่อตั้งและซีอีโอของ NVIDIA กล่าว “เรากำลังพัฒนาชุดเทคโนโลยีหุ่นยนต์ของ NVIDIA โดยเปิดให้นักพัฒนาและบริษัทฮิวแมนนอยด์ทั่วโลกเข้าถึงได้เพื่อใช้แพลตฟอร์ม ไลบรารีการเร่งความเร็ว และโมเดล AI ที่เหมาะสมที่สุดสำหรับความต้องการของพวกเขา”

เร่งการพัฒนาด้วย NVIDIA NIM และ OSMO

ไมโครเซอร์วิสของ NVIDIA NIM มอบคอนเทนเนอร์ที่สร้างไว้ล่วงหน้าซึ่งขับเคลื่อนโดยซอฟต์แวร์อนุมานของ NVIDIA ซึ่งช่วยให้นักพัฒนาสามารถลดเวลาการปรับใช้จากสัปดาห์เหลือเพียงนาที ไมโครเซอร์วิส AI ใหม่สองรายการจะช่วยให้นักวิทยาการหุ่นยนต์ปรับปรุงเวิร์กโฟลว์การจำลองได้ generative physical AI ใน NVIDIA Isaac Sim™ แอปพลิเคชันอ้างอิงสำหรับการจำลองหุ่นยนต์ที่สร้างขึ้นบนแพลตฟอร์ม NVIDIA Omniverse™

MimicGen NIM สร้างข้อมูลการเคลื่อนไหวสังเคราะห์โดยอิงจากข้อมูลที่ดำเนินการทางไกลที่บันทึกไว้จากอุปกรณ์คอมพิวเตอร์เชิงพื้นที่ เช่น Apple Vision Pro, Robocasa NIM สร้างงานหุ่นยนต์และสภาพแวดล้อมที่พร้อมสำหรับการจำลองใน OpenUSD ซึ่งเป็นเฟรมเวิร์คสากลสำหรับการพัฒนาและการทำงานร่วมกันภายในโลก 3 มิติ

NVIDIA OSMO, สามารถใช้ได้แล้วในขณะนี้, เป็นบริการที่ได้รับการจัดการบนคลาวด์ซึ่งช่วยให้ผู้ใช้สามารถประสานและปรับขนาดเวิร์กโฟลว์การพัฒนาหุ่นยนต์ที่ซับซ้อนผ่านทรัพยากรคอมพิวเตอร์แบบกระจาย ไม่ว่าจะในองค์กรหรือในระบบคลาวด์

OSMO ลดความซับซ้อนอย่างมากในการฝึกอบรมหุ่นยนต์และเวิร์กโฟลว์การจำลอง ลดเวลารอบการใช้งานและการพัฒนาจากเดือนเหลือน้อยกว่าหนึ่งสัปดาห์ ผู้ใช้สามารถเห็นภาพและจัดการงานต่าง ๆ ได้ เช่น การสร้าง ข้อมูลสังเคราะห์, รูปแบบการอบรม, การดำเนินการ Reinforcement Learning (RL) และการใช้การทดสอบซอฟต์แวร์ในวงรอบสำหรับหุ่นยนต์ฮิวแมนนอยด์ หุ่นยนต์เคลื่อนที่อัตโนมัติ และผู้ควบคุมทางอุตสาหกรรม

เวิร์กโฟลว์การเก็บข้อมูลที่ล้ำหน้าสำหรับนักพัฒนาหุ่นยนต์ฮิวแมนนอยด์

การฝึกอบรมโมเดลพื้นฐานสำหรับหุ่นยนต์ที่มีรูปร่างเหมือนมนุษย์นั้นต้องใช้ข้อมูลจำนวนมาก วิธีหนึ่งในการรวบรวมข้อมูลการสาธิตของมนุษย์คือการใช้การควบคุมจากระยะไกล แต่กระบวนการนี้มีค่าใช้จ่ายสูงและใช้เวลานาน

เวิร์กโฟลว์อ้างอิงการควบคุมจากระยะไกลที่เปิดใช้งาน NVIDIA AI และ Omniverse ซึ่งสาธิตที่การประชุมคอมพิวเตอร์กราฟิก SIGGRAPH ช่วยให้นักวิจัยและนักพัฒนา AI สร้างข้อมูลการเคลื่อนไหวและการรับรู้แบบสังเคราะห์จำนวนมหาศาลจากการสาธิตโดยมนุษย์ที่จับภาพจากระยะไกลเพียงเล็กน้อย

ขั้นแรก นักพัฒนาใช้ Apple Vision Pro เพื่อบันทึกการสาธิตจากระยะไกลจำนวนเล็กน้อย จากนั้นจึงจำลองการบันทึกใน NVIDIA Isaac Sim และใช้ MimicGen NIM เพื่อสร้างชุดข้อมูลสังเคราะห์จากการบันทึกดังกล่าว

นักพัฒนาได้ฝึกอบรม Project GR00T ซึ่งเป็นแบบจำลองพื้นฐานคล้ายมนุษย์ที่มีข้อมูลจริงและข้อมูลสังเคราะห์ ช่วยให้นักพัฒนาประหยัดเวลาและลดต้นทุน จากนั้นพวกเขาก็ใช้ Robocasa NIM ที่อยู่ใน Isaac Lab ซึ่งเป็นเฟรมเวิร์คการเรียนรู้หุ่นยนต์เพื่อสร้างประสบการณ์ในการฝึกโมเดลหุ่นยนต์ใหม่ ตลอดขั้นตอนการทำงาน NVIDIA OSMO จะมอบหมายงานด้านคอมพิวเตอร์ให้กับทรัพยากรต่าง ๆ ได้อย่างราบรื่น ช่วยให้นักพัฒนาประหยัดเวลางานด้านการดูแลระบบได้หลายสัปดาห์

“การพัฒนาหุ่นยนต์ฮิวแมนนอยด์นั้นซับซ้อนมาก โดยต้องใช้ข้อมูลจริงจำนวนมหาศาล ซึ่งถูกบันทึกจากโลกแห่งความเป็นจริงอย่างน่าเบื่อหน่าย” Alex Gu, CEO ของ Fourier กล่าว “เครื่องมือจำลองสำหรับนักพัฒนา Generative AI ใหม่ของ NVIDIA จะช่วยให้เริ่มต้นระบบและเร่งเวิร์กโฟลว์การพัฒนาโมเดลของเรา”

ขยายการเข้าถึงเทคโนโลยีนักพัฒนา NVIDIA Humanoid

NVIDIA จัดเตรียมแพลตฟอร์มคอมพิวเตอร์สามแพลตฟอร์มเพื่อความสะดวกในการพัฒนาหุ่นยนต์ฮิวแมนนอยด์: ซูเปอร์คอมพิวเตอร์ NVIDIA AI เพื่อฝึกโมเดล; NVIDIA Isaac Sim สร้างขึ้นบน Omniverse ซึ่งหุ่นยนต์สามารถเรียนรู้และปรับปรุงทักษะของตนในโลกจำลอง และคอมพิวเตอร์หุ่นยนต์ฮิวแมนนอยด์ NVIDIA Jetson™ Thor เพื่อรันโมเดลต่างๆ นักพัฒนาสามารถเข้าถึงและใช้งานแพลตฟอร์มทั้งหมดหรือบางส่วนได้ตามความต้องการเฉพาะของพวกเขา

ด้วยโครงการใหม่ NVIDIA Humanoid Robot Developer Program นักพัฒนาสามารถเข้าถึงข้อเสนอใหม่ ๆ ได้ก่อนใคร รวมถึง NVIDIA Isaac Sim รุ่นล่าสุด NVIDIA Isaac Lab, Jetson Thor และ Project GR00T แบบจำลองพื้นฐานฮิวแมนนอยด์อเนกประสงค์

1x, Boston Dynamics, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra และ Skild AI เป็นหนึ่งในธุรกิจกลุ่มแรก ๆ ที่เข้าร่วมโปรแกรมทดลองใช้ก่อนเปิดตัว

“Boston Dynamics และ NVIDIA มีประวัติศาสตร์อันยาวนานในการทำงานร่วมกันอย่างใกล้ชิดเพื่อผลักดันขอบเขตของสิ่งที่เป็นไปได้ในวิทยาการหุ่นยนต์” Aaron Saunders ประธานเจ้าหน้าที่ฝ่ายเทคโนโลยีของ Boston Dynamics กล่าว “เรารู้สึกตื่นเต้นมากที่ได้เห็นผลลัพธ์ของงานนี้ที่ช่วยเร่งอุตสาหกรรมในวงกว้าง และการเปิดโปรแกรมการเข้าถึงก่อนกำหนดเป็นวิธีที่ยอดเยี่ยมในการเข้าถึงเทคโนโลยีที่ดีที่สุดในระดับเดียวกัน”

ความพร้อมใช้งาน

นักพัฒนาสามารถเข้าร่วม NVIDIA Humanoid Robot Developer Program ได้แล้วตอนนี้ เพื่อเข้าถึง NVIDIA OSMO และ Isaac Lab และจะเข้าถึงไมโครเซอร์วิสของ NVIDIA NIM ได้ในเร็วๆ นี้

เรียนรู้เพิ่มเติมเกี่ยวกับ Generative AI ล่าสุดและการประมวลผลแบบเร่งความเร็วโดยรับฟังการพูดคุยอย่างเป็นกันเองกับ Huang ที่ SIGGRAPH การประชุมคอมพิวเตอร์กราฟิกชั้นนำ ซึ่งจะจัดขึ้นจนถึงวันที่ 1 สิงหาคม ที่เมืองเดนเวอร์

เกี่ยวกับ NVIDIA
 NVIDIA (NASDAQ: NVDA) เป็นผู้นำระดับโลกด้านการประมวลผลแบบเร่งความเร็ว