Generative physical AI NIM microservices — และ NVIDIA Metropolis reference workflows — กำลังช่วยสร้างสภาพแวดล้อมการทำงานที่ชาญฉลาดและสมจริง
ผู้คนหลายล้านคนใช้ Generative AI เพื่อช่วยในการเขียนและการเรียนรู้แล้ว ขณะนี้เทคโนโลยียังสามารถช่วยให้พวกเขานำทางโลกทางกายภาพได้อย่างมีประสิทธิภาพมากขึ้น
NVIDIA ประกาศที่งาน SIGGRAPH ถึงความก้าวหน้าของ Generative physical AI รวมทั้ง NVIDIA Metropolis reference workflow สำหรับการสร้าง Visual AI agents เชิงโต้ตอบและไมโครเซอร์วิส NVIDIA NIM ใหม่ ซึ่งจะช่วยให้นักพัฒนาฝึกฝนเครื่องจักรจริงและปรับปรุงวิธีจัดการกับงานที่ซับซ้อนเหล่านี้ ได้แก่ ไมโครเซอร์วิส fVDB NIM สามรายการ ที่รองรับเฟรมเวิร์กการเรียนรู้เชิงลึกใหม่ของ NVIDIA สำหรับโลก 3 มิติ รวมถึง USD Code, USD Search และ ไมโครเซอร์วิส USD Validate NIM สำหรับการทำงานร่วมกับ Universal Scene Description (OpenUSD)
ไมโครเซอร์วิส NVIDIA OpenUSD NIM ทำงานร่วมกับโมเดล Genative AI แรกของโลกสำหรับการพัฒนา OpenUSD ซึ่งพัฒนาโดย NVIDIA เช่นกัน เพื่อช่วยให้นักพัฒนาสามารถรวม Generative AI copilots และ AI agents เข้ากับเวิร์กโฟลว์ USD และขยายความเป็นไปได้ของโลก 3 มิติ
ไมโครเซอร์วิส NVIDIA NIM แปลงโฉมภูมิทัศน์ AI ทางกายภาพ
AI ทางกายภาพใช้การจำลองขั้นสูงและวิธีการเรียนรู้เพื่อช่วยให้หุ่นยนต์และโครงสร้างพื้นฐานรับรู้ ให้เหตุผล และนำทางสภาพแวดล้อมได้อย่างมีประสิทธิภาพมากขึ้น เทคโนโลยีกำลังเปลี่ยนแปลงอุตสาหกรรมต่างๆ เช่น การผลิตและการดูแลสุขภาพ และพัฒนาพื้นที่อัจฉริยะด้วยหุ่นยนต์ เทคโนโลยีโรงงานและคลังสินค้า ตัวแทน AI ในการผ่าตัด และรถยนต์ที่สามารถทำงานได้อัตโนมัติและแม่นยำยิ่งขึ้น
NVIDIA นำเสนอตัวเลือกที่หลากหลาย ไมโครเซอร์วิส NIM ปรับแต่งสำหรับโมเดลเฉพาะและแต่ละอุตสาหกรรม ชุด NIM ของ NVIDIA ที่ปรับแต่งมาสำหรับ AI ทางกายภาพ รองรับความสามารถในการพูดและการแปล การมองเห็นและความฉลาด รวมถึงความมีชีวิตชีวาและพฤติกรรมที่สมจริง
เปลี่ยน Visual AI Agents ให้กลายเป็นผู้มีวิสัยทัศน์ด้วย NVIDIA NIM
Visual AI Agents ใช้ความสามารถด้านการมองเห็นของคอมพิวเตอร์เพื่อรับรู้และโต้ตอบกับโลกทางกายภาพและทำงานด้านการใช้เหตุผล
มีไหวพริบและสามารถโต้ตอบได้ Visual AI agents ถูกขับเคลื่อนโดยโมเดล Generative AI คลาสใหม่ที่เรียกว่า Vision Language Models (VLMs) ซึ่งเชื่อมโยงการรับรู้ทางดิจิทัลและการโต้ตอบในโลกแห่งความเป็นจริง การประมวลผลข้อมูลของ AI ทางกายภาพ ช่วยให้การตัดสินใจ ความแม่นยำ การโต้ตอบ และประสิทธิภาพดีขึ้น ด้วย VLM นักพัฒนาสามารถสร้าง AI agents ที่มองเห็นเพื่อให้สามารถจัดการกับงานที่ท้าทายได้อย่างมีประสิทธิภาพมากขึ้น แม้ในสภาพแวดล้อมที่ซับซ้อน
Visual AI agents ที่ขับเคลื่อนด้วย Generative AI กำลังถูกนำไปใช้อย่างรวดเร็วในโรงพยาบาล โรงงาน โกดัง ร้านค้าปลีก สนามบิน ทางแยกการจราจร และอื่น ๆ
เพื่อช่วยให้นักพัฒนาสามารถสร้าง Visual AI agents ที่มีประสิทธิภาพสูงและปรับแต่งเองได้ง่ายขึ้น NVIDIA นำเสนอไมโครเซอร์วิส NIM และเวิร์กโฟลว์อ้างอิงสำหรับ AI ทางกายภาพ เวิร์กโฟลว์อ้างอิงของ NVIDIA Metropolis มอบแนวทางที่เรียบง่ายและมีโครงสร้างสำหรับการปรับแต่ง สร้าง และปรับใช้ AI agents แบบมองเห็น
NVIDIA NIM ช่วยให้ K2K สามารถบริหารจัดการปาแลร์โมได้อย่างมีประสิทธิภาพ ปลอดภัย และมั่นคงทางความปลอดภัยมากขึ้น ผู้จัดการด้านการจราจรในเมืองปาแลร์โม ประเทศอิตาลี ได้นำ Visial AI agents มาใช้ โดยผ่าน NVIDIA NIM เพื่อค้นหาข้อมูลเชิงลึกทางกายภาพที่จะช่วยให้จัดการท้องถนนได้ดีขึ้น
K2K, เป็นพันธมิตรที่กำลังนำ NVIDIA Metropolis ผสานรวมไมโครเซอร์วิส NVIDIA NIM และ VLM เข้ากับ AI agents ที่วิเคราะห์กล้องจราจรสดของเมืองแบบเรียลไทม์ เจ้าหน้าที่ของเมืองสามารถถามคำถามกับเจ้าหน้าที่ด้วยภาษาธรรมชาติ และรับข้อมูลเชิงลึกที่รวดเร็วและแม่นยำเกี่ยวกับกิจกรรมบนท้องถนนและคำแนะนำในการปรับปรุงการดำเนินงานของเมือง เช่น การปรับเวลาสัญญาณไฟจราจร
ยักษ์ใหญ่ด้านอิเล็กทรอนิกส์ระดับโลกชั้นนำ Foxconn และ Pegatron ได้ปรับใช้ AI ทางกายภาพ, ไมโครเซอร์วิส NIM และเวิร์กโฟลว์อ้างอิงของ Metropolis มาใช้ เพื่อการออกแบบและดำเนินการการผลิตขนาดใหญ่ได้อย่างมีประสิทธิภาพมากขึ้น
บริษัทต่าง ๆ กำลังสร้างโรงงานเสมือนจริงในการจำลองเพื่อประหยัดเวลาและต้นทุนจำนวนมาก นอกจากนี้ พวกเขายังดำเนินการทดสอบและปรับแต่ง AI ทางกายภาพอย่างละเอียดถี่ถ้วนยิ่งขึ้น รวมถึง AI แบบหลายกล้องและ Visual AI agents ในฝาแฝดดิจิทัลก่อนการใช้งานจริง ปรับปรุงความปลอดภัยของพนักงาน และนำไปสู่ประสิทธิภาพการปฏิบัติงาน
การเชื่อมโยงช่องว่างระหว่างการจำลองสู่ความเป็นจริงด้วยการสร้างข้อมูลสังเคราะห์
ธุรกิจที่ขับเคลื่อนด้วย AI จำนวนมากกำลังใช้แนวทาง “เน้นการจำลองเป็นหลัก” สำหรับโครงการ AI เชิงกายภาพเชิงสร้างสรรค์ที่เกี่ยวข้องกับระบบอัตโนมัติทางอุตสาหกรรมในโลกแห่งความเป็นจริง
บริษัทการผลิต โลจิสติกส์ในโรงงาน และหุ่นยนต์จำเป็นต้องจัดการปฏิสัมพันธ์ระหว่างมนุษย์กับคนงานที่ซับซ้อน สิ่งอำนวยความสะดวกขั้นสูง และอุปกรณ์ราคาแพง ซอฟต์แวร์ เครื่องมือ และแพลตฟอร์ม AI ทางกายภาพของ NVIDIA รวมถึงไมโครเซอร์วิส AI ทางกายภาพและ VLM NIM เวิร์กโฟลว์อ้างอิง และ fVDB สามารถช่วยปรับปรุงวิศวกรรมที่ซับซ้อนสูงซึ่งจำเป็นในการสร้างการนำเสนอทางดิจิทัลหรือสภาพแวดล้อมเสมือนที่เลียนแบบสภาพโลกแห่งความเป็นจริงได้อย่างแม่นยำ
VLM เห็นการนำไปใช้อย่างกว้างขวางในอุตสาหกรรมต่างๆ เนื่องจากความสามารถในการสร้างภาพที่สมจริงอย่างมาก อย่างไรก็ตาม โมเดลเหล่านี้อาจเป็นเรื่องยากในการฝึกเนื่องจากมีข้อมูลจำนวนมหาศาลที่จำเป็นต่อการสร้างแบบจำลอง AI ทางกายภาพที่แม่นยำ
ข้อมูลสังเคราะห์ สร้างขึ้นจาก ฝาแฝดดิจิตอล ใช้การจำลองด้วยคอมพิวเตอร์เป็นทางเลือกที่มีประสิทธิภาพแทนชุดข้อมูลในโลกแห่งความเป็นจริง ซึ่งอาจมีราคาแพงและบางครั้งก็เป็นไปไม่ได้ที่จะได้มาเพื่อการฝึกโมเดล ทั้งนี้ขึ้นอยู่กับกรณีการใช้งาน
เครื่องมืออย่างไมโครเซอร์วิส NVIDIA NIM และ Omniverse Replicator อนุญาต นักพัฒนา สร้างไปป์ไลน์ข้อมูลสังเคราะห์ที่เปิดใช้งาน AI เพื่อเร่งการสร้างชุดข้อมูลที่แข็งแกร่งและหลากหลายสำหรับการฝึก AI ทางกายภาพ สิ่งนี้ช่วยเพิ่มความสามารถในการปรับตัวและประสิทธิภาพของโมเดลต่าง ๆ เช่น VLM ทำให้สามารถสรุปข้อมูลทั่วไปในอุตสาหกรรมและกรณีการใช้งานได้อย่างมีประสิทธิภาพมากขึ้น
ความพร้อมใช้งาน
นักพัฒนาสามารถเข้าถึงโมเดล AI พื้นฐานแบบเปิดที่ล้ำสมัยที่สร้างขึ้นโดย NVIDIA และไมโครเซอร์วิส NIM ได้ที่ ai.nvidia.com เวิร์กโฟลว์อ้างอิง Metropolis NIM มีอยู่ใน GitHub repository และไมโครเซอร์วิสของ Metropolis พร้อมให้ดาวน์โหลดแล้ว ตัวอย่างสำหรับนักพัฒนา
ไมโครเซอร์วิสของ OpenUSD NIM มีให้ใช้งานตัวอย่างผ่านทาง NVIDIA API catalog
ดูว่าการประมวลผลที่เร่งความเร็วและ Generative AI กำลังเปลี่ยนแปลงอุตสาหกรรมและสร้างโอกาสใหม่สำหรับนวัตกรรมและการเติบโตในการพูดคุยกับ Jensen Huang ซีอีโอของ NVIDIA ในงาน SIGGRAPH
You must be logged in to post a comment.