ระบบ HGX H200 และอินสแตนซ์คลาวด์ที่กำลังจะมาในเร็ว ๆ นี้จากผู้ผลิตเซิร์ฟเวอร์และผู้ให้บริการคลาวด์ชั้นนำของโลก
ในงาน SC23 NVIDIA ประกาศว่าได้เพิ่มพลังให้กับแพลตฟอร์มคอมพิวเตอร์ AI ชั้นนำของโลกด้วยการเปิดตัว NVIDIA HGX™ H200 แพลตฟอร์มดังกล่าวใช้สถาปัตยกรรม NVIDIA Hopper™ โดยมี NVIDIA H200 Tensor Core GPU พร้อมหน่วยความจำขั้นสูงเพื่อจัดการข้อมูลจำนวนมหาศาลสำหรับ Generative AI และเวิร์กโหลดการประมวลผลประสิทธิภาพสูง
NVIDIA H200 เป็น GPU ตัวแรกที่นำเสนอ HBM3e ซึ่งเป็นหน่วยความจำที่เร็วขึ้นและใหญ่ขึ้นเพื่อกระตุ้นการเร่งความเร็วของ AI ที่สร้างและโมเดลภาษาขนาดใหญ่ ในขณะเดียวกันก็พัฒนาการประมวลผลทางวิทยาศาสตร์สำหรับปริมาณงาน HPC ด้วย HBM3e ทำให้ NVIDIA H200 มอบหน่วยความจำ 141GB ที่ 4.8 เทราไบต์ต่อวินาที ความจุเพิ่มขึ้นเกือบสองเท่า และแบนด์วิดธ์เพิ่มขึ้น 2.4 เท่า เมื่อเทียบกับรุ่นก่อนอย่าง NVIDIA A100
ระบบที่ขับเคลื่อนด้วย H200 จากผู้ผลิตเซิร์ฟเวอร์และผู้ให้บริการคลาวด์ชั้นนำของโลก คาดว่าจะเริ่มจัดส่งได้ในไตรมาสที่สองของปี 2567
“ในการสร้างความอัจฉริยะด้วยแอปพลิเคชั่น generative AI และ HPC ข้อมูลจำนวนมหาศาลจะต้องได้รับการประมวลผลอย่างมีประสิทธิภาพด้วยความเร็วสูงโดยใช้หน่วยความจำ GPU ขนาดใหญ่ที่รวดเร็ว” Ian Buck รองประธานฝ่ายไฮเปอร์สเกลและ HPC ของ NVIDIA กล่าว “ด้วย NVIDIA H200 แพลตฟอร์มซูเปอร์คอมพิวเตอร์ AI แบบ end-to-end ชั้นนำของอุตสาหกรรมจะเร็วขึ้นเพื่อแก้ไขปัญหาความท้าทายที่สำคัญที่สุดของโลก”
นวัตกรรมที่ยั่งยืน ประสิทธิภาพที่ก้าวกระโดดอย่างไม่สิ้นสุด
สถาปัตยกรรม NVIDIA Hopper มอบประสิทธิภาพที่ก้าวกระโดดอย่างที่ไม่เคยมีมาก่อนและยังคงยกระดับมาตรฐานอย่างต่อเนื่องผ่านการปรับปรุงซอฟต์แวร์อย่างต่อเนื่องด้วย H100 รวมถึงการเปิดตัวไลบรารีโอเพ่นซอร์สที่ทรงพลังล่าสุดเช่น NVIDIA TensorRT™-LLM
การเปิดตัว H200 จะนำไปสู่การเพิ่มประสิทธิภาพแบบก้าวกระโดด ซึ่งรวมถึงความเร็วในการอนุมานเกือบสองเท่าบน Llama 2 ซึ่งเป็น LLM ที่มีพารามิเตอร์ 7 หมื่นล้านพารามิเตอร์ เมื่อเปรียบเทียบกับ H100 คาดว่าจะเป็นผู้นำด้านประสิทธิภาพและการปรับปรุงเพิ่มเติมด้วย H200 พร้อมการอัปเดตซอฟต์แวร์ในอนาคต
ฟอร์มแฟคเตอร์ของ NVIDIA H200
NVIDIA H200 จะวางจำหน่ายเซิร์ฟเวอร์ NVIDIA HGX H200 ที่มีการกำหนดค่า 4-way และ 8-way ซึ่งเข้ากันได้กับทั้งฮาร์ดแวร์และซอฟต์แวร์ของระบบ HGX H100 นอกจากนี้ยังจำหน่าย NVIDIA GH200 Grace Hopper™ Superchip with HBM3e ที่ประกาศไปเมื่อเดือนสิงหาคม
ด้วยตัวเลือกเหล่านี้ H200 จึงสามารถนำไปใช้งานในศูนย์ข้อมูลทุกประเภท รวมถึงภายในองค์กร คลาวด์ ไฮบริดคลาวด์ และ Edge ระบบนิเวศระดับโลกของผู้สร้างเซิร์ฟเวอร์พันธมิตรของ NVIDIA — รวมถึง ASRock Rack, ASUS, Dell Technologies, Eviden, GIGABYTE, Hewlett Packard Enterprise, Ingrasys, Lenovo, QCT, Supermicro, Wistron และ Wiwynn — สามารถอัปเดตระบบที่มีอยู่ด้วย H200 รุ่นใหม่ได้
Amazon Web Services, Google Cloud, Microsoft Azure และ Oracle Cloud Infrastructure จะเป็นหนึ่งในผู้ให้บริการคลาวด์รายแรกๆ ที่จะปรับใช้อินสแตนซ์ที่ใช้ H200 ในปีหน้า นอกเหนือจาก CoreWeave, Lambda และ Vultr
ขับเคลื่อนโดยการเชื่อมต่อความเร็วสูง NVIDIA NVLink™ และ NVSwitch™ HGX, H200 มอบประสิทธิภาพสูงสุดบนเวิร์กโหลดแอปพลิเคชันต่าง ๆ รวมถึงการฝึกอบรม LLM และการอนุมานสำหรับโมเดลที่ใหญ่ที่สุดที่เกินกว่า 175 พันล้านพารามิเตอร์
HGX H200 แบบ 8-way มอบการประมวลผลการเรียนรู้เชิงลึก FP8 มากกว่า 32 petaflops และหน่วยความจำแบนด์วิธสูงรวม 1.1TB เพื่อประสิทธิภาพสูงสุดในแอปพลิเคชัน Generative AI และ HPC
เมื่อจับคู่กับซีพียู NVIDIA Grace™ พร้อมการเชื่อมต่อระหว่างกัน NVLink-C2C ที่รวดเร็วเป็นพิเศษ H200 จะสร้าง GH200 Grace Hopper Superchip พร้อม HBM3e ซึ่งเป็นโมดูลแบบรวมที่ออกแบบมาเพื่อรองรับแอปพลิเคชัน HPC และ AI ในขนาดยักษ์
เร่งความเร็ว AI ด้วยซอฟต์แวร์ NVIDIA Full-Stack
แพลตฟอร์มการประมวลผลแบบเร่งความเร็วของ NVIDIA ได้รับการสนับสนุนโดยเครื่องมือซอฟต์แวร์อันทรงพลังที่ช่วยให้นักพัฒนาและองค์กรต่างๆ สามารถสร้างและเร่งความเร็วแอปพลิเคชันที่พร้อมสำหรับการผลิตจาก AI ไปจนถึง HPC ซึ่งรวมถึง NVIDIA AI Enterprise ชุดซอฟต์แวร์สำหรับปริมาณงาน เช่น คำพูด ระบบผู้แนะนำ และการอนุมานระดับไฮเปอร์สเกล
ความพร้อมใช้งาน: NVIDIA H200 จะวางจำหน่ายจากผู้ผลิตระบบระดับโลกและผู้ให้บริการคลาวด์เริ่มตั้งแต่ไตรมาสที่สองของปี 2024
สามารถติดตามรายละเอียดได้จาก SC23 special address ที่ได้นำเสนอไปเมื่อวันที่ 13 พฤศจิกายน เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับ NVIDIA H200 Tensor Core GPU