Intel Gaudi 3 นำเสนอความสามารถในการก้าวสู่ GenAI ระดับองค์กร

ภายในงาน Intel Vision อินเทลได้มีการนำเสนอตัวเร่งความเร็ว AI, Intel® Gaudi® 3 ตัวใหม่ ที่มีความสามารถในด้านการคำนวณ AI มากถึง  4 เท่า สำหรับข้อมูลประเภท BF16 มีแบนด์วิธหน่วยความจำเพิ่มขึ้น 1.5 เท่า และมีความกว้างของเครือข่ายเพิ่มขึ้น 2 เท่า เมื่อเทียบกับรุ่นก่อนหน้า ซึ่งนับเป็นก้าวสำคัญในการฝึกอบรมโมเดลปัญญาประดิษฐ์ การอนุมานโมเดลภาษาขนาดใหญ่ (LLM) และโมเดลหลากหลายรูปแบบ โดยจากผลการทดสอบประสิทธิภาพของตัวเร่งความเร็ว AI Intel® Gaudi® 2 พบว่า มีเพียงตัวทดสอบ MPerf เพียงอย่างเดียวสำหรับ LLMs ในตลาด โดยอินเทลได้มอบทางเลือกให้กับลูกค้าด้วยซอฟต์แวร์แบบเปิดและเครือข่ายอีเธอร์เน็ตมาตรฐานอุตสาหกรรมเพื่อขยายระบบของพวกเขาได้อย่างยืดหยุ่นมากขึ้น

จัสติน โฮทาร์ด (Justin Hotard) รองประธานและผู้จัดการทั่วไปฝ่าย Data Center และ AI กล่าวว่า “ในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของตลาด AI ยังคงมีช่องว่างที่สำคัญในการนำเสนอสินค้าของเรา โดยจากผลตอบรับจากลูกค้าของเราและตลาดโดยรวมสามารถช่วยตอกย้ำถึงความต้องการของทางเลือกที่เพิ่มขึ้น องค์กรต่าง ๆ อาจชั่งน้ำหนักการพิจารณาอื่นๆ เช่น ความพร้อมใช้งาน ความสามารถในการขยาย ประสิทธิภาพ ต้นทุน และประสิทธิภาพการใช้พลังงาน โดย Intel Gaudi 3 โดดเด่นในฐานะทางเลือกสำหรับ GenAI ที่นำเสนอการผสมผสานที่น่าสนใจระหว่างประสิทธิภาพด้านราคา ความสามารถในการขยายระบบ และความได้เปรียบด้านเวลาต่อมูลค่า”

Intel เติมช่องว่างของตลาด Generative AI ด้วยการเปิดตัวชิปเร่งความเร็ว Intel Gaudi 3 AI ในงาน Intel Vision ในวันที่ 9 เมษายน 2024 ในเมืองฟีนิกซ์ รัฐแอริโซนา Gaudi 3 มอบทางเลือกให้กับลูกค้าด้วยซอฟต์แวร์แบบเปิดบนชุมชนและเครือข่ายอีเทอร์เน็ตมาตรฐานอุตสาหกรรม เพื่อปรับขนาดระบบได้อย่างยืดหยุ่นมากขึ้น (Credit: Intel Corporation)

สาระสำคัญในปัจจุบันองค์กรทั่วไปในภาคอุตสาหกรรมที่สำคัญ เช่น การเงิน การผลิต และสุขภาพ กำลังมองหาเส้นทางที่รวดเร็วในการเข้าถึงเทคโนโลยี AI และการเข้าถึง GenAI จากช่วงทดลองไปสู่การใช้งานอย่างเต็มรูปแบบ สำหรับการจัดการการเปลี่ยนแปลงและการกระตุ้นนวัตกรรมและปฏิบัติการเติบโตทางรายได้ องค์กรธุรกิจต่างต้องการโซลูชันและผลิตภัณฑ์ที่เปิดเผย มีราคาที่เหมาะสม และมีประสิทธิภาพในการใช้พลังงานมากขึ้น ซึ่งตอบสนองต่อความต้องการในการลงทุนเพื่อกำไรและประสิทธิภาพการดำเนินงาน

โดยตัวเร่งความเร็ว Intel Gaudi 3 จะตอบสนองความต้องการเหล่านี้และนำเสนอความหลากหลายผ่านซอฟต์แวร์บนชุมชนแบบเปิดและอีเธอร์เน็ตมาตรฐานอุตสาหกรรมแบบเปิด ช่วยให้ธุรกิจต่าง ๆ สามารถปรับขนาดระบบ AI และช่วยให้เข้าถึงแอปพลิเคชันได้อย่างยืดหยุ่น

สถาปัตยกรรมที่ปรับเปลี่ยนได้ ส่งผลต่อประสิทธิภาพของ GenAI อย่างไร: ตัวเร่งความเร็ว Intel Gaudi 3 ได้รับการออกแบบทางสถาปัตยกรรมเพื่อการประมวลผล AI ขนาดใหญ่ที่มีประสิทธิภาพ ผลิตขึ้นบนกระบวนการ 5 นาโนเมตร (nm) และมีความก้าวหน้าที่สำคัญมากกว่ารุ่นก่อน ตัวเร่งความเร็วรุ่นใหม่นี้ถูกออกแบบมาให้สามารถเปิดใช้งานเครื่องมือทั้งหมดพร้อมกัน ทั้ง Matrix Multiplication Engine (MME), Tensor Processor Cores (TPC) และ Networking Interface Cards (NIC) ทั้งหมดนี้ช่วยในการเร่งความเร็วที่จำเป็นสำหรับการคำนวณและการเรียนรู้เชิงลึกที่รวดเร็วและมีประสิทธิภาพ โดยมีคุณสมบัติที่สำคัญ ได้แก่:

  • เครื่องประมวลผลเฉพาะด้าน AI: ตัวเร่งความเร็ว Intel Gaudi 3 ได้รับการออกแบบมาเพื่อให้มีประสิทธิภาพสูง การประมวลผล GenAI ประสิทธิภาพสูง ตัวเร่งความเร็วแต่ละตัวมีคุณลักษณะเฉพาะของกลไกการคำนวณที่แตกต่างกัน ซึ่งประกอบด้วย TPC แบบกำหนดเองโดย AI และแบบตั้งโปรแกรมได้ 64 ตัว และ MME 8 ตัว Intel Gaudi 3 MME แต่ละตัวมีความสามารถในการดำเนินการแบบขนานที่น่าประทับใจถึง 64,000 รายการ ทำให้มีประสิทธิภาพในการประมวลผลในระดับสูง เชี่ยวชาญในการจัดการการดำเนินการเมทริกซ์ที่ซับซ้อน ซึ่งเป็นประเภทของการคำนวณที่เป็นพื้นฐานของอัลกอริธึมการเรียนรู้เชิงลึก การออกแบบที่เป็นเอกลักษณ์นี้ช่วยเร่งความเร็วและประสิทธิภาพของการทำงานของ AI แบบคู่ขนาน และรองรับข้อมูลหลายประเภท รวมถึง FP8 และ BF16
  • Memory Boost สำหรับความต้องการความจุ LLM: ความจุหน่วยความจำขนาด HBMe2 128 กิกะไบต์ (GB) แบนด์วิธหน่วยความจำขนาด 3.7 เทราไบต์ (TB) และ 96 เมกะไบต์ (MB) ของหน่วยความจำเข้าถึงโดยสุ่มแบบคงที่ (SRAM) บนบอร์ด ให้หน่วยความจำที่เพียงพอสำหรับการประมวลผลชุดข้อมูล GenAI ขนาดใหญ่ บน Intel Gaudi 3 ที่น้อยลง ซึ่งมีประโยชน์อย่างยิ่งในการรองรับภาษาขนาดใหญ่และโมเดลหลายรูปแบบ ส่งผลให้ประสิทธิภาพเวิร์กโหลดเพิ่มขึ้นและประสิทธิภาพด้านต้นทุนของศูนย์ข้อมูล
  • การปรับขนาดระบบที่มีประสิทธิภาพสำหรับ GenAI ระดับองค์กร: การรวมพอร์ตอีเธอร์เน็ต 200 กิกะบิต (Gb) จำนวน 24 พอร์ตเข้ากับตัวเร่งความเร็ว Intel Gaudi 3 ทุกตัว จะทำให้เกิดเครือข่ายที่ยืดหยุ่นและสามารถเปิดใช้งานได้ตามมาตรฐาน ส่งผลให้ให้สามารถปรับขนาดได้อย่างมีประสิทธิภาพเพื่อรองรับคลัสเตอร์การประมวลผลขนาดใหญ่ และกำจัดการล็อคอินของผู้ขายจากแฟบริคเครือข่ายที่เป็นกรรมสิทธิ์ ตัวเร่งความเร็ว Intel Gaudi 3 ได้รับการออกแบบมาเพื่อการขยายขนาดอย่างมีประสิทธิภาพจากโหนดเดียวไปจนถึงหลายพันโหนด เพื่อตอบสนองความต้องการขนาดใหญ่ของโมเดล GenAI ได้อย่างเหมาะสม
  • ซอฟต์แวร์อุตสาหกรรมแบบเปิดเพื่อประสิทธิภาพการทำงานของนักพัฒนา: ซอฟต์แวร์ของ Intel Gaudi ได้ผสานรวมเฟรมเวิร์ก PyTorch และมอบโมเดลตาม Hugging Face ที่ได้รับการปรับปรุง ซึ่งเป็นเฟรมเวิร์ก AI ที่พบบ่อยที่สุดสำหรับนักพัฒนา GenAI ในปัจจุบัน โดยสิ่งนี้จะช่วยให้นักพัฒนา GenAI สามารถทำงานในระดับสูง และได้รับความสะดวกในการใช้งานและการโยกย้ายโมเดลระหว่างชนิดฮาร์ดแวร์ได้โดยง่าย
  • Gaudi 3 PCIe: สิ่งที่เพิ่มเข้ามาในสายผลิตภัณฑ์ Gaudi 3 คือ การ์ดเสริม Peripheral Component Interconnect Express (PCIe) ซึ่งถูกออกแบบมาเพื่อให้มีประสิทธิภาพสูงพร้อมกับการใช้พลังงานต่ำ เหมาะอย่างยิ่งสำหรับปริมาณงาน อย่างการปรับแต่งแบบละเอียด การอนุมาน และการสร้างเสริมการดึงข้อมูล (RAG) ที่มีขนาดเต็มสูงที่ 600 วัตต์ พร้อมความจุหน่วยความจำ 128GB และแบนด์วิธ 3.7TB ต่อวินาที

ตัวเร่งความเร็ว Intel Gaudi 3 จะช่วยปรับปรุงประสิทธิภาพที่สำคัญสำหรับงานฝึกอบรมและการอนุมานในโมเดล GenAI ชั้นนำ โดยเฉพาะอย่างยิ่ง ตัวเร่งความเร็ว Intel Gaudi 3 คาดว่าจะส่งมอบโดยเฉลี่ยเมื่อเทียบกับ Nvidia H100:

  • ใช้เวลาฝึกเร็วขึ้น 50%1 สำหรับพารามิเตอร์ Llama2 7B และ 13B และโมเดลพารามิเตอร์ GPT-3 175B
  • ปริมาณงานการอนุมานเร็วขึ้น 50%2 และประสิทธิภาพพลังงานการอนุมานเพิ่มขึ้น 40%3 ในพารามิเตอร์ Llama 7B และ 70B และโมเดลพารามิเตอร์ Falcon 180B ข้อได้เปรียบด้านประสิทธิภาพการอนุมานที่ดียิ่งขึ้นในลำดับอินพุตและเอาต์พุตที่ยาวขึ้น
  • การอนุมานเร็วขึ้น 30%4 บนพารามิเตอร์ Llama 7B และ 70B และโมเดลพารามิเตอร์ Falcon 180B เทียบกับ Nvidia H200

ข้อมูลเกี่ยวกับการนำไปใช้ในตลาดและความพร้อมใช้งาน: ตัวเร่งความเร็ว Intel Gaudi 3 จะพร้อมให้บริการในไตรมาสที่สองของปี  2567 นี้ ผ่านผู้ผลิตอุปกรณ์ (OEMs) อาทิ Dell Technologies, HPE, Lenovo, และ Supermicro ในมาตรฐานอุตสาหกรรมของ Universal Baseboard และ open accelerator module (OAM) ทั้งนี้ ความพร้อมใช้งานทั่วไปของตัวเร่งความเร็ว Intel Gaudi 3 คาดว่าจะวางจำหน่ายในไตรมาสที่สามของปี 2567 และการ์ดเสริม Intel Gaudi 3 PCIe คาดว่าจะวางจำหน่ายในไตรมาสสุดท้ายของปี 2567

นอกจากนี้ ตัวเร่งความเร็ว Intel Gaudi 3 ยังขับเคลื่อนโครงสร้างพื้นฐาน LLM ในคลาวด์ ที่คุ้มต้นทุนสำหรับการฝึกอบรมและการอนุมาน โดยได้มีการเสนอข้อได้เปรียบด้านประสิทธิภาพด้านราคาและทางเลือกให้กับองค์กรที่ขณะนี้รวม NAVER ไว้ด้วย

Pat Gelsinger ซีอีโอของ Intel เปิดตัวชิปเร่งความเร็ว Intel Gaudi 3 ในวันอังคารที่ 9 เมษายน 2024 ที่งาน Intel Vision ในเมืองฟีนิกซ์ รัฐแอริโซนา ในระหว่างงานวันที่ 8-9 เมษายน ผู้นำของ Intel ร่วมมือกับพันธมิตร ลูกค้า และผู้ทรงคุณวุฒิเพื่อเรียนรู้เกี่ยวกับความก้าวหน้าที่จะเปลี่ยนแปลงวิธีที่ธุรกิจใช้ปัญญาประดิษฐ์. (Credit: Intel Corporation)

นักพัฒนาสามารถเริ่มต้นใช้งานได้ตั้งแต่วันนี้ ผ่าน Gaudi 2-based instances  บนระบบคลาวด์ของนักพัฒนา เพื่อเรียนรู้ สร้างต้นแบบ ทดสอบ และรันแอปพลิเคชันและเวิร์คโหลด

จะเป็นอย่างไรต่อไป:  ตัวเร่งความเร็ว Intel Gaudi 3 จะเป็นรากฐานสำหรับ Falcon Shores ซึ่งเป็นหน่วยประมวลผลกราฟิก (GPU) ยุคถัดไปของอินเทล ในเรื่องของ AI และการประมวลผลประสิทธิภาพสูง (HPC) โดย Falcon Shores จะรวมทรัพย์สินทางปัญญา (IP) ของ Intel Gaudi และ Intel® Xe เข้ากับอินเทอร์เฟซการเขียนโปรแกรม GPU เดียวที่สร้างขึ้นบนข้อกำหนด Intel® oneAPI

หมายเหตุ:

อินเทล ไม่ได้ควบคุมหรือตรวจสอบข้อมูลของบุคคลที่สาม คุณควรตรวจสอบเนื้อหานี้ ปรึกษากับแหล่งข้อมูลอื่น ๆ และยืนยันว่าข้อมูลที่อ้างอิงมีความถูกต้องหรือไม่

1การเปรียบเทียบ NV H100 อิงตาม https://developer.nvidia.com/deep-learning-performance-training-inference/training 28 มีนาคม 2024 ที่แท็บ “โมเดลภาษาขนาดใหญ่” เทียบกับการฉายภาพ Intel® Gaudi® 3 สำหรับ LLAMA2-7B , LLAMA2-13B & GPT3-175B ณ วันที่ 28 มีนาคม 2024 ผลลัพธ์อาจแตกต่างกันไป

2การเปรียบเทียบ NV H100 อ้างอิงจาก https://nvidia.github.io/TensorRT-LLM/Performance.html#h100-gpus-fp8 วันที่ 28 มี.ค. 2024 ตัวเลขที่รายงานเป็นข้อมูลต่อ GPU เทียบกับการฉายภาพ Intel® Gaudi® 3 สำหรับการฉายภาพ LLAMA2-7B, LLAMA2-70B และ Falcon 180B ผลลัพธ์อาจแตกต่างกันไป

การเปรียบเทียบ NV อิงตาม https://nvidia.github.io/TensorRT-LLM/Performance.html#h100-gpus-fp8  วันที่ 28 มีนาคม 2024 ตัวเลขที่รายงานเป็นต่อ GPU เทียบกับการฉายภาพ Intel® Gaudi® 3 สำหรับ LLAMA2-7B, LLAMA2-70B และ Falcon 180B ประสิทธิภาพการใช้พลังงานสำหรับทั้ง Nvidia และ Gaudi 3 ตามการประมาณการภายใน ผลลัพธ์อาจแตกต่างกันไป

4การเปรียบเทียบ NV H200 อิงตาม https://nvidia.github.io/TensorRT-LLM/Performance.html#h100-gpus-fp8  วันที่ 28 มี.ค. 2024 ตัวเลขที่รายงานเป็นต่อ GPU เทียบกับการฉายภาพ Intel® Gaudi® 3 สำหรับ LLAMA2- การคาดการณ์ 7B, LLAMA2-70B และ Falcon 180B ผลลัพธ์อาจแตกต่างกันไป

© บริษัท อินเทล คอร์ปอเรชั่น. อินเทล และ โลโก้ของอินเทล เครื่องหมายทางการค้าอื่น ๆ เป็นเครื่องหมายการค้าของ Intel Corporation หรือบริษัทในเครือ ชื่อและแบรนด์อื่น ๆ อาจถูกอ้างสิทธิ์ว่าเป็นทรัพย์สินของผู้อื่น