UL Solutions แจ้งให้ผู้ใช้ซอฟต์แวร์ว่าได้ทราบถึงปัญหาที่ส่งผลต่อผลลัพธ์จาก UL Procyon Computer Vision Benchmark เวอร์ชันก่อนหน้าเมื่อใช้กลไกอนุมาน Intel® OpenVINO™ กับโมเดลความแม่นยำ FP32

ตอนนี้มีการอัปเดตสำหรับ UL Procyon ที่สามารถแก้ไขปัญหานี้ได้ และเราขอแนะนำให้ผู้ใช้ UL Procyon ทุกคนทำการอัปเดตเป็นเวอร์ชันล่าสุด

ปัญหานี้ส่งผลต่อผลการประเมินประสิทธิภาพด้วยการตั้งค่าต่อไปนี้:

• เกณฑ์มาตรฐาน : เกณฑ์มาตรฐาน UL Procyon AI Computer Vision (เดิมชื่อ UL Procyon AI Inference Benchmark สำหรับ Windows)
• เครื่องมืออนุมาน : Intel OpenVINO
• การตั้งค่าความแม่นยำ : FP32
• ฮาร์ดแวร์ : ตัวเร่งความเร็ว AI ทั้งหมดได้รับการสนับสนุนโดย OpenVINO

โปรดทราบว่าปัญหานี้ไม่ส่งผลต่อผลการประเมินประสิทธิภาพ AI Computer Vision ที่ใช้ OpenVINO กับการตั้งค่าโมเดลความแม่นยำอื่นๆ หรือผลการประเมินประสิทธิภาพโดยใช้กลไกอนุมานอื่นๆ

เราพบว่าการทดสอบประสิทธิภาพบางรายการที่ใช้การตั้งค่าเหล่านี้ไม่สามารถเรียกใช้โมเดล FP32 ที่มีความแม่นยำ FP16 ได้อย่างไม่ถูกต้อง ซึ่งหมายความว่าผลการทดสอบประสิทธิภาพที่สร้างขึ้นนั้นไม่สามารถแสดงการตั้งค่าความแม่นยำ FP32 ได้อย่างแม่นยำเมื่อใช้กลไกการอนุมานของ OpenVINO

ฮาร์ดแวร์ต่อไปนี้ได้รับผลกระทบ:

ผลการเปรียบเทียบประสิทธิภาพสำหรับ GPU Intel แบบรวมและ GPU Intel Arc™ แบบแยก:

• ผลการเปรียบเทียบประสิทธิภาพการมองเห็นคอมพิวเตอร์ AI ก่อนหน้านี้สำหรับ GPU แบบรวมและ GPU แบบแยกของ Intel Arc ที่ใช้โมเดลความแม่นยำ FP32 บน OpenVINO Inference Engine ไม่ได้แสดงถึงประสิทธิภาพการใช้โมเดลความแม่นยำสูงสุดของ OpenVINO ที่มีอยู่
• ในกรณีนี้ เราขอแนะนำอย่างยิ่งให้คุณเรียกใช้ผลการประเมินประสิทธิภาพอีกครั้งโดยใช้การตั้งค่าเหล่านี้โดยใช้ UL Procyon เวอร์ชันล่าสุด

ผลการประเมินประสิทธิภาพสำหรับ NPU ของ Intel:

• ปัจจุบัน NPU ของ Intel ที่ไม่รองรับประเภทข้อมูล FP32 เนื่องจาก FP16 เป็นโมเดลความแม่นยำสูงสุดที่พร้อมใช้งานสำหรับ NPU ของ Intel ที่มีกลไกอนุมาน OpenVINO ผลลัพธ์เหล่านี้จึงยังคงแสดงถึงประสิทธิภาพการอนุมานของ AI โดยใช้กลไกอนุมาน OpenVINO ในการตั้งค่าความแม่นยำสูงสุดที่พร้อมใช้งาน (FP16)
• ในขณะที่คุณสามารถปฏิบัติต่อผลลัพธ์เหล่านี้เป็นผลลัพธ์ความแม่นยำของ FP16 ที่เปรียบเทียบได้โดยใช้กลไกอนุมาน OpenVINO เรายังคงแนะนำให้รันการประเมินประสิทธิภาพเหล่านี้อีกครั้ง

โปรดทราบว่าผลลัพธ์สำหรับ CPU ของ Intel ที่ใช้กลไกอนุมาน OpenVINO พร้อมการตั้งค่าความแม่นยำของ FP32 จะไม่ได้รับผลกระทบจากปัญหานี้ การทดสอบเหล่านี้ดำเนินการอย่างถูกต้องด้วยความแม่นยำของ FP32

จำเป็นต้องดำเนินการ
วันนี้เราได้ออกการอัพเดตสำหรับ UL Procyon เพื่อแก้ไขปัญหานี้สำหรับฮาร์ดแวร์ที่ได้รับผลกระทบทั้งหมด

สำหรับการเปรียบเทียบประสิทธิภาพของ Intel NPU : ไม่สามารถเลือกโมเดลความแม่นยำของ FP32 ได้อีกต่อไป

สำหรับการประเมินผลที่รองรับ GPU แบบรวมและ GPU Intel Arc แบบแยก : การประเมินผลจะทำงานได้อย่างถูกต้องโดยใช้ความแม่นยำของ FP32 เมื่อเลือกการตั้งค่า FP32

สำหรับผลการประเมินประสิทธิภาพครั้งก่อนหน้า : ผลลัพธ์ที่มีการตั้งค่าเหล่านี้จะถูกทำเครื่องหมายว่าไม่ถูกต้องโดย UL Procyon

เราขอแนะนำอย่างยิ่งให้คุณเรียกใช้ผลการประเมินประสิทธิภาพที่ได้รับผลกระทบจากปัญหานี้อีกครั้ง เพื่อให้แน่ใจว่าคุณจะได้รับผลลัพธ์ที่ถูกต้อง