ฮาร์ดแวร์ AI บน Cerebras: ปรับขนาดเวิร์กโหลด ML ประสิทธิภาพสูง

เมื่อโมเดลแมชชีนเลิร์นนิงระดับองค์กรขยายขนาดทั้งในแง่ของจำนวนพารามิเตอร์และความซับซ้อนของข้อมูล การฝึกฝนแบบกระจายศูนย์และการประมวลผลผลลัพธ์แบบเรียลไทม์ต้องเผชิญกับคอขวดทางกายภาพที่รุนแรง: แบนด์วิดท์หน่วยความจำและภาระการสื่อสารผ่านเครือข่าย แม้แต่คลัสเตอร์ GPU ประสิทธิภาพสูงสุดก็ยังสูญเสียรอบสัญญาณนาฬิกาจำนวนมากไปกับการรอถ่ายโอนข้อมูลผ่านบัส PCIe หรือสวิตช์ InfiniBand

เพื่อเอาชนะข้อจำกัดทางกายภาพของสถาปัตยกรรมหลายชิปแบบดั้งเดิม Aething Inc. ออกแบบและปรับแต่งคลัสเตอร์การคำนวณขั้นสูงโดยใช้สถาปัตยกรรม Wafer-Scale Engine (WSE) รวมถึงระบบ Cerebras และโทโพโลยี GPU ที่ปรับแต่งตามความต้องการ

คอขวดแบนด์วิดท์หน่วยความจำในคลัสเตอร์แบบดั้งเดิม

ในคลัสเตอร์ GPU แบบแยกการ์ดมาตรฐาน หน่วยความจำจะกระจายตัวอยู่ตามการ์ดแต่ละใบ การซิงโครไนซ์พารามิเตอร์เกรเดียนต์หลายพันล้านตัวระหว่างกระบวนการ Backpropagation จำเป็นต้องอาศัยการสื่อสารแบบ all-reduce อย่างต่อเนื่อง:

คลัสเตอร์ GPU แบบแยกการ์ด:
[GPU 0] <--- PCIe/NVLink ---> [GPU 1] <--- สวิตช์ InfiniBand ---> [GPU 2] <--- PCIe/NVLink ---> [GPU 3]
  ▲                                                                                                    ▲
  └──────── ภาระความหน่วง: การจัดลำดับข้อมูลข้ามโหนด & กำแพงหน่วยความจำ (Memory Wall) ────────────────┘

สถาปัตยกรรมระดับเวเฟอร์ (Cerebras WSE):
┌──────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ คอร์ประมวลผลที่ปรับแต่งสำหรับ AI มากกว่า 900,000 คอร์บนเวเฟอร์ซิลิคอนชิ้นเดียวที่ต่อเนื่อง           │
│ หน่วยความจำ SRAM ความเร็วสูงบนชิป 44 GB | แบนด์วิดท์หน่วยความจำ 21 เพตะไบต์/วินาที                   │
└──────────────────────────────────────────────────────────────────────────────────────────────────────┘

เมื่อต้องฝึกฝนโครงข่ายประสาทเทียมเชิงลึกหรือประมวลผลลำดับบริบทที่ยาวมาก การสื่อสารข้ามโหนดจะบีบให้การใช้งานการคำนวณจริงลดลงเหลือเพียง 30-40% ของขีดความสามารถทางทฤษฎีสูงสุด (FLOPS)

ข้อได้เปรียบทางสถาปัตยกรรมของการผสานรวมระดับเวเฟอร์

ด้วยการรวมคอร์ AI หลายแสนคอร์ไว้บนเวเฟอร์ซิลิคอนชิ้นเดียว ระบบระดับเวเฟอร์จึงบรรลุประสิทธิภาพการคำนวณในระดับที่ไม่เคยมีมาก่อน:

1. แบนด์วิดท์บนชิปมหาศาล: ให้แบนด์วิดท์หน่วยความจำสูงถึง 21 เพตะไบต์ต่อวินาทีบนชิปโดยตรง ขจัดคอขวดของบัสภายนอกอย่าง DDR หรือ HBM โดยสิ้นเชิง
2. ความหน่วงระดับต่ำกว่าไมโครวินาที: ความหน่วงในการสื่อสารระหว่างคอร์ลดลงเหลือต่ำกว่าไมโครวินาที ช่วยให้เกิดการคำนวณแบบขนานของเทนเซอร์อย่างแท้จริงโดยไม่มีปัญหาคอขวดบนเครือข่าย
3. การขยายขนาดเชิงเส้นที่คาดการณ์ได้: การฝึกฝนโมเดลสามารถขยายขนาดได้อย่างสม่ำเสมอโดยไม่ต้องพึ่งพาการแบ่งไปป์ไลน์ที่ซับซ้อนหรือการตัดเกรเดียนต์ที่มีความเสี่ยง

การผสานรวมทางวิศวกรรมเข้ากับเวิร์กโฟลว์ระดับองค์กร

อุปสรรคสำคัญของฮาร์ดแวร์รูปแบบใหม่คือความซับซ้อนในการปฏิบัติงาน Aething Inc. เชื่อมช่องว่างนี้ด้วยเกตเวย์ซอฟต์แวร์ที่ปรับแต่งเฉพาะ:

• ทูลเชนการคอมไพล์อัตโนมัติที่แปลงกราฟ PyTorch และ JAX มาตรฐานเป็นชุดคำสั่งเคอร์เนลที่ปรับแต่งสำหรับเวเฟอร์
• ชั้นการจัดการแบบไฮบริดที่รวมเครื่องยนต์ระดับเวเฟอร์สำหรับไฟน์จูนโมเดลพื้นฐานเข้ากับไมโครคลัสเตอร์ GPU ที่คุ้มค่าสำหรับการรันผลลัพธ์ในระดับท้องถิ่น
• ระบบวัดและส่งข้อมูลทางไกลของฮาร์ดแวร์อย่างต่อเนื่องเพื่อตรวจสอบการระบายความร้อน ความเสถียรของแรงดันไฟฟ้า และอัตราการใช้งานจริง

สรุป

อนาคตของปัญญาประดิษฐ์ระดับองค์กรที่รองรับภาระงานสูงไม่ได้จำกัดอยู่แค่ชิปแบบแยก ด้วยวิศวกรรมฮาร์ดแวร์ระดับเวเฟอร์ องค์กรธุรกิจสามารถย่นระยะเวลาการวิจัยจากหลายสัปดาห์ให้เหลือเพียงไม่กี่ชั่วโมง และบรรลุขีดความสามารถในการประมวลผลผลลัพธ์แบบเรียลไทม์ในระดับอุตสาหกรรมได้อย่างแท้จริง