การผลิตแผงวงจรพิมพ์ (PCB) สำหรับเซิร์ฟเวอร์ HPC ระดับองค์กรและผู้ผลิตอุปกรณ์ HPC

Highleap Electronics รับผลิตแผงวงจรพิมพ์ (PCB) สำหรับเซิร์ฟเวอร์ HPC โดยใช้แบบที่ลูกค้าจัดหาให้หรือไฟล์ Gerber สำหรับผู้ผลิตอุปกรณ์คอมพิวเตอร์ประสิทธิภาพสูง (OEM) ห้องปฏิบัติการแห่งชาติ ศูนย์ซูเปอร์คอมพิวเตอร์ของมหาวิทยาลัย และผู้จำหน่ายระบบ HPC ระดับ Tier-1 เราผลิต PCB ตามข้อกำหนดของลูกค้า รวมถึงเมนบอร์ดโหนดประมวลผล (Xeon Max แบบ dual- และ quad-socket, EPYC HPC, A64FX, NVIDIA Grace/Grace Hopper), การ์ดเชื่อมต่อ InfiniBand HDR/NDR และ Slingshot/Omni-Path, ตัวยึดแผ่นระบายความร้อนด้วยของเหลว, บอร์ดโหนดจัดเก็บข้อมูลและล็อกอิน, บอร์ดจ่ายไฟและจัดการระดับแร็ค และตัวยึดการรวม HBM-host

สารบัญ

1. สิ่งที่ผู้ผลิตอุปกรณ์ HPC ต้องการจากผู้ผลิตแผงวงจรพิมพ์ (เทียบกับการฝึกอบรม AI)
2. การผลิตเมนบอร์ดสำหรับโหนดประมวลผล — Xeon Max, EPYC HPC, ARM HPC
3. การผลิตแผงวงจรหลัก HBM-Host และ Grace Hopper-Class
4. การผลิต InfiniBand HDR/NDR HCA และการ์ดเชื่อมต่อ
5. ระบบระบายความร้อนด้วยของเหลวโดยตรง — ตัวยึดแผ่นระบายความร้อน, CDU และแผงจ่ายของเหลว
6. ระบบหน่วยความจำ — การจ่ายไฟสำหรับ DDR5, CXL และ HBM
7. บอร์ดจัดการโหนดจัดเก็บข้อมูล โหนดล็อกอิน และคลัสเตอร์
8. คุณภาพ การรับรอง AVL และการสนับสนุนโครงการระยะยาว
9. ใช้ประโยชน์จาก Highleap ในการสร้างคลัสเตอร์ HPC ของคุณ

1. สิ่งที่ผู้ผลิตอุปกรณ์ HPC ต้องการจากผู้ผลิตแผงวงจรพิมพ์ (เทียบกับการฝึกอบรม AI)

โปรแกรมเซิร์ฟเวอร์ HPC และโปรแกรมเซิร์ฟเวอร์ฝึกอบรม AI ดูคล้ายกันจากภายนอก — ทั้งสองสร้างฮาร์ดแวร์ประมวลผลที่มีความหนาแน่นสูงพร้อมการเชื่อมต่อแบนด์วิดท์สูง ทั้งสองใช้ระบบระบายความร้อนด้วยของเหลวในระดับใหญ่ และทั้งสองมุ่งเป้าไปที่ลูกค้ากลุ่มเล็กๆ ที่มีมูลค่าสูง ความแตกต่างจะปรากฏในระยะเวลาของโครงการ ความเข้มงวดในการตรวจสอบคุณสมบัติ และความคาดหวังเกี่ยวกับวงจรชีวิต ความสามารถ ในการผลิต PCB สำหรับการประมวลผลประสิทธิภาพสูง ของเรา ครอบคลุมทั้งการสร้างระบบที่ผสานรวม AI/HPC และคลัสเตอร์ HPC ที่มี CPU หนาแน่นแบบดั้งเดิม

ความแตกต่างของวงจรการจัดซื้อ HPC

• กำหนดการจัดซื้อจัดจ้าง: สัญญาระบบ HPC มีระยะเวลา 2-4 ปี นับตั้งแต่การยื่นข้อเสนอ (RFP) จนถึงการยอมรับระบบ ในขณะที่โครงการฮาร์ดแวร์ AI มีระยะเวลา 12-18 เดือน
• ความเข้มงวดของเกณฑ์คุณสมบัติ: โดยทั่วไปแล้ว ห้องปฏิบัติการระดับชาติและศูนย์ HPC ของมหาวิทยาลัยมักต้องการการทดสอบการยอมรับอย่างเป็นทางการ ซึ่งรวมถึงตัวอย่างการตรวจสอบระดับ PCB ในขณะที่โครงการฮาร์ดแวร์ AI จำนวนมากยอมรับกระบวนการ AVL ในรูปแบบเดียวกับศูนย์ประมวลผลขนาดใหญ่ที่มีรูปแบบไม่เป็นทางการมากนัก
• การมุ่งเน้นลูกค้า: ตลาด HPC มีการกระจุกตัวสูงมาก ได้แก่ ห้องปฏิบัติการของกระทรวงพลังงาน มหาวิทยาลัยชั้นนำ และเว็บไซต์ติดอันดับ Top 500 และความสัมพันธ์กับลูกค้ามีมานานหลายทศวรรษ ในขณะที่ฮาร์ดแวร์ AI มีการกระจายตัวมากกว่า โดยมีผู้ให้บริการคลาวด์ขนาดใหญ่ โครงการ AI ของรัฐบาล และผู้ซื้อ AI ระดับองค์กรจากผู้จำหน่ายหลายราย
• วงจรชีวิตของการบำรุงรักษา: ระบบ HPC มักใช้งานได้นาน 7-10 ปี ในขณะที่ฮาร์ดแวร์สำหรับการฝึกอบรม AI จะมีการอัปเกรดทุก 2-3 ปี

ข้อกำหนดด้านวิศวกรรม HPC ที่แตกต่างจากการฝึกอบรม AI

• สถาปัตยกรรมที่เน้น CPU ยังคงมีอยู่: แม้ว่าการผสานรวมระหว่าง AI และ HPC จะเป็นเรื่องจริง แต่ภาระงาน HPC จำนวนมาก (CFD, MD, การจำลองสภาพภูมิอากาศ) ยังคงใช้ CPU เป็นหลัก โดยโหนดประมวลผลมีซ็อกเก็ต CPU 4-8 ซ็อกเก็ต พร้อมจำนวนช่องสัญญาณ DDR5 สูงสุด
• ความสมดุลระหว่างความจุหน่วยความจำกับแบนด์วิดท์: ภาระงาน HPC มักต้องการทั้งสองอย่าง — พื้นที่เก็บข้อมูล 4 TB ขึ้นไปต่อโหนดพร้อมแบนด์วิดท์สูงไม่ใช่เรื่องแปลก และการขยาย CXL ก็มีความสำคัญมากขึ้นเรื่อยๆ
• เน้นการประมวลผลเวกเตอร์: AVX-512, SVE2 และสถาปัตยกรรมชุดคำสั่งเวกเตอร์ (vector ISA) ที่คล้ายกัน กำหนดข้อกำหนดเฉพาะด้านการกำหนดเส้นทางและการจ่ายพลังงานสำหรับเวิร์กโหลดเวกเตอร์ต่อเนื่อง
• การผสานรวมเครือข่าย/ระบบจัดเก็บข้อมูล: InfiniBand พร้อม RDMA สำหรับทั้งการเชื่อมต่อและการจัดเก็บข้อมูล; เครือข่ายเดียวแทนที่จะเป็นเครือข่ายประมวลผลและเครือข่ายจัดเก็บข้อมูลที่แยกจากกัน
• บัฟเฟอร์สำรองและการจัดเก็บข้อมูลแบบแบ่งระดับ: โหนดบัฟเฟอร์แบบเฉพาะสำหรับการส่งข้อมูลแบบเร่งด่วน พร้อมการรองรับ NVMe ประสิทธิภาพสูง และ DAOS/Lustre/GPFS; บอร์ดตัวนำการจัดเก็บข้อมูลแบบพิเศษ

ข้อกำหนดด้านการจัดซื้อจัดหา HPC

• การตอบกลับ RFP อย่างเป็นทางการ: ข้อเสนอที่ละเอียดถี่ถ้วนซึ่งตรงกับความต้องการทางเทคนิคและเชิงพาณิชย์ของลูกค้า
• การสนับสนุนการยอมรับระบบ: ตัวอย่างแผงวงจรและเอกสารประกอบครบถ้วนสำหรับการทดสอบการยอมรับของลูกค้า
• พันธสัญญาด้านความยั่งยืน: รับประกันความพร้อมของอะไหล่ 7-10 ปี พร้อมเอกสารการจัดการสินค้าหมดอายุการใช้งาน (EOL) ที่ชัดเจน
• การตรวจสอบและการติดตามตรวจสอบ: โครงการของห้องปฏิบัติการแห่งชาติและโครงการที่เกี่ยวข้องกับการป้องกันประเทศบางโครงการ กำหนดให้ต้องมีการตรวจสอบเส้นทางการจัดหาอย่างครบถ้วนตลอดห่วงโซ่อุปทาน
• เอกสารแสดงประเทศต้นกำเนิด: ข้อกำหนดเกี่ยวกับการซื้อสินค้าจากอเมริกา การซื้อสินค้าจากยุโรป และข้อกำหนดด้านการจัดหาจากรัฐบาลของแต่ละประเทศ (หากมี)

2. การผลิตเมนบอร์ดสำหรับโหนดประมวลผล — Xeon Max, EPYC HPC, ARM HPC

เมนบอร์ดของโหนดประมวลผล HPC เป็นหัวใจสำคัญของคลัสเตอร์ทุกตัว แพลตฟอร์มรุ่นปัจจุบันใช้ CPU ที่ติดตั้ง HBM และไฮบริด CPU-ตัวเร่งความเร็ว เราสร้างเมนบอร์ดสำหรับทุกสภาพแวดล้อม

เมนบอร์ด Intel Xeon Max (Sapphire Rapids HBM) และ Granite Rapids HPC

• ซีออน แม็กซ์: หน่วยความจำ HBM2e ขนาด 64 GB ในแพ็คเกจ พร้อมด้วยช่องสัญญาณ DDR5 สูงสุด 8 ช่องต่อซ็อกเก็ต มีประสิทธิภาพด้านพลังงานและความร้อนสูง
• จำนวนชั้น: โดยทั่วไปจะมี 16-22 เลเยอร์บนเมนบอร์ด Xeon Max แบบ dual-socket — ของเรา การผลิต PCB หลายชั้น ผลิตภัณฑ์ในสายการผลิตนี้รองรับเมนบอร์ด HPC ตั้งแต่ 12 เลเยอร์ขึ้นไปจนถึงการกำหนดค่าแบบ dual-controller ที่มีมากกว่า 32 เลเยอร์
• ความซับซ้อนของการกำหนดเส้นทาง: มีช่องสัญญาณ DDR5 จำนวน 8 ช่องต่อซ็อกเก็ต × 2 ซ็อกเก็ต = 16 ช่องสัญญาณสำหรับการกำหนดเส้นทาง DDR5 นอกเหนือจาก PCIe Gen5 และลิงก์ UPI ระหว่างซ็อกเก็ต
• การกำหนดเส้นทางลิงก์ UPI: การเชื่อมต่อ UPI แบบ 4 หรือ 6 ลิงก์ระหว่างซ็อกเก็ต; ข้อกำหนดด้านความสมบูรณ์ของสัญญาณที่เข้มงวดคล้ายกับ PCIe Gen5
• การจัดส่งพลังงาน: กำลังไฟ TDP 350-400 วัตต์ต่อซ็อกเก็ต; การจัดวาง VRM ที่หนาแน่นพร้อมการกระจายพลังงานที่มีอิมพีแดนซ์ต่ำ
• วัสดุ: ใช้ชิป I-Tera MT40 สำหรับเลเยอร์ UPI และ PCIe Gen5; FR408HR สำหรับเลเยอร์ DDR5; และ 370HR สำหรับเลเยอร์จ่ายไฟ

เมนบอร์ด AMD EPYC HPC (Genoa-X, Bergamo, Turin)

• EPYC Genoa-X: 96 คอร์ พร้อมแคช L3 ขนาด 1 GB (3D V-Cache); 12 ช่องสัญญาณ DDR5 ต่อซ็อกเก็ต
• EPYC ตูริน: รุ่นใหม่; มากถึง 192 คอร์ต่อซ็อกเก็ต
• จำนวนชั้น: โดยทั่วไปแล้วเมนบอร์ด EPYC HPC แบบ dual-socket จะมีเลเยอร์ 18-24 เลเยอร์ เนื่องจากมีจำนวนช่องสัญญาณ DDR5 ที่สูงกว่า
• ข้อต่อซ็อกเก็ต Infinity Fabric: การเดินสายความเร็วสูงที่มีความหนาแน่นสูงระหว่างซ็อกเก็ต; ข้อกำหนดของ PCB คล้ายกับ UPI
• จำนวนเลน PCIe Gen5: 128 เลนต่อซ็อกเก็ต = 256 เลนต่อระบบแบบสองซ็อกเก็ต ความหนาแน่นของการกำหนดเส้นทางที่สูงมาก แม้จะยังไม่พิจารณาถึง DDR5 ก็ตาม

เมนบอร์ด Fujitsu A64FX และ ARM HPC

• A64FX: หน่วยประมวลผล 48 คอร์ พร้อมหน่วยความจำ HBM2 ขนาด 32 GB ในแพ็คเกจเดียว; ARMv8.2-A SVE; ขับเคลื่อนด้วยระบบ Fugaku exascale
• NVIDIA Grace: หน่วยประมวลผล ARM Neoverse V2 จำนวน 72 คอร์ พร้อมหน่วยความจำ LPDDR5X ขนาด 480-960 GB เหมาะสำหรับงาน HPC, AI และการวิเคราะห์ข้อมูล
• แอมแปร์ อัลตรา แม็กซ์ และ แอมแปร์วัน: ซีพียูเซิร์ฟเวอร์ ARM อเนกประสงค์ถูกนำมาใช้ในงาน HPC มากขึ้นเรื่อยๆ
• จำนวนและความซับซ้อนของเลเยอร์: คล้ายกับเมนบอร์ด HPC x86 เมนบอร์ด Grace ที่ติดตั้ง LPDDR5X มีการจัดวางวงจรที่เป็นเอกลักษณ์เนื่องจากหน่วยความจำถูกบัดกรีติดอยู่กับเมนบอร์ดแทนที่จะใช้สล็อต DIMM

เมนบอร์ดแบบแฟตโหนดสี่ซ็อกเก็ตและแปดซ็อกเก็ต

• ใช้กรณี: ฐานข้อมูลในหน่วยความจำ, การจำลองหน่วยความจำร่วมขนาดใหญ่, เวิร์กโหลด HPC เฉพาะทางที่ไม่เหมาะสมกับหน่วยความจำแบบกระจาย
• จำนวนชั้น: มีจำนวนเลเยอร์ 22-28 เลเยอร์ เนื่องจากความซับซ้อนของการเชื่อมต่อซ็อกเก็ต
• ผ้าเชื่อมต่อระหว่างซ็อกเก็ต: UPI หรือ Infinity Fabric ทำงานได้ไม่ดีนักเมื่อมีซ็อกเก็ตเกิน 4 ตัว; การออกแบบซ็อกเก็ตสี่ตัวบางแบบใช้โทโพโลยีแบบวงแหวน ในขณะที่บางแบบใช้โทโพโลยีแบบสวิตช์
• ความจุหน่วยความจำ: โดยทั่วไปแล้วแต่ละโหนดจะมีหน่วยความจำ 8-16 TB ซึ่งต้องใช้พื้นที่ DIMM บนเมนบอร์ดค่อนข้างมาก

3. การผลิตแผงวงจรหลัก (Carrier Board) สำหรับ HBM-Host และ Grace Hopper-Class

ซีพียูที่มี HBM เป็นหนึ่งในสถาปัตยกรรมโปรเซสเซอร์ HPC ที่สำคัญที่สุดของยุคนี้ ไม่ว่า HBM จะอยู่บนแพ็คเกจ (Xeon Max, A64FX) หรือเชื่อมต่อผ่านการเชื่อมต่อระหว่างชิป (Grace Hopper Superchip) แผงวงจรพิมพ์ (PCB) หลักจะมีข้อกำหนดเฉพาะสำหรับการจ่ายพลังงาน การจัดการความร้อน และการส่งสัญญาณที่แตกต่างจากเมนบอร์ดที่ไม่มี HBM

การผลิตตัวนำส่งซูเปอร์ชิป Grace Hopper

• สถาปัตยกรรม: NVIDIA Grace ARM CPU + Hopper GPU เชื่อมต่อกันผ่าน NVLink C2C (chip-to-chip); NVLink แบบ coherent ความเร็ว 900 GB/s ระหว่าง CPU และ GPU
• โครงสร้างของแผ่นรองรับ: โดยทั่วไปจะมี 18-24 ชั้น
• การกำหนดเส้นทาง NVLink C2C: โครงสร้างข้อมูลความเร็วสูงและสั้นระหว่างชิปสองตัวบนแผ่นตัวนำเดียวกัน; ข้อกำหนดด้านความสมบูรณ์ของสัญญาณที่เข้มงวดที่สุดบนแผงวงจร
• HBM3 (บนแม่พิมพ์ฮอปเปอร์): ไม่ได้วางเส้นทางบนแผ่น PCB แต่ได้รับการสนับสนุนด้วยระบบจ่ายไฟที่ครอบคลุมไปยังแพ็คเกจชิป Hopper
• LPDDR5X (แบบเชื่อมต่อโดยไม่ต้องปรับแต่ง): บัดกรีบนแผ่นตัวนำใกล้กับชิป Grace; การกำหนดเส้นทาง LPDDR5X ที่อัตราการส่งข้อมูลสูง
• วัสดุ: Tachyon 100G หรือ Megtron 7 สำหรับ NVLink C2C; I-Tera MT40 สำหรับโฮสต์ PCIe Gen5; FR408HR สำหรับ LPDDR5X

ระบบจ่ายไฟสำหรับซีพียูที่ติดตั้ง HBM

• กระแส: ซีพียูที่ติดตั้ง HBM จะใช้พลังงาน TDP 400-500 วัตต์ภายใต้ภาระงานเวกเตอร์ต่อเนื่อง และกระแสไฟฟ้าต่อเนื่อง 500-800 แอมป์บนรางแกนหลัก
• การจัดวาง VRM: VRM กระแสสูงที่มีการติดตั้งแบบจุดโหลดไว้ใต้หรือติดกับแพ็คเกจ CPU
• ทองแดงธรรมดา: ใช้แผ่นทองแดงขนาด 2-3 ออนซ์ในแผงจ่ายไฟหลัก บางแบบใช้ขนาด 4 ออนซ์ในแผงจ่ายกระแสสูงเฉพาะจุด
• ความหนาแน่นของตัวเก็บประจุแยกวงจร: มีตัวเก็บประจุหลายร้อยตัวต่อซ็อกเก็ต กระจายอยู่ทั่วโครงสร้างการจ่ายพลังงาน
• อิมพีแดนซ์ของระนาบ: การออกแบบแผ่นวงจรพิมพ์ที่มีอิมพีแดนซ์ต่ำได้รับการตรวจสอบโดยการจำลองความสมบูรณ์ของกำลังไฟฟ้าในขั้นตอนการออกแบบ การผลิตแผ่นวงจรพิมพ์ต้องตรงตามโครงสร้างที่จำลองไว้อย่างแม่นยำ

ข้อควรพิจารณาในการผลิตแพ็คเกจโฮสต์ HBM

แพ็คเกจ CPU ที่ติดตั้ง HBM นั้นมีขนาดใหญ่และมีน้ำหนักมาก แผงวงจรพิมพ์ (PCB) ที่อยู่ด้านล่างจึงต้องรองรับแพ็คเกจทั้งทางกล (ด้วยแรงกดจากแผ่นระบายความร้อนหรือการยึดซ็อกเก็ต) ทางความร้อน (ถ่ายเทความร้อนจากด้านหลังของแพ็คเกจและจาก VRM) และทางไฟฟ้า (ส่งกระแสไฟฟ้าหลายร้อยแอมแปร์ผ่านรูจ่ายไฟใต้แพ็คเกจ) ความคลาดเคลื่อนของรูเจาะ การเสริมแรงทางกล และการออกแบบอาร์เรย์รูจ่ายไฟใต้แพ็คเกจ ล้วนมีความสำคัญต่อการผลิต PCB สำหรับ HBM ในแบบที่แตกต่างจากเมนบอร์ด CPU ทั่วไป

4. การผลิต InfiniBand HDR/NDR HCA และการ์ดเชื่อมต่อ

ระบบเชื่อมต่อประสิทธิภาพสูง (HPC) เป็นตัวขับเคลื่อนประสิทธิภาพระดับระบบมากกว่าส่วนประกอบอื่นๆ InfiniBand ครองตลาด HPC ระดับไฮเอนด์ด้วยผลิตภัณฑ์ HDR (200 Gbps) และ NDR (400 Gbps) ส่วน HPE Slingshot (เดิมคือ Cray) และ Intel Omni-Path เป็นทางเลือกสำหรับระบบ Top500 บางระบบ

การผลิตแผงวงจร InfiniBand HDR HCA

• ชิปอะแดปเตอร์: NVIDIA ConnectX-6 (HDR) หรือ ConnectX-7 (HDR/NDR)
• จำนวนพอร์ต: โดยทั่วไปจะเป็นการ์ด HDR แบบพอร์ตเดียวหรือสองพอร์ต
• อินเทอร์เฟซโฮสต์ PCIe Gen4: มีเลน Gen4 จำนวน 16 เลนสำหรับเชื่อมต่อกับ CPU ของโฮสต์ และโฮสต์ Gen5 บางตัวก็ใช้การ์ดเดียวกันนี้
• เชื่อมต่อเครือข่าย: ขั้วต่อ QSFP56 สำหรับสายเคเบิล HDR
• จำนวนชั้น: เลเยอร์ 14-18 ชั้นบน HDR HCA แบบสองพอร์ต
• วัสดุ: I-Tera MT40 สำหรับการกำหนดเส้นทาง PCIe และเครือข่าย; 370HR สำหรับแหล่งจ่ายไฟและกราวด์

การผลิตแผงวงจรตัวนำ InfiniBand NDR HCA

• ชิปอะแดปเตอร์: NVIDIA ConnectX-7 NDR ที่มีความสามารถในการรับส่งข้อมูล 400 Gbps
• อินเทอร์เฟซโฮสต์ PCIe Gen5: 16 เลน Gen5; การเจาะกลับ จำเป็นต้องมีใน vias ฝั่งโฮสต์
• เชื่อมต่อเครือข่าย: ขั้วต่อ OSFP สำหรับสายเคเบิล NDR
• จำนวนชั้น: 16-20 เลเยอร์ เนื่องจากความหนาแน่นของการกำหนดเส้นทางความเร็วสูง
• วัสดุ: Tachyon 100G หรือ Megtron 7 บนเครือข่าย NDR ที่สำคัญและเลเยอร์สัญญาณโฮสต์ Gen5
• การเปิดตัวผลิตภัณฑ์ที่ได้รับค่าตอบแทน: การเชื่อมต่อที่มีความแม่นยำสูงและค่าความต้านทานที่ตรงกันที่ขั้วต่อขอบ PCIe และโครง OSFP

การผลิต HPE Slingshot และ Omni-Path HCA

• หนังสติ๊ก: การเชื่อมต่อ 200 Gbps บนระบบ Cray/HPE EX-class (Frontier, El Capitan); เข้ากันได้กับ Ethernet ในระดับกายภาพ พร้อมการควบคุมการแออัดเฉพาะสำหรับ HPC
• เส้นทางรอบด้าน: ระบบเชื่อมต่อ 100 Gbps ของ Intel; เป็นเทคโนโลยีรุ่นเก่าแต่ยังคงใช้งานอยู่จริงในคลัสเตอร์บางประเภท
• โครงสร้างบัตร HCA: คล้ายกับ InfiniBand HCA; โฮสต์ PCIe Gen4, อินเทอร์เฟซเครือข่ายแบบกำหนดเอง

การผลิตการ์ดไลน์สวิตช์ InfiniBand

• สวิตช์ NVIDIA Quantum-2 NDR: 64 พอร์ต × 400G หรือ 32 พอร์ต × 800G ต่อชิปสวิตช์
• จำนวนชั้นของการ์ดสวิตช์ไลน์: 28-32 ชั้น
• ความหนาแน่นของการกำหนดเส้นทาง: คู่สายสัญญาณดิฟเฟอเรนเชียลหลายร้อยคู่จากสวิตช์ ASIC ไปยังช่องเสียบ OSFP
• วัสดุ: Tachyon 100G ตลอดชั้นสัญญาณ
• การจัดส่งพลังงาน: ชิปสวิตช์แต่ละตัวให้กำลังไฟ 800-1200 วัตต์; การออกแบบ VRM ที่หนาแน่นและแผ่นจ่ายไฟทองแดงหนา

5. ระบบระบายความร้อนด้วยของเหลวโดยตรง — ตัวยึดแผ่นระบายความร้อน, CDU และแผงจ่ายของเหลว

ระบบ HPC สมัยใหม่ส่วนใหญ่ใช้ระบบระบายความร้อนด้วยของเหลวโดยตรงที่ซ็อกเก็ต CPU ระบบระดับเอ็กซาสเกลของห้องปฏิบัติการแห่งชาติได้พัฒนาไปอีกขั้นด้วยการระบายความร้อนด้วยน้ำอุ่น ทำให้สามารถระบายความร้อนได้ฟรีตลอดทั้งปี การออกแบบ PCB สำหรับ HPC ที่ระบายความร้อนด้วยของเหลวนั้นพัฒนาขึ้นมากแล้ว แต่ยังคงต้องการวิศวกรรมและการผลิตที่ระมัดระวัง

การผลิตแผ่นรองจานเย็น

• การจัดแนวเชิงกล: รูเจาะสำหรับเครื่องมือที่มีความแม่นยำสูง เพื่อการจัดแนวแผ่นเย็น โดยมีค่าความคลาดเคลื่อนตำแหน่ง ±0.10 มม.
• ความเรียบของแผ่นไม้: ความเรียบเสมอกัน ±0.15 มม. ตลอดแนวฐานของ CPU เพื่อให้มั่นใจได้ว่าแผ่นระบายความร้อนสัมผัสกับพื้นผิวอย่างสม่ำเสมอ
• ข้อจำกัดด้านความสูงของชิ้นส่วน: ชิ้นส่วนที่อยู่ใต้แผ่นทำความเย็นต้องไม่เกินความลึกของช่องระบายความร้อนของแผ่นทำความเย็น และต้องมีการประสานงานอย่างใกล้ชิดระหว่างฝ่ายออกแบบเพื่อการผลิต (DFM) กับผู้จำหน่ายแผ่นทำความเย็น
• การเสริมแรงในการติดตั้ง: ตัวยึดหรือตัวเสริมความแข็งแรงของแผงวงจรช่วยรองรับแรงยึด การออกแบบ PCB รองรับส่วนต่อประสานของตัวยึด

การผลิตแผงควบคุม CDU (หน่วยกระจายสารหล่อเย็น)

• ฟังก์ชั่น: จัดการการไหลของสารหล่อเย็นระดับแร็ค การตั้งค่าอุณหภูมิ การควบคุมปั๊ม การตรวจจับการรั่วไหล และสัญญาณเตือนภัย
• สถาปัตยกรรม: โดยทั่วไปจะเป็นบอร์ดคอมพิวเตอร์ขนาดเล็กแบบฝังตัว (ARM SBC) ที่มีอินพุต/เอาต์พุตระดับอุตสาหกรรม (เช่น เซ็นเซอร์วัดการไหล 4-20 mA, อินพุตอุณหภูมิ RTD, ตัวขับวาล์ว)
• จำนวนชั้น: 6-8 ชั้น; ผสมผสานระหว่างระบบอนาล็อกและดิจิทัล พร้อมการแยกสัญญาณที่เหมาะสม
• วัสดุ: FR4 ที่มีค่า Tg สูง (Isola 370HR) เพื่อความน่าเชื่อถือในระดับอุตสาหกรรม
• คลาส IPC: ได้รับการยอมรับในระดับ Class 3 สำหรับชิ้นส่วนที่มีความสำคัญต่อโหมดความล้มเหลว

การผลิตแผงเซ็นเซอร์แบบหลายทาง

• การตรวจวัดแบบกระจาย: อัตราการไหล อุณหภูมิ และความดัน ณ จุดต่างๆ บนท่อร่วม
• รูปแบบขนาดเล็ก: โดยทั่วไปจะมีขนาด 60 × 40 มม. พร้อมขั้วต่ออุตสาหกรรม M12
• การเคลือบที่สอดคล้องกัน: มาตรฐานการเคลือบ AR หรือ UR สำหรับการป้องกันความชื้น
• รีโฟลว์แบบไร้สารตะกั่ว: กระบวนการผลิตมาตรฐาน SAC305 เข้ากันได้กับวัสดุทุกชนิดที่ระบุไว้

แผงตรวจจับการรั่วไหลและถาดรองน้ำหยด

• เซ็นเซอร์ตรวจจับการรั่วไหลแบบคาปาซิทีฟ: ติดตั้งไว้ใต้แผ่นทำความเย็นและบริเวณจุดที่อาจเกิดการรั่วไหล
• อุปกรณ์อิเล็กทรอนิกส์ในถาดรองน้ำหยด: ระบบตรวจสอบการระบายน้ำพร้อมสัญญาณเตือนไปยังแร็ค BMC
• ความน่าเชื่อถือ: อัตราการแจ้งเตือนผิดพลาด (false-positive rate) อยู่ในระดับวิกฤต (สัญญาณเตือนผิดพลาดทำให้ระบบคอมพิวเตอร์หยุดทำงาน) และอัตราการไม่พบการรั่วไหล (false-negative rate) ก็อยู่ในระดับวิกฤตเช่นกัน (การรั่วไหลที่ตรวจไม่พบอาจทำให้เกิดความเสียหายต่ออุปกรณ์)

6. ระบบหน่วยความจำย่อย — การจ่ายไฟ DDR5, CXL และ HBM

ข้อกำหนดด้านหน่วยความจำสำหรับการประมวลผลประสิทธิภาพสูง (HPC) ส่งผลให้ต้องเลือกวิธีการผลิต PCB ที่เฉพาะเจาะจงสำหรับการเดินสาย DDR5 การขยายหน่วยความจำ CXL และการจ่ายไฟ HBM บนตัวนำ

การจัดเส้นทาง DDR5 สำหรับเมนบอร์ด HPC

• จำนวนช่อง: 8 ช่องสัญญาณต่อซ็อกเก็ต (Intel Xeon Max), 12 ช่องสัญญาณต่อซ็อกเก็ต (AMD Genoa-X)
• อัตราข้อมูล: DDR5-4800 ถึง DDR5-6400 ขึ้นอยู่กับแพลตฟอร์ม โดยจะเพิ่มขึ้นในแต่ละรุ่น
• ความต้านทาน: ตัวต้านทานแบบซิงเกิลเอนด์ 40 โอห์ม ค่ามาตรฐาน ±10%; ค่าที่ปรับได้ ±7%
• การจับคู่ความยาว: ความคลาดเคลื่อนภายในไบต์ ±2 มิล; ความคลาดเคลื่อนระหว่างไบต์จะแตกต่างกันไปตามความเร็ว
• การเลือกวัสดุ: FR408HR เหมาะสำหรับช่องสัญญาณสั้น; I-Tera MT40 เหมาะสำหรับช่องสัญญาณยาวหรืออัตราการส่งข้อมูลสูง; 370HR สามารถใช้งานได้ในระยะสั้นที่มีอัตราการส่งข้อมูลต่ำ
• การสานแก้ว: กระจกความละเอียด 1080 หรือ 2113 บนชั้นสัญญาณสำหรับ DDR5 อัตราสูง

การผลิตหน่วยความจำเสริม CXL

• ไฟล์แนบ CXL 2.0: PCIe Gen5 PHY; ตัวขยายหน่วยความจำ CXL เชื่อมต่อผ่านสล็อต PCIe หรือขั้วต่อ CXL เฉพาะทาง
• กรณีศึกษาการใช้งาน HPC: การรวมหน่วยความจำเพื่อขยายหน่วยความจำต่อโหนดให้มีประสิทธิภาพมากกว่าความจุของ DIMM ซึ่งมีประโยชน์อย่างยิ่งสำหรับการวิเคราะห์ในหน่วยความจำ การจำลองกริดขนาดใหญ่ และเวิร์กโหลดการผสานรวม AI/HPC
• ข้อกำหนดในการผลิต: ความแม่นยำระดับ Gen5 ในด้านอิมพีแดนซ์คู่ดิฟเฟอเรนเชียลและการเจาะรูด้านหลัง
• การประกอบแผงวงจรหลัก: CXL Switching นำเสนอแผงแบ็คเพลนและแผงสวิตช์ประเภทใหม่ในระบบ HPC

การจ่ายพลังงาน HBM บนตัวรองรับ CPU ที่ติดตั้ง HBM

แม้ว่า HBM stack จะถูกรวมอยู่ในแพ็คเกจเดียวกันในผลิตภัณฑ์ Xeon Max, A64FX และ Hopper GPU แต่แผงวงจรพิมพ์ (PCB) หลักจะต้องจ่ายกระแสไฟฟ้าในปริมาณมากเพื่อรองรับทั้งตัวชิปหลักและ HBM stack ระนาบจ่ายไฟต้องรองรับกระแสไฟฟ้าที่เกินกว่าข้อสมมติฐานของการออกแบบเมนบอร์ด CPU ทั่วไป โดยมีรูปแบบ vias ที่หนาแน่นเหมาะสมใต้แพ็คเกจเพื่อลดแรงดันตก การจำลองความสมบูรณ์ของพลังงานในขั้นตอนการออกแบบเป็นสิ่งที่ขาดไม่ได้ การผลิต PCB ต้องได้โครงสร้าง stackup ที่จำลองไว้โดยมีค่าความคลาดเคลื่อนของความหนาของฉนวน ±5% เพื่อรักษาประสิทธิภาพตามที่จำลองไว้ และการควบคุมอิมพีแดนซ์ในคู่ดิฟเฟอเรนเชียล Gen5 ที่สำคัญทั้งหมดเป็นสิ่งจำเป็นตลอดกระบวนการผลิต

7. บอร์ดจัดการโหนดจัดเก็บข้อมูล โหนดล็อกอิน และคลัสเตอร์

คลัสเตอร์ HPC ประกอบด้วยบอร์ดหลายประเภทนอกเหนือจากโหนดประมวลผล บอร์ดสำหรับจัดเก็บข้อมูล การเข้าสู่ระบบ และโครงสร้างพื้นฐานการจัดการ เป็นโปรแกรมที่มีขนาดเล็กกว่า แต่มีความสำคัญต่อความน่าเชื่อถือของระบบ

การผลิตโหนดจัดเก็บข้อมูล

• เซิร์ฟเวอร์จัดเก็บข้อมูล Lustre/GPFS: เมนบอร์ดแบบ dual-socket Xeon หรือ EPYC พร้อมแผงเชื่อมต่อหน่วยความจำ NVMe และ SAS ความหนาแน่นสูง
• แผงวงจรหลักสำหรับจัดเก็บข้อมูล NVMe: แผงวงจรหลัก U.2/U.3 แบบถอดเปลี่ยนได้ขณะทำงาน พร้อมการกำหนดเส้นทาง PCIe Gen4/Gen5 ไปยังตัวควบคุมการจัดเก็บข้อมูล
• โหนดจัดเก็บข้อมูล DAOS: ระบบจัดเก็บข้อมูลแบบหน่วยความจำถาวรสำหรับระบบจัดเก็บข้อมูล HPC รุ่นใหม่; การรวมแผงวงจร NVMe แบบพิเศษและโมดูล PMEM
• โหนดบัฟเฟอร์แบบระเบิด: เซิร์ฟเวอร์ NVMe ความหนาแน่นสูง ทำหน้าที่เป็นชั้นเร่งความเร็ว I/O ระหว่างโหนดประมวลผลและระบบไฟล์แบบขนาน

การสร้างโหนดล็อกอินและเซิร์ฟเวอร์จัดการ

• เมนบอร์ดของโหนดล็อกอิน: เมนบอร์ดเซิร์ฟเวอร์อเนกประสงค์ (แบบซ็อกเก็ตเดี่ยวหรือคู่) ที่รองรับการใช้งานเชลล์ของผู้ใช้และการส่งงาน ไม่เน้นประสิทธิภาพสูง แต่เน้นความน่าเชื่อถือ
• เซิร์ฟเวอร์สำหรับการจัดการ: โฮสต์ตัวจัดตารางเวลาคลัสเตอร์ (Slurm, LSF, PBS Pro); เซิร์ฟเวอร์ฐานข้อมูลสำหรับการบัญชีและการตรวจสอบ
• แนวปฏิบัติมาตรฐานสำหรับแผงวงจรพิมพ์ (PCB) ของเซิร์ฟเวอร์: วัสดุที่มีการสูญเสียปานกลางเป็นอย่างมาก; การจัดเรียงชั้นวัสดุที่เหมาะสมที่สุดด้านต้นทุน

แผงสวิตช์แบบติดตั้งบนแร็คและแผงสวิตช์สำหรับการจัดการ

• สวิตช์จัดการ 1 GbE: เครือข่ายอีเธอร์เน็ตสำหรับการจัดการแยกต่างหากจากเครือข่ายข้อมูล
• สวิตช์เครือข่ายบริการ 10/25 GbE: สำหรับการเข้าถึงพื้นที่จัดเก็บข้อมูลและการจัดการปริมาณการรับส่งข้อมูล
• การจัดการนอกวง: อุปกรณ์รวมสัญญาณแบบอนุกรม (Serial Console Concentrators), เกตเวย์ IPMI/Redfish

พลังงานและโครงสร้างพื้นฐานระดับแร็ค

• แผงจ่ายไฟ 48V: ระบบจ่ายพลังงานส่วนกลางที่คล้ายกับสถาปัตยกรรมแร็คฝึกอบรม AI
• เมนบอร์ด Rack BMC: การจัดการระดับแร็คสำหรับระบบประมวลผล พื้นที่จัดเก็บข้อมูล เครือข่าย และระบบระบายความร้อน
• แผงเซ็นเซอร์สิ่งแวดล้อม: การตรวจสอบอุณหภูมิ ความชื้น การสั่นสะเทือน และการบุกรุก

8. คุณภาพ การรับรอง AVL และการสนับสนุนโครงการระยะยาว

โครงการ HPC มีลักษณะเด่นคือระยะเวลาดำเนินการที่ยาวนานและความเสี่ยงสูง เมื่อระบบ Top500 เริ่มใช้งานแล้ว ความล้มเหลวของบอร์ดจะส่งผลโดยตรงต่อการหยุดชะงักของการวิจัย และลูกค้าอาจต้องการอะไหล่หลังจากซื้อไปแล้ว 7-10 ปี

ข้อกำหนดด้านคุณภาพของ HPC

• การยอมรับตาม IPC Class 3: มาตรฐานสำหรับบอร์ดประมวลผลและเชื่อมต่อในระบบ HPC
• การสุ่มตัวอย่างด้วยกล้องจุลทรรศน์: บทความแรก 100%, การสุ่มตัวอย่างระหว่างกระบวนการผลิตด้วยความถี่สูง (โดยทั่วไป 1 ตัวอย่างต่อแผงสำหรับการประกอบชิ้นส่วนที่สำคัญ)
• การทดสอบพารามิเตอร์ S: ค่าการสูญเสียการแทรกและค่าการสูญเสียการสะท้อนกลับในระดับคูปองสูงถึง 40 GHz บนบอร์ดความเร็วสูง
• การตรวจสอบความถูกต้องของการเปลี่ยนแปลงอุณหภูมิ: การทดสอบความน่าเชื่อถือระดับคูปองตามวิธีการ IPC-TM-650
• เอกสารประกอบการจัดส่งแต่ละครั้ง: เอกสารรับรองคุณภาพ (CoC), ใบรับรองจากโรงงาน, การทดสอบทางไฟฟ้า, อิมพีแดนซ์, พารามิเตอร์ S, AOI, การตรวจสอบด้วยกล้องจุลทรรศน์, บันทึกการตรวจสอบด้วยสายตา

การรับรอง AVL สำหรับผู้ผลิตอุปกรณ์ HPC

• การตรวจสอบคุณสมบัติเบื้องต้น: ทีมควบคุมคุณภาพของลูกค้าเข้าตรวจสอบสถานที่ และตรวจสอบอุปกรณ์ กระบวนการ และเอกสารต่างๆ
• คุณสมบัติเบื้องต้นของบทความ: ผลิตตัวอย่างจำนวน 25-200 ชิ้น พร้อมเอกสารประกอบครบถ้วน
• การตรวจสอบกระบวนการ: ข้อมูล SPC ที่แสดงให้เห็นถึงความสามารถของกระบวนการ แผนควบคุม และเอกสาร FMEA
• การยอมรับจากฝั่งลูกค้า: การทดสอบด้านสิ่งแวดล้อม การตรวจสอบความถูกต้องในระดับระบบ การลงนามอนุมัติอย่างเป็นทางการ
• การบำรุงรักษา AVL: ตัวชี้วัดประสิทธิภาพอย่างต่อเนื่อง การตรวจสอบเป็นระยะ การทบทวนคุณภาพร่วมกัน

การสนับสนุนโครงการระยะยาว

• สต๊อกอะไหล่ : มีกำลังการผลิตชิ้นส่วนอะไหล่ที่เพียงพอสำหรับ 7-10 ปีหลังจากการติดตั้งครั้งแรก
• การตรวจสอบวงจรชีวิตของวัสดุ: เราติดตามรหัสผลิตภัณฑ์ (PCN) ของวัสดุเคลือบและชิ้นส่วนต่างๆ เพื่อระบุความเสี่ยงตลอดอายุการใช้งานตั้งแต่เนิ่นๆ
• มีเอกสารยืนยันการทดแทนกันได้: สำหรับวัสดุที่ผ่านการรับรองแต่ละชนิด จะต้องมีเอกสารแสดงทางเลือกอื่นที่ใกล้เคียงกัน
• การจัดการดูแลผู้ป่วยระยะสุดท้าย: 18-24 เดือนก่อนสิ้นสุดอายุการใช้งาน ลูกค้าและผู้จำหน่ายจะร่วมกันวางแผนสำหรับการสั่งซื้อครั้งสุดท้าย
• ระยะเวลาการเก็บรักษาเอกสาร: ไฟล์ออกแบบ บันทึกกระบวนการ และข้อมูลคุณภาพทั้งหมดจะถูกเก็บรักษาไว้ตลอดระยะเวลาโครงการ + 7 ปี

9. การนำ Highleap มาใช้ในการสร้างคลัสเตอร์ HPC ของคุณ

สำหรับผู้ผลิตอุปกรณ์ HPC, ผู้รวมระบบ และพันธมิตรด้านฮาร์ดแวร์ของห้องปฏิบัติการระดับชาติที่กำลังประเมินพันธมิตรผู้ผลิต PCB รูปแบบการทำงานร่วมกันของเราสามารถรองรับระยะเวลาที่ยาวนานและกระบวนการตรวจสอบคุณสมบัติที่เข้มงวดซึ่งเป็นลักษณะเฉพาะของการจัดซื้อจัดจ้าง HPC:

• การให้คำปรึกษาทางเทคนิคก่อนการยื่นข้อเสนอ (Pre-RFP): ตามคำขอของทีมวิศวกรรมของลูกค้า เราให้คำแนะนำเกี่ยวกับการจัดเรียงชิ้นส่วน คำแนะนำเกี่ยวกับวัสดุ และข้อกำหนดด้านความสามารถ เพื่อสนับสนุนการตอบสนองต่อ RFP
• การสนับสนุนข้อเสนอ: ข้อเสนอที่เป็นทางการพร้อมรายละเอียดด้านราคา ระยะเวลาในการส่งมอบ กำลังการผลิตที่รับประกัน และเอกสารคุณภาพที่ตรงกับข้อกำหนดของ RFP ของลูกค้า
• การสร้างต้นแบบและการทดสอบคุณสมบัติ: ตัวอย่างจำนวน 25-200 ชิ้น พร้อมเอกสารประกอบครบถ้วนเพื่อสนับสนุนการทดสอบการยอมรับของลูกค้า
• ข่าวประชาสัมพันธ์การผลิต: การสำรองกำลังการผลิตให้สอดคล้องกับตารางการส่งมอบระบบ และการควบคุมการเปลี่ยนแปลงที่ประสานงานกัน
• การสนับสนุนเพื่อความยั่งยืน: การผลิตชิ้นส่วนอะไหล่และการจัดการเมื่อสิ้นสุดอายุการใช้งานตลอดอายุการใช้งานของระบบ

Highleap ได้รับการรับรองมาตรฐาน ISO 9001 และ IATF 16949 พร้อมกระบวนการผลิตที่สอดคล้องกับ AS9100D สำหรับโปรแกรม HPC ที่ต้องการเอกสารคุณภาพระดับอุตสาหกรรมป้องกันประเทศและอวกาศ เราผลิต PCB สำหรับเซิร์ฟเวอร์ HPC ตั้งแต่ 8 ชั้นถึง 32 ชั้นขึ้นไป โดยใช้การเคลือบแบบ HDI sequential lamination, ความต้านทานที่ควบคุมได้ ±5%, ทองแดงหนาถึง 4 ออนซ์ และการเคลือบพื้นผิวแบบเต็มรูปแบบ สายการผลิตดิจิทัลความเร็วสูงของเราใช้เทคโนโลยีการสร้างภาพโดยตรงด้วยเลเซอร์ที่ความละเอียด 25 µm และการผลิต PCB แบบ HDIสำหรับการต่อสาย BGA ที่หนาแน่นซึ่งจำเป็นสำหรับ CPU ที่ติดตั้ง HBM และตัวเชื่อมต่อ Grace Hopper ฐานลูกค้าของเราประกอบด้วยผู้รวมระบบ HPC, พันธมิตรด้านฮาร์ดแวร์ของห้องปฏิบัติการแห่งชาติ และศูนย์ซูเปอร์คอมพิวเตอร์ของมหาวิทยาลัยในหลายรุ่นของโปรแกรม Top500

ส่งไฟล์ Gerber, ข้อมูลการเจาะ, ข้อมูลจำเพาะการเรียงซ้อน, ปริมาณเป้าหมาย และไทม์ไลน์ของโครงการผ่านทางพอร์ทัลขอใบเสนอราคาออนไลน์ ของเรา เพื่อรับการตอบกลับภายใน 24 ชั่วโมง สำหรับการสนับสนุน RFP, การพัฒนาข้อเสนออย่างเป็นทางการ หรือการวางแผนการบำรุงรักษาสำหรับโครงการ HPC ที่มีอยู่ ทีม HPC ของเราสามารถติดต่อโดยตรงเพื่อหารือเกี่ยวกับขอบเขตและไทม์ไลน์ สำหรับเนื้อหาความสามารถที่เกี่ยวข้อง โปรดดูหน้าเว็บของเราเกี่ยวกับการผลิต PCB สำหรับเซิร์ฟเวอร์และความสามารถของ PCB แบบแข็งซึ่งครอบคลุมจำนวนชั้น น้ำหนักทองแดง และความครอบคลุมของพื้นผิวสำหรับโครงการเมนบอร์ด HPC