في عصر التطور الهائل لقدرات الحوسبة للذكاء الاصطناعي، تواجه وحدات معالجة الرسومات (GPUs)، باعتبارها وحدات الحوسبة الأساسية، تحديات كبيرة في استقرار الأجهزة وكفاءة إنتاج الطاقة الحاسوبية نظرًا لكفاءة تبديد الحرارة. يختلف استهلاك الطاقة لوحدة معالجة الرسومات H200 من NVIDIA باختلاف الطراز وسيناريو الاستخدام. يبلغ استهلاك الطاقة الحرارية (TDP) للطراز القياسي 700 واط. أما طراز H200 NVL، فيبلغ استهلاكه 600 واط، مما يجعله أكثر ملاءمة لخوادم المؤسسات المبردة بالهواء ذات متطلبات الطاقة المنخفضة. في التشغيل الفعلي، يختلف استهلاك الطاقة أيضًا تبعًا للحمل. على سبيل المثال، أثناء تدريب الذكاء الاصطناعي، قد يصل استهلاك الطاقة الديناميكي لوحدة H200 إلى حوالي 750 واط. ومع تفعيل التبريد السائل ورفع تردد التشغيل، قد يتجاوز استهلاك الطاقة 800 واط. عند استخدام ثماني وحدات معالجة رسومات على لوحة أم واحدة، يتجاوز إجمالي استهلاك الطاقة 6000 واط، مما يشكل تحديًا كبيرًا لحل التبريد الأصلي من NVIDIA. لا تقتصر هذه المقالة على استعراض منطق تحسين التبريد لهذا السيناريو عالي الطاقة فحسب، بل تستند أيضًا إلى خبرتنا في تخصيص حلٍّ لمصنع الذكاء الاصطناعي الأسترالي FIRMUS (الموقع الرسمي: www.firmus.com) وتقديم 3000 عينة. يوفر هذا مرجعًا عمليًا لتصميم التبريد بالغمر لمجموعات وحدات معالجة الرسومات عالية الكثافة.
1. خلفية الحل: معضلة تبديد الحرارة لخوادم H200 ذات 8 وحدات معالجة رسومية ونقاط الضعف لدى شركة Firmus
تستهلك وحدات معالجة الرسومات NVIDIA H200، وهي الأجهزة الأساسية لتدريب الذكاء الاصطناعي الحالي والحوسبة عالية الأداء، عادةً 750 واط من الطاقة لكل بطاقة، بزيادة قدرها 30% مقارنة بالأجيال السابقة. عند استخدام تصميم لوحة أم مكون من 8 وحدات معالجة رسومات، يجب أن يتعامل النظام في الوقت نفسه مع مصدر حرارة مركز بقوة 6,000 واط. علاوة على ذلك، فإن مساحة شريحة وحدة معالجة الرسومات صغيرة وكثافة تدفق الحرارة عالية للغاية. إذا لم تتم إدارة تبديد الحرارة بشكل مناسب، فلن يحدث اختناق تردد الأجهزة فحسب (مما يؤدي إلى فقدان طاقة الحوسبة بأكثر من 20%)، بل يمكن أن تؤدي درجات الحرارة المرتفعة لفترات طويلة أيضًا إلى تقصير عمر وحدة معالجة الرسومات. تُعد هذه النقطة المؤلمة حادة بشكل خاص في سياق شركة Firmus، وهي شركة أسترالية متخصصة في تطوير خوارزميات الذكاء الاصطناعي الصناعي وتأجير طاقة الحوسبة على نطاق واسع، وتقع مراكز بيانات Firmus في سنغافورة وحدائق سيدني التكنولوجية. يجب أن تستوفي هذه الأنظمة ثلاثة متطلبات أساسية في آنٍ واحد: نشر عالي الكثافة (أكثر من 20 خادمًا من طراز H200 مزودًا بثمانية وحدات معالجة رسومية لكل خزانة)، وانخفاض مستوى الضوضاء (حد الضوضاء الليلية ≤ 40 ديسيبل)، واستقرار التشغيل (انقطاعات طاقة الحوسبة لا تتجاوز ساعة واحدة على مدار العام). ومن الواضح أن حل NVIDIA لم يستوفِ هذه المتطلبات.
في البداية، ركزت شركة فيرموس على تصميم غرفة الحاسوب بالكامل وضمان استقرار نظام الأنابيب. ولكن عند استلامها مبرد وحدة معالجة الرسومات H200 الأصلي من إنفيديا، اكتشفت الشركة أنه لا يعمل مع نظام تبريد غمر قائم على الزيت. وتتمثل المشاكل الرئيسية في التصميم والمشاكل التالية:
• هيكل التبريد: قاع غرفة بخار ينقل مزيج أنابيب الحرارة الملحومة الحرارة من قلب وحدة معالجة الرسومات إلى الزعانف عبر عملية تغير الطور المتمثلة في تبخر وتكثيف سائل العمل داخل حجرة البخار. ومع ذلك، نظرًا لأن الجزء السفلي بالكامل كان مغلفًا بسائل التبريد، لم يتمكن سائل العمل داخل حجرة البخار من التبخر، مما حال دون انتقال الحرارة. تحت الحمل الكامل، تجاوزت درجة حرارة قلب H200 95 درجة مئوية في كثير من الأحيان (مقتربةً من عتبة الأمان البالغة 100 درجة مئوية)، وأثر الانخفاض المتكرر في التردد على تقدم تدريب الذكاء الاصطناعي. لذلك، بعد تلقي متطلبات مشروعهم، صمم مهندسونا في Kenfa Tech حل تبريد غمر عالي الأداء في غضون يوم واحد، وأكدوا في النهاية جدواه مع فريق باحثي الدكتوراه التابعين للعميل.
حل التحسين: تنفيذ تقنية تبريد الزيت الغاطس وتصميم فيرموس المخصص
لمعالجة اختناقات حلول التبريد الهوائي وتلبية متطلبات فيرموس للكثافة العالية وانخفاض الضوضاء، قمنا بترقية وسيط تبديد الحرارة من الهواء إلى زيت حراري معزول. يستفيد هذا الحل المُخصص لتبريد زيت الغمر من الموصلية الحرارية العالية وهدوء السائل لمعالجة المشكلات الرئيسية. فيما يلي تفاصيل التصميم:
2. ترقية هيكل التبريد الأساسي: لوحة قاعدة نحاسية + مزيج أنبوب حراري متوافق مع وحدات معالجة الرسومات H200 ذات 8 GPU.
تم استبدال تصميم "غرفة البخار + المروحة" التقليدي لتبريد الهواء بلوحة قاعدة نحاسية + ملحومة بشكل مستقل أنبوب الحرارة هيكل أكثر ملاءمة لبيئات التبريد بالزيت. كما تم تحسين التوافق مع أبعاد اللوحة الأم لخادم Firmus:
• قاعدة نحاسية: مصنوعة من نحاس T2، تلتصق مباشرةً بنواة وحدة معالجة الرسومات H200 (بتفاوت تركيب ≤ 0.05 مم). الموصلية الحرارية للنحاس (401 واط/متر·كلفن) أعلى من الموصلية الحرارية للهواء بأكثر من 1000 مرة، مما يمتص حرارة النواة بسرعة ويمنع تراكم درجات الحرارة المرتفعة في المناطق الموضعية.
• أنابيب حرارية ملحومة بشكل مستقل: كل وحدة معالجة رسومية مزودة بـ 24 أنبوبًا حراريًا من النحاس الخالي من الأكسجين بقطر 6 مم، متصلة بلوحة القاعدة النحاسية عبر عملية لحام فراغي (المقاومة الحرارية عند اللحام ≤ 0.02 درجة مئوية/واط). معدل تغير طور سائل التبريد في الأنابيب الحرارية أسرع بنسبة 50% مقارنةً بأنظمة التبريد الهوائي، مما يضمن نقلًا فعالًا للحرارة إلى الزيت. ويكمن سرّ ذلك في القدرة على نقل كمية كبيرة من الحرارة إلى الزعانف ضمن منطقة محددة، والتي يتم إزالتها لاحقًا بواسطة سائل التبريد.
3. اختيار الزيت والتحكم في درجة الحرارة: تلبية متطلبات التشغيل المستقرة لشركة Firmus على مدار العام
لتلبية متطلبات شركة فيرموس "على مدار العام دون انقطاع"، تم تنفيذ التحسين المكرر في تصميم نظام اختيار الزيت وتوزيعه:
• اختيار الزيت: زيت عازل معدني عالي الجودة مع موصلية حرارية تبلغ 1.14 وات/م·ك، وجهد انهيار ≥ 50 كيلو فولت (لمنع التلف الكهربائي للأجهزة)، ولزوجة منخفضة الحرارة ≤ 20 مم²/ثانية (لاستيعاب درجات الحرارة المنخفضة في مركز بيانات سيدني خلال فصل الشتاء ومنع تدهور السيولة).
التحكم في درجة الحرارة: صُمم مبادل حراري خارجي ثنائي الدورة للحفاظ على درجة حرارة زيت مستقرة عند حوالي 40 درجة مئوية (بمدى تذبذب ±2 درجة مئوية). هذا يمنع انخفاض كفاءة تبديد الحرارة الناتج عن ارتفاع درجة حرارة الزيت، حتى عند تشغيل Firmus بكامل طاقته في الصيف (ثماني وحدات معالجة رسومية تُجري تدريبًا على نماذج كبيرة في وقت واحد).
• التكرار: المبادل الحراري مزود بمجموعة مضخات احتياطية. في حال تعطل المضخة الرئيسية، يمكن تشغيل المضخة الاحتياطية خلال 0.5 ثانية، مما يُلبي متطلبات شركة فيرموس للموثوقية، والتي تنص على "عدم انقطاع لأكثر من ساعة واحدة سنويًا".
4- تسليم عينات شركة فيرموس: التحقق من الميزان على 3,000 قطعة
ولضمان استقرار الحل، قمنا بتسليم 3,000 وحدة تبريد بالزيت الغاطس إلى شركة FIRMUS في ثلاث دفعات، لتغطية متطلبات الاختبار لمجموعات الحوسبة الخمس الخاصة بها:
الدفعة الأولى من 1,000 وحدة (أكتوبر 2024): استُخدمت لاختبار الحمل الكامل لخادم واحد للتحقق من درجات حرارة النواة. باستخدام مشتت حراري جيد، تم التحكم في درجة حرارة وحدة معالجة الرسومات (GPU) بالكامل عند حوالي 68 درجة مئوية. تم تسليم هذه الوحدة بنجاح للمستخدم النهائي، محققةً كفاءة استخدام إجمالية تبلغ حوالي 1.145 في مركز البيانات. الدفعة الثانية من 900 وحدة (أبريل 2025): نُشرت في مجموعة مكونة من 100 خادم لاختبار تنسيق التبريد في بيئة عالية الكثافة؛ ومرة أخرى، كان الأداء مستقرًا، مع التحكم المثالي في درجة حرارة وحدة معالجة الرسومات عند أقل من 68 درجة مئوية.
الدفعة الثالثة المكونة من 1200 وحدة (سبتمبر 2025): استُخدمت في اختبار حمل خزانة في سنغافورة للتحقق من ثباتها في بيئة عالية الحرارة تبلغ 45 درجة مئوية. ومرة أخرى، تم التحكم في درجة حرارة وحدة معالجة الرسومات (GPU) بشكل مستقر عند أقل من 68 درجة مئوية، مما يُثبت تمامًا أن حلنا التصميمي يُعالج تمامًا مشاكل الإدارة الحرارية لوحدة معالجة الرسومات H200.
5. نتائج الحلول: من بيانات المختبر إلى ردود الفعل الواقعية من Firmus
تُظهر بيانات اختبارنا وملاحظات فيرمُس العملية مزايا حل التبريد بالزيت الغاطس. مؤشرات الأداء الرئيسية هي كما يلي:
• درجة حرارة نواة وحدة معالجة الرسومات: مستقرة عند حوالي 68 درجة مئوية تحت الحمل الكامل، بانخفاض قدره 22 درجة مئوية مقارنةً بحل تبريد الهواء السابق من Firmus (90 درجة مئوية فأكثر). لم يتعرض H200 لانخفاض في الأداء، مما زاد من قوة الحوسبة المُخرَجة بنسبة 18% تقريبًا (وقلّل من وقت تدريب النماذج الكبيرة من Firmus بنسبة 15% تقريبًا).
• مستوى الضوضاء: مركز البيانات تم تخفيض مستويات الضوضاء من 65 ديسيبل إلى أقل من 10 ديسيبل (بما يتوافق تمامًا مع حدود الضوضاء التي وضعها منتزه سيدني للتكنولوجيا ومنطقة التكنولوجيا الفائقة في سنغافورة).
مقارنة استهلاك الطاقة: تقع المبادلات الحرارية الخارجية لنظام تبريد زيت الغمر على أسطح جميع مباني الحرم الجامعي. بفضل تبريد الهواء الحر والمراوح الذكية، يتم الحفاظ على درجة حرارة سائل التبريد الداخل عند 45 درجة مئوية باستمرار قبل وصوله إلى غرفة حاسوب مركز البيانات. بالمقارنة مع استهلاك طاقة مروحة الهواء البالغة 400 واط حل التبريدينخفض استهلاك الطاقة الإضافي بنسبة 62.5%. وفقًا لشركة Firmus... بحساب مقياس 1,000 خادم، يمكن أن يوفر هذا تكاليف كهرباء عالية سنويًا، مما يجعل تأجير الخوادم أكثر ربحية.
• موثوقية العينة: خلال فترة الاختبار التي استمرت 12 شهرًا لشركة Firmus، لم تواجه أي من العينات البالغ عددها 3,000 فشلًا في التبريد، مما أدى إلى معدل فشل صفري، مما يلبي متطلبات "الموثوقية العالية".
الملخص والتوقعات: يوفر تبريد زيت الغمر مسارًا جديدًا لمراكز بيانات الذكاء الاصطناعي عالية الكثافة
بناءً على خبرتنا في تخصيص حلول FIRMUS وتقديم 3,000 عينة، علمنا أنه بالنسبة لخوادم وحدات معالجة الرسومات عالية الكثافة، مثل NVIDIA H200 ثماني البطاقات، فإن التبريد الهوائي التقليدي يواجه صعوبة في التغلب على اختناقات التدفق الحراري العالي، والضوضاء العالية، وانخفاض الموثوقية، ومعامل كفاءة استخدام الطاقة (PUE) الذي يقارب 1.1. أما التبريد بالزيت الغاطس، من خلال الجمع بين الوسائط المُحسّنة والتصميم المُخصص، فلا يُعالج فقط مشاكل درجة حرارة النواة، بل يتكيف أيضًا مع الاحتياجات الشخصية لمختلف السيناريوهات (مثل كثافة FIRMUS العالية، وانخفاض الضوضاء، والموثوقية العالية).
نخطط مستقبلًا للتعاون مع شركة FIRMUS لتطوير حل أكثر كفاءةً قائم على لوحة تبريد سائلة + سبيكة سائلة لوحدات معالجة الرسومات NVIDIA GB200 وGB300، مما يُحسّن هيكل التبريد لخوادم وحدات معالجة الرسومات من الجيل التالي. هدفنا هو الحفاظ على درجات حرارة الزيت أقل من 45 درجة مئوية مع الحفاظ على درجات حرارة وحدة معالجة الرسومات أقل من 70 درجة مئوية. سنعمل أيضًا على توحيد الخبرة العملية لشركة FIRMUS ومواصلة تقديم الدعم الفني لمشاريعها العام المقبل، وتوفير حل تبريد زيت غمر قابل لإعادة الاستخدام لمزيد من مصانع الذكاء الاصطناعي في الخارج.
