كم تحتاج من ذاكرة كرت الشاشة (VRAM) لتشغيل نموذج بحجم 70 مليار معلمة؟ أمثلة محسوبة من محاكي UBM

يحتاج نموذج بحجم 70 مليار معلمة، مثل Llama 3.3 70B، إلى 141 GB من ذاكرة كرت الشاشة (VRAM) لأوزانه بدقة 16 بت، و74 GB بدقة 8 بت، و41 GB بدقة 4 بت، إضافة إلى ذاكرة لكل محادثة. وبدقة 4 بت مع عشر محادثات بطول 8K توكن يكفيه كرت واحد بذاكرة 80 GB. ويكفي كرت مماثل gpt-oss-120b رغم معلماته البالغة 117B.

عند حساب متطلبات تشغيل نموذج ذكاء اصطناعي محلياً، لا يكفي عدد المعلمات وحده لتحديد مواصفات السيرفر. فنموذجان يحملان وصف "70B" قد يحتاجان إلى أجهزة مختلفة تماماً: نموذج Jais 2 70B المصمَّم للعربية أولاً، الذي طوّرته MBZUAI وInception وCerebras، يحتفظ لكل محادثة بستة أضعاف الذاكرة التي يحتفظ بها Llama 3.3 70B، ولذلك يحتاج الأشخاص العشرة أنفسهم، بدقة 4 بت، إلى كرت واحد بذاكرة 141 GB بدل كرت واحد بذاكرة 80 GB.

كل الأرقام في هذا المقال مأخوذة من حاسبة متطلبات تشغيل النماذج اللغوية لدى UBM، أي محاكي البنية التحتية للذكاء الاصطناعي، وقد شُغّل في 1 أكتوبر 2026. وكل مثال محسوب مربوط بالحمل نفسه في المحاكي، حيث تغيّر المدخلات بنفسك وترى الخوادم الكاملة التي يقترحها. أرقام الذاكرة حساب مبني على البنية المنشورة لكل نموذج وعلى افتراضات المحاكي المذكورة (حجم الأوزان المكمّمة وبيئة التشغيل ونسبة 92% القابلة للاستخدام)، أما السرعات فتقديرات بهامش 25% زيادة أو نقصاً تقريباً. ولعرض نطاق الذاكرة والطاقة والتبريد وطبقة التشغيل، راجع دليلنا عن تشغيل الذكاء الاصطناعي على خوادمك الخاصة في الإمارات.

متطلبات تشغيل نموذج ذكاء اصطناعي محلياً: كم VRAM يحتاج نموذج 70B؟

اجمع ثلاثة أشياء، ثم قارن المجموع بالجزء الذي يستطيع محرّك التشغيل (Serving engine) مثل vLLM استخدامه من كل كرت:

• الأوزان (Weights). عدد المعلمات (Parameters) مضروباً في عدد البايتات لكل معلمة. تضم النسخة التي نشرتها Meta من Llama 3.3 70B نحو 70.55 مليار معلمة، لكل منها 2 بايت (BF16)، أي 141.1 GB. وتضم نسخة Jais 2 70B نحو 72.04 مليار معلمة، أي 144.1 GB.
• ذاكرة المحادثات (KV cache). لكل توكن في كل محادثة تحفظ كل طبقة مفتاحاً وقيمة (Key وValue) حتى لا تعيد حسابهما، وحجمها: 2 × عدد الطبقات × رؤوس المفاتيح والقيم × القيم في كل رأس × البايتات لكل قيمة.
• بيئة التشغيل (Runtime). يحجز المحاكي 2.5 GB في كل كرت لبيئة برمجيات GPU ومخازن الاتصال، إضافة إلى ذاكرة عمل لقراءة الطلبات على دفعات من 8,192 توكن، أي 4.6 GB إجمالاً لنموذج Llama 3.3 70B و4.4 GB لنموذج Jais 2 70B على كرت واحد، وأقل لكل كرت عند تقسيم النموذج.
• الجزء القابل للاستخدام. يحتسب المحاكي 92% من ذاكرة كل كرت: فالكرت ذو 80 GB يعطي 73.6 GB، والكرت ذو 141 GB يعطي 129.7 GB.

وحدة GB في هذا المقال تساوي مليار بايت.

الأوزان بدقة 16 و8 و4 بت

كلما قلّ عدد البايتات لكل معلمة صغرت الأوزان، وهذا ما يُسمّى التكميم (Quantization). فصيغ 8 بت (FP8 أو INT8) تخزّن نحو بايت واحد لكل معلمة، وصيغ 4 بت مثل AWQ وGPTQ نحو نصف بايت. ويضيف المحاكي عوامل التحجيم (Scaling factors) التي تخزّنها هذه الصيغ، فيصبح المجموع نحو 1.015 و0.53 بايت لكل معلمة، ويُبقي طبقتي التضمين في المدخلات والمخرجات (Embeddings) بدقة 16 بت، ولهذا تزيد أرقام 8 بت قليلاً على نصف أرقام 16 بت.

تقليل الدقة قد يكلّف شيئاً من جودة الإجابات، ويتوقف مقدار ذلك على النموذج وطريقة التكميم والمهمة. لذلك جرّب النموذج المكمَّم على مستنداتك أنت، بالعربية والإنجليزية، قبل أن تبني مواصفات الأجهزة عليه.

ذاكرة المحادثات (KV cache): لماذا يحتاج نموذجان من فئة 70B إلى كروت مختلفة؟

لأن أحدهما يحتفظ لكل توكن بستة أضعاف ما يحتفظ به الآخر. تذكر ورقة Llama 3 من Meta أن بنية نموذج 70B تضم 80 طبقة، وبُعداً قدره 8,192، و64 رأس انتباه تتشارك 8 رؤوس للمفاتيح والقيم، وهو تصميم يُسمّى الانتباه بالاستعلامات المجمّعة (GQA). وتؤكد بطاقة نموذج Llama 3.3 أن نموذج 70B يستخدم GQA، ونفترض هنا البنية نفسها. أما التقرير التقني لنموذج Jais 2 فيذكر أن Jais 2 70B يضم 68 طبقة و56 رأس انتباه بآلية الانتباه متعدد الرؤوس (Multi-head attention)، أي أن لكل رأس مفاتيحه وقيمه. وفي Llama يعطي تقسيم 8,192 على 64 رأساً 128 قيمة لكل رأس، ويذكر تقرير Jais 2 البُعد نفسه للرأس، أي 128.

بمعدل 2 بايت لكل قيمة، يحفظ Llama 3.3 70B لكل توكن 2 × 80 × 8 × 128 × 2 = 327,680 بايت (320 KiB)، ويحفظ Jais 2 70B ما مقداره 2 × 68 × 56 × 128 × 2 = 1,949,696 بايت (1,904 KiB)، أي 5.95 ضعفاً.

نصف طبقات gpt-oss-120b لا ينظر إلا إلى آخر 128 توكن، بحسب ملف إعداداته، فتتوقف ذاكرتها عن النمو عند هذا الحد، ويضيف النموذج بعده 36 KiB لكل توكن.

وذاكرة المحادثات بدقة 8 بت تخفّض حجم كل محادثة إلى النصف. يوفّرها vLLM عبر خيار ذاكرة KV المكمّمة، وتقول وثائقه إنها قد تخفّض حجم هذه الذاكرة بشكل كبير، والمحاكي يعتمدها افتراضياً، وكل الأمثلة التالية مبنية عليها. ويحجز المحاكي لكل محادثة طولها الكامل، وهو الافتراض الآمن عند تحديد المواصفات. أما في التشغيل الفعلي فيخصّص vLLM هذه الذاكرة في صفحات صغيرة كلما امتلأت، وهي الطريقة الموصوفة في ورقة PagedAttention، فتترك المحادثات الأقصر مكاناً لمحادثات أكثر. وتذكر بطاقة نموذج Jais 2 70B أن طول السياق فيه 8,192 توكن، فمحادثة بطول 8K هي أطول ما يستوعبه.

أمثلة محسوبة: 10 و50 مستخدماً

في الجدول التالي النموذجان بثلاثة مستويات من الدقة، مع 10 أشخاص ثم 50 شخصاً يجرون محادثات بطول 8K توكن في اللحظة نفسها، وذاكرة المحادثات بدقة 8 بت. وذاكرة المحادثات لا تتغيّر بتغيّر دقة الأوزان: 13.4 GB لعشرة مستخدمين و67.1 GB لخمسين على Llama 3.3 70B، مقابل 79.9 GB و399.3 GB على Jais 2 70B. والمجموع في الجدول هو الأوزان مع ذاكرة المحادثات، فأضف نحو 4.5 GB لبيئة التشغيل على كرت واحد (وأقل لكل كرت عند تقسيم النموذج)، وتذكّر أن 92% فقط من كل كرت قابلة للاستخدام.

في Llama 3.3 70B تحدّد الدقة نوع الكرت. تتبّعه وهو ينزل في الدقة على كرت واحد: بدقة 16 بت تحتاج الأوزان البالغة 141.1 GB مع 4.6 GB لبيئة التشغيل، أي 145.8 GB، إلى كرت بذاكرة 192 GB مثل AMD Instinct MI300X. وبدقة 8 بت يبلغ المجموع 78.3 GB، وهو أكثر من 73.6 GB التي يمكن استخدامها من كرت 80 GB، فينتقل إلى كرت بذاكرة 96 GB مثل NVIDIA RTX PRO 6000 Blackwell Server Edition. وبدقة 4 بت يبلغ 45.2 GB، أي أكثر بنحو 1 GB مما يمكن استخدامه من كرت L40S بذاكرة 48 GB، فيستقر على كرت H100 واحد بذاكرة 80 GB. ويضيف 10 مستخدمين 13.4 GB، فيصبح المجموع 58.6 GB ويبقى النموذج على الكرت نفسه، أما 50 مستخدماً فيضيفون 67.1 GB، فيصبح المجموع 112.3 GB وينتقل النموذج إلى كرت H200 واحد بذاكرة 141 GB.

أما في Jais 2 70B فعدد الأشخاص هو ما يحدّد الكرت. فبدقة 4 بت تبلغ ذاكرة 50 محادثة نحو عشرة أضعاف حجم الأوزان.

أي كرت شاشة يناسب Llama 3.3 70B وJais 2 70B؟

احسب عدد كروت GPU المتماثلة التي تتّسع للأوزان وبيئة التشغيل وكل المحادثات. داخل السيرفر الواحد يقسم المحاكي النموذج بالتساوي على 1 أو 2 أو 4 أو 8 كروت (Tensor parallelism)، فتتوزّع بينها الأوزان وذاكرة كل محادثة معاً، وبعد ثمانية كروت يقسم الطبقات بين الخوادم.

هذا أصغر عدد من 1 أو 2 أو 4 أو 8 أو 16 كرتاً متماثلاً تتّسع ذاكرتها القابلة للاستخدام للأوزان وبيئة التشغيل وكل المحادثات بطول 8K توكن، مع ذاكرة محادثات بدقة 8 بت. والحساب هنا للذاكرة فقط، إذ يتحقق المحاكي من السرعة بشكل منفصل، ويراعي في ترتيب الخيارات السعر والطاقة والمساحة في الرف أيضاً. والرقم 16 يعني خادمين في كل منهما ثمانية كروت، والنموذج مقسوم بينهما.

والنمط واضح: في Jais 2 70B مع 50 مستخدماً لا توفّر أوزان 4 بت أي كرت مقارنة بأوزان 8 بت، لأن ذاكرة المحادثات، لا الأوزان، هي التي تملأ الكروت. فإن كان Jais 2 70B هو النموذج الذي تحتاجه للعربية، فابدأ ميزانيتك بذاكرة المحادثات.

وهذه خمسة سيناريوهات بالتفصيل. عدد الكروت هنا هو أصغر عدد من نوع واحد من الكروت يتّسع للحمل، والأرقام هي حساب المحاكي لهذا العدد بالضبط. ويفتح اسم كل سيناريو الحمل نفسه في المحاكي، وهو يرتّب خوادم كاملة بحسب التكلفة، لكل منها عدد ثابت من الكروت، فقد يظهر في أول القائمة خادم أكبر أو مختلف:

مخرجات المحاكي في 1 أكتوبر 2026. السرعات تقديرية، على افتراض أن كل المحادثات تولّد النص في الوقت نفسه.

هل يعمل gpt-oss-120b على كرت واحد؟

نعم. يذكر مستودع gpt-oss لدى OpenAI أن gpt-oss-120b، بمعلماته البالغة 117B منها 5.1B نشطة، يعمل على كرت GPU واحد بذاكرة 80 GB مثل NVIDIA H100 (وتذكر OpenAI أيضاً AMD MI300X، وذاكرته 192 GB)، وأن gpt-oss-20b يعمل ضمن 16 GB من الذاكرة، لأن أوزان خليط الخبراء (Mixture of Experts) خضعت في مرحلة ما بعد التدريب لتكميم MXFP4. أما بقية الموترات (Tensors) فبدقة BF16.

وهو مرجع مفيد لأنه يبيّن أن عدد المعلمات ليس هو حجم الذاكرة. فنسخة 120b حجمها 65.2 GB لـ 117 مليار معلمة، أي أقل من نصف حجم Llama 3.3 70B بدقة 16 بت. وذاكرة محادثاته صغيرة أيضاً، فيتّسع كرت H100 واحد بذاكرة 80 GB، بحساب المحاكي لكرت واحد، لـ 33 محادثة بطول 8K توكن بجانب الأوزان. ولأن كل توكن لا يقرأ إلا المعلمات النشطة البالغة 5.1 مليار، يقدّر المحاكي نحو 110 توكن في الثانية لكل شخص عند 10 أشخاص على هذا الكرت الواحد، مقابل 52 لنموذج Llama 3.3 70B بدقة 4 بت على الكرت نفسه. جرّبه في المحاكي مع نموذج gpt-oss-120b.

عوامل أخرى تغيّر الإجابة

• طول المحادثة. تكبر ذاكرة المحادثة مع كل توكن. فبطول 32K توكن تحتاج محادثة Llama 3.3 70B إلى 5.4 GB بذاكرة 8 بت، فيتّسع كرت H100 بذاكرة 80 GB وأوزان 4 بت لـ 5 محادثات بدل 21، ويتّسع كرت H200 بذاكرة 141 GB لـ 15 بدل 62.
• دقة ذاكرة المحادثات. ذاكرة بدقة 16 بت تضاعف حجم كل محادثة: فكرت H200 بذاكرة 141 GB مع Jais 2 70B بدقة 4 بت يتّسع حينها لـ 5 محادثات بطول 8K توكن بدل 10.
• السرعة. الذاكرة تحدّد ما إذا كان النموذج سيعمل أصلاً، وعرض نطاق الذاكرة يحدّد سرعة الإجابة. ونموذج 70B الكثيف (Dense) يقرأ كل أوزانه مع كل توكن، ولهذا يجيب gpt-oss-120b، بمعلماته النشطة الأقل بكثير، أسرع على الكرت نفسه.
• مساحة للنمو. السيرفر المحسوب على عدد المستخدمين الحالي بالضبط لا يترك شيئاً للفريق التالي أو لمستند أطول. اترك هامشاً، أو اختر هيكلاً فيه فتحات GPU فارغة.

التراخيص: أوزان مفتوحة بشروط مختلفة

راجع الترخيص مع الأجهزة. يُطرح Jais 2 70B بترخيص Apache 2.0 بحسب بطاقة النموذج، وكذلك gpt-oss. أما Llama 3.3 فيُطرح بموجب اتفاقية ترخيص Llama 3.3 Community License، التي تصفها بطاقة النموذج لدى Meta بأنها ترخيص تجاري مخصّص. وهي تلزم من يوزّع النموذج أو يتيحه، أو منتجاً أو خدمة تتضمّنه، بعرض عبارة "Built with Llama"، وتلزم كل من تجاوز عدد المستخدمين النشطين شهرياً لمنتجاته 700 مليون في الشهر الميلادي السابق لتاريخ إصدار Llama 3.3 بأن يطلب ترخيصاً من Meta. وتقول مبادرة المصدر المفتوح (OSI) إن شروط ترخيص Llama 3.x لا تستوفي تعريفها للمصدر المفتوح.

كيف تتعامل UBM مع ذلك

نحدّد المواصفات انطلاقاً من حجم العمل لا من عدد المعلمات: أي نموذج، وكم شخصاً يستخدمه في الوقت نفسه، وما طول محادثاتهم، وما السرعة المطلوبة للإجابات. نحسب الأرقام في المحاكي معك، ونختبر النموذج بالدقة التي تنوي استخدامها على مستنداتك خلال تجربة محدودة النطاق، ونترك هامشاً للنمو قبل طلب أي جهاز. وتأتي الخوادم من الشركات المصنّعة التي نورّد منتجاتها أصلاً، مع مسرّع يُختار بحسب النموذج، ونتحقق من قدرة الغرفة على الطاقة والتبريد مقابل أقصى استهلاك. ثم يركّب مهندسونا الأجهزة والشبكة وطبقة التشغيل، ويتولّون دعمها بعد ذلك. التفاصيل في صفحة حلول الذكاء الاصطناعي، وإن كان النموذج سيمتد على أكثر من سيرفر فمقالنا عن Cat 6A أو الألياف الضوئية يغطي جانب الكابلات. ولتحديد مواصفات نموذج لفريقك، تحدّث إلى مهندس من UBM.

أسئلة يطرحها الناس

كم أحتاج من ذاكرة VRAM لتشغيل نموذج 70B؟

للأوزان وحدها: 141 GB بدقة 16 بت، و74 GB بدقة 8 بت، و41 GB بدقة 4 بت لنموذج Llama 3.3 70B (و144 و75 و41 GB لنموذج Jais 2 70B). أضف ذاكرة لكل محادثة ونحو 4.5 GB لبيئة التشغيل على كرت واحد (وأقل لكل كرت عند تقسيم النموذج)، واحتسب 92% فقط من ذاكرة كل كرت.

هل يعمل نموذج 70B على كرت شاشة واحد؟

نعم، إذا كانت ذاكرة الكرت كافية للدقة المختارة. فمن بين الكروت المقارنة هنا، يحتاج Llama 3.3 70B على كرت واحد إلى 192 GB على الأقل بدقة 16 بت، و96 GB بدقة 8 بت، و80 GB بدقة 4 بت. أما كرت 48 GB فينقصه نحو 1 GB حتى بدقة 4 بت.

هل يعمل gpt-oss-120b على كرت GPU واحد؟

نعم. تقول OpenAI إنه يعمل على كرت واحد بذاكرة 80 GB مثل H100، لأن أوزان الخبراء فيه تُطرح بصيغة MXFP4 ذات 4 بت. وبجانب أوزانه البالغة 65.2 GB، يتّسع كرت H100 واحد بذاكرة 80 GB، بحساب المحاكي لكرت واحد، لـ 33 محادثة بطول 8K توكن.

لماذا يحتاج Jais 2 70B إلى ذاكرة أكبر من Llama 3.3 70B؟

بسبب ذاكرة المحادثات في الأساس. يستخدم Jais 2 70B الانتباه متعدد الرؤوس، مع 56 رأساً للمفاتيح والقيم في كل طبقة من طبقاته الثماني والستين، بينما يتشارك Llama 3.3 70B ثمانية رؤوس فقط في كل طبقة من طبقاته الثمانين. والنتيجة 1,904 KiB لكل توكن مقابل 320 KiB، أي نحو ستة أضعاف لكل محادثة.

كم مستخدماً يخدم كرت واحد بذاكرة 80 GB على نموذج 70B؟

بأوزان 4 بت ومحادثات بطول 8K توكن وذاكرة محادثات بدقة 8 بت، تكفي الذاكرة لـ 21 مستخدماً على Llama 3.3 70B، و3 على Jais 2 70B. وبطول 32K توكن ينخفض العدد على Llama إلى 5.

هل يقلّل تكميم 4 بت جودة الإجابات؟

قد يقلّلها، ويتوقف المقدار على النموذج وطريقة التكميم والمهمة. اختبر النموذج المكمَّم على مستنداتك، بكل لغة تعمل بها، قبل أن تشتري الأجهزة على أساسه.

المصادر

• بطاقة نموذج Jais-2-70B-Chat (MBZUAI وInception وCerebras، 2025)
• Jais 2: A Family of Arabic-Centric Open Large Language Models (فريق Jais، 2026)
• نسخة Llama-3.3-70B-Instruct المنشورة (Meta، 2024)
• بطاقة نموذج Llama 3.3 واتفاقية ترخيص Llama 3.3 Community License (Meta، 2024)
• The Llama 3 Herd of Models (Meta، 2024)
• GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints (Ainslie وآخرون، 2023)
• AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration (Lin وآخرون، 2023) وGPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers (Frantar وآخرون، 2022)
• Efficient Memory Management for Large Language Model Serving with PagedAttention (Kwon وآخرون، 2023)
• Quantized KV Cache (وثائق vLLM، 2026)
• مستودع gpt-oss وملف README وملف إعدادات gpt-oss-120b (OpenAI، 2025)
• Meta's LLaMa license is still not Open Source (مبادرة المصدر المفتوح OSI، 2025)
• مواصفات NVIDIA L40S وH100 وH200 وRTX PRO 6000 Blackwell Server Edition (NVIDIA، 2026)
• مواصفات AMD Instinct MI300X (AMD، 2026)