معركة النماذج في مجال الذكاء الاصطناعي مستمرة، ولكن الآفاق التجارية لا تزال غير واضحة
في الشهر الماضي، شهدت界 الذكاء الاصطناعي "صراع الحيوانات". من جهة هناك نموذج Llama من Meta، الذي نال شعبية واسعة بين المطورين بسبب طبيعته مفتوحة المصدر. بعد دراسة Llama، طورت شركة NEC اليابانية بسرعة النسخة اليابانية من ChatGPT. ومن جهة أخرى، هناك نموذج كبير يسمى Falcon، الذي تصدر قائمة LLM مفتوحة المصدر بعد إصدارها في مايو.
من المثير للاهتمام أن Falcon لم يتم تطويره من قبل شركة تكنولوجيا، بل تم تطويره من قبل معهد أبوظبي للابتكار التكنولوجي في الإمارات العربية المتحدة. وذكر المسؤولون الإماراتيون أنهم يشاركون في هذا المجال من أجل "إحداث ثورة في اللاعبين الرئيسيين". في اليوم التالي لإطلاق إصدار Falcon 180B، تم اختيار وزير الذكاء الاصطناعي في الإمارات ضمن قائمة "أكثر 100 شخصية تأثيرًا في مجال الذكاء الاصطناعي" من مجلة تايم.
في الوقت الحاضر، دخلت مجالات الذكاء الاصطناعي مرحلة تنافسية حيث تعمل الدول والشركات القوية على بناء نماذجها الكبيرة الخاصة. فقط في منطقة الخليج، اشترت المملكة العربية السعودية مؤخرًا أكثر من 3000 شريحة H100 للجامعات المحلية من أجل تدريب نماذج اللغة الكبيرة.
استثمر شخص في وسائل التواصل الاجتماعي قائلاً: "في ذلك الوقت، كنت أستخف بابتكار نماذج الأعمال على الإنترنت، واعتقدت أنه لا توجد حواجز. لم أتوقع أن ريادة الأعمال في النماذج الكبيرة للتكنولوجيا الصلبة لا تزال حرب مئات النماذج..."
كيف تحول ما يُ称 بأنه تكنولوجيا صعبة الوصول إلى منافسة يمكن للجميع المشاركة فيها؟
المحول يغير قواعد اللعبة
تعود قدرة الشركات الناشئة في جميع أنحاء العالم، والعمالقة التكنولوجيين، وأباطرة النفط على مطاردة أحلام النماذج الكبيرة إلى الورقة البحثية التي نشرتها جوجل في عام 2017 بعنوان "الاهتمام هو كل ما تحتاجه". وقد كشفت هذه الورقة عن خوارزمية Transformer، مما جعلها الشرارة التي أشعلت هذه الموجة الحالية من الذكاء الاصطناعي. جميع النماذج الكبيرة الحالية، بغض النظر عن جنسيتها، بما في ذلك سلسلة GPT التي أحدثت ضجة في العالم، تعتمد على أساس Transformer.
في السابق، كانت "تعليم الآلة القراءة" تمثل تحديًا أكاديميًا معترفًا به. على عكس التعرف على الصور، فإن الإنسان أثناء القراءة لا يركز فقط على الكلمات والجمل الحالية، بل يدمج أيضًا السياق لفهم المعنى. كانت المدخلات في الشبكات العصبية المبكرة مستقلة عن بعضها البعض، مما جعل من الصعب فهم النصوص الطويلة أو حتى المقالات بالكامل، مما أدى إلى ظهور مشكلات مثل ترجمة "غرفة المياه المفتوحة" إلى "open water room".
في عام 2014، بعد العمل في جوجل، انتقل عالم الكمبيوتر إيليا سوتسكيڤر(Ilya Sutskever) إلى OpenAI وحقق突破اً رائداً. استخدم الشبكات العصبية المتكررة(RNN) لمعالجة اللغة الطبيعية، مما جعل أداء ترجمة جوجل يتفوق بشكل كبير على المنافسين. اقترح RNN "تصميم دائري"، مما سمح لكل خلية عصبية بأن تستقبل كل من المدخلات في الوقت الحالي والمدخلات في اللحظة السابقة، وبالتالي اكتسبت القدرة على "دمج السياق".
أدى ظهور RNN إلى إشعال حماس البحث في الأوساط الأكاديمية، حيث كان مؤلف ورقة Transformer شازير ( نوام شازير ) قد انغمس في ذلك أيضًا. لكن المطورين اكتشفوا بسرعة أن RNN لديها عيوب خطيرة: تستخدم الخوارزمية حسابات متسلسلة، وعلى الرغم من أنها تستطيع حل مشكلة السياق، إلا أن كفاءتها التشغيلية منخفضة، مما يجعل من الصعب معالجة كميات كبيرة من المعلمات.
أزعج تصميم RNN المعقد شازيل. منذ عام 2015، بدأ هو وسبعة من الأصدقاء في تطوير بديل لـ RNN، وكانت النتيجة النهائية هي Transformer. بالمقارنة مع RNN، فإن Transformer له ابتكارتان رئيسيتان: الأولى هي استبدال التصميم الدوري بترميز الموقع، مما يحقق حساباً متوازياً، ويزيد بشكل كبير من كفاءة التدريب، مما دفع الذكاء الاصطناعي إلى عصر النماذج الكبيرة؛ والثانية هي تعزيز قدرة الفهم السياقي.
حل Transformer العديد من العيوب دفعة واحدة، وأصبح تدريجياً الحل السائد في معالجة اللغة الطبيعية NLP(. حتى إليا تخلى عن RNN الذي أنشأه، وانتقل إلى معسكر Transformer. يمكن القول إن Transformer هو جد جميع النماذج الكبيرة اليوم، فقد حول النماذج الكبيرة من بحث نظري إلى مشكلة هندسية بحتة.
في عام 2019، طورت OpenAI نموذج GPT-2 بناءً على Transformer، مما صدم الأوساط الأكاديمية. ثم أطلقت Google نموذج الذكاء الاصطناعي الأحدث Meena. بالمقارنة مع GPT-2، لم يكن هناك أي ابتكار في الخوارزمية لـ Meena، بل تم زيادة عدد معلمات التدريب بمقدار 8.5 مرة وقوة الحوسبة بمقدار 14 مرة. كان المؤلف الأصلي لـ Transformer، شازيل، مذهولًا من هذا "التكديس العنيف"، وكتب ملاحظة بعنوان "Meena تلتهم العالم".
بعد ظهور Transformer، تباطأت سرعة الابتكار في الخوارزميات الأساسية في الأوساط الأكاديمية بشكل كبير. أصبحت عوامل الهندسة مثل هندسة البيانات، وحجم القوة الحاسوبية، وبنية النموذج، عوامل حاسمة في المنافسة في مجال الذكاء الاصطناعي. يمكن لأي شركة تقنية تمتلك مهارات تقنية معينة تطوير نموذج كبير.
قال عالم الكمبيوتر أندرو Ng خلال حديثه في جامعة ستانفورد: "الذكاء الاصطناعي هو مجموعة من الأدوات، بما في ذلك التعلم تحت الإشراف، والتعلم غير الخاضع للإشراف، والتعلم المعزز، بالإضافة إلى الذكاء الاصطناعي التوليدي الذي نشهده الآن. كل هذه تقنيات عامة، تشبه التقنيات العامة الأخرى مثل الكهرباء والإنترنت."
تظل OpenAI بلا شك رائدة في مجال LLM، لكن مؤسسة تحليل أشباه الموصلات Semi Analysis تعتقد أن قوة GPT-4 التنافسية تأتي من الحلول الهندسية - إذا تم فتح المصدر، يمكن لأي منافس نسخها بسرعة. يتوقع المحلل أنه قد لا يمر وقت طويل قبل أن تتمكن شركات التكنولوجيا الكبرى الأخرى من تطوير نماذج كبيرة تعادل أداء GPT-4.
أين يتم إنشاء الخندق الدفاعي؟
حالياً، لم يعد "معركة النماذج الكبيرة" مجرد مجاز، بل أصبح واقعاً. وفقاً للتقارير، حتى يوليو من هذا العام، بلغ عدد النماذج الكبيرة في الصين 130 نموذجًا، متجاوزًا الولايات المتحدة التي لديها 114 نموذجًا، وأصبحت الأساطير والقصص الخيالية تقريبًا غير كافية لتسمية الشركات التكنولوجية المحلية.
بخلاف الصين والولايات المتحدة، حققت دول غنية أخرى أيضًا "نموذج دولة واحدة " في مراحل مبكرة: اليابان، الإمارات العربية المتحدة، بالإضافة إلى Bhashini التي تقودها الحكومة الهندية، و HyperClova X التي طورتها شركة Naver الكورية. يبدو أن هذا المشهد قد عاد بنا إلى عصر فقاعة الإنترنت، حيث تتسابق الأطراف المختلفة لإحراق الأموال للدخول في السوق.
كما ذكر سابقًا، جعلت Transformer النماذج الكبيرة مسألة هندسية بحتة، طالما أن هناك تمويلًا وأجهزة، فإن الباقي هو تحسين المعلمات. لكن انخفاض عتبة الدخول لا يعني أن الجميع يمكنهم أن يصبحوا عمالقة في عصر الذكاء الاصطناعي.
تعتبر "صراع الحيوانات" المذكور في بداية المقالة حالة نموذجية: على الرغم من أن Falcon قد تجاوز Llama في الترتيب، إلا أنه من الصعب القول إنه أحدث تأثيرًا كبيرًا على Meta. من المعروف أن الشركات تفتح مصادر نتائج أبحاثها العلمية، ليس فقط لمشاركة فوائد التكنولوجيا، ولكن أيضًا على أمل تحفيز الحكمة الاجتماعية. مع استمرار مختلف القطاعات في استخدام وتحسين Llama، يمكن لـ Meta تطبيق هذه النتائج على منتجاتها.
بالنسبة للنماذج الكبيرة مفتوحة المصدر، فإن مجتمع المطورين النشط هو القوة التنافسية الأساسية. قامت ميتا بتأسيس مختبر الذكاء الاصطناعي في عام 2015 ووضعت مساراً مفتوحاً؛ زوكربيرج الذي بدأ من وسائل التواصل الاجتماعي يفهم أهمية "الحفاظ على علاقات الجمهور".
على سبيل المثال في أكتوبر، نظمت ميتا حدث "تحفيز منشئي المحتوى بالذكاء الاصطناعي": المطورون الذين يستخدمون Llama 2 لحل المشكلات الاجتماعية مثل التعليم والبيئة لديهم فرصة للحصول على منحة قدرها 500,000 دولار. اليوم، أصبحت سلسلة Llama من ميتا معيارًا لنماذج اللغة المفتوحة المصدر.
حتى بداية أكتوبر، كان هناك 8 من بين أعلى 10 نماذج LLM مفتوحة المصدر على منصة مشهورة تعتمد على Llama 2، وجميعها تستخدم بروتوكولها المفتوح المصدر. فقط على هذه المنصة، تجاوز عدد نماذج LLM التي تستخدم بروتوكول Llama 2 المفتوح المصدر 1500.
بالطبع، من الممكن تحسين الأداء، لكن لا يزال هناك فجوة واضحة بين معظم LLM و GPT-4. على سبيل المثال، مؤخرًا، تصدّر GPT-4 قائمة اختبار AgentBench بنتيجة 4.41. تم إطلاق AgentBench بالتعاون بين جامعة تسينغهوا والعديد من الجامعات الأمريكية المعروفة، ويستخدم لتقييم قدرة LLM على الاستدلال واتخاذ القرار في بيئات التوليد المفتوحة متعددة الأبعاد.
أظهرت نتائج الاختبار أن المركز الثاني Claude حصل على 2.77 نقطة فقط، والفارق لا يزال كبيراً. أما بالنسبة لتلك النماذج المفتوحة المصدر الضخمة، فإن معظمها تتراوح درجاتها حول 1 نقطة، وهو أقل من ربع درجة GPT-4. يجب أن نعرف أن GPT-4 تم إصداره في مارس من هذا العام، وهذه هي نتيجة المنافسين العالميين بعد أكثر من نصف عام.
إن الفجوة الناتجة ترجع إلى فريق العلماء عالي المستوى في OpenAI والخبرة المتراكمة من الأبحاث الطويلة الأمد في LLM، مما يجعلهم دائمًا في موقع الريادة. بعبارة أخرى، لا تكمن القدرة الأساسية للنماذج الكبيرة في المعلمات، بل في بناء النظام البيئي ) مفتوح المصدر ( أو القدرة على الاستدلال البحت ) مغلق المصدر (.
مع تزايد نشاط مجتمع المصادر المفتوحة، قد تتقارب أداءات جميع نماذج اللغة الكبيرة (LLM) لأن الجميع يستخدمون هياكل نماذج ومجموعات بيانات مشابهة. مشكلة أخرى أكثر وضوحًا هي: بخلاف Midjourney، يبدو أنه لا يوجد نموذج كبير آخر قادر على تحقيق الأرباح.
البحث عن نقاط القيمة
في أغسطس من هذا العام، أثار مقال بعنوان "من المحتمل أن تفلس OpenAI بنهاية عام 2024" اهتمامًا. يمكن تلخيص جوهر المقال في جملة واحدة: OpenAI تحرق المال بسرعة كبيرة.
تذكر المقالة أنه منذ تطوير ChatGPT، اتسع亏损 OpenAI بسرعة، حيث بلغ خسارته حوالي 540 مليون دولار في عام 2022، مما يجعله يعتمد فقط على استثمارات مايكروسوفت للدعم. على الرغم من أن عنوان هذه المقالة صادم، إلا أنه يعكس الوضع الحالي للعديد من مقدمي النماذج الكبيرة: عدم التوازن الشديد بين التكاليف والإيرادات.
تسبب ارتفاع التكاليف في أن الشركات التي تحقق أرباحًا كبيرة من الذكاء الاصطناعي حاليًا هي نيفيديا فقط، وربما شركة بروكوم أيضًا. وفقًا لشركة الاستشارات أومديا، تبيع نيفيديا أكثر من 300,000 شريحة H100 في الربع الثاني من هذا العام. هذه شريحة ذكاء اصطناعي فعالة، والشركات التكنولوجية العالمية والمراكز البحثية تتسابق لشرائها. إذا تم تكديس هذه الشرائح الـ 300,000 فوق بعضها، فإن وزنها يعادل 4.5 طائرات بوينغ 747.
ارتفعت عائدات إنفيديا بشكل كبير، حيث زادت الإيرادات بنسبة 854% على أساس سنوي، مما جعل وول ستريت في حالة من الدهشة. ومن الجدير بالذكر أن سعر H100 في سوق المستعمل قد ارتفع إلى 40-50 ألف دولار، في حين أن تكلفة المواد الخاصة به تبلغ حوالي 3000 دولار.
أصبحت تكاليف قوة الحوسبة المرتفعة عائقًا أمام تطوير الصناعة إلى حد ما. قدّرت شركة Sequoia Capital أن شركات التكنولوجيا العالمية ستنفق حوالي 200 مليار دولار سنويًا على بناء البنية التحتية للنماذج الكبيرة؛ بالمقارنة، يمكن أن تحقق النماذج الكبيرة إيرادات تصل إلى 75 مليار دولار سنويًا، مما يعني وجود فجوة لا تقل عن 125 مليار دولار.
علاوة على ذلك، باستثناء عدد قليل من الاستثناءات مثل Midjourney، لم تتمكن معظم شركات البرمجيات من العثور على نموذج ربحي بعد استثمار تكاليف ضخمة. حتى قادة الصناعة مثل مايكروسوفت وأدوبي يواجهون تحديات.
أداة توليد الشيفرات الذكية GitHub Copilot التي طورتها مايكروسوفت بالتعاون مع OpenAI، على الرغم من أنها تتقاضى 10 دولارات في الشهر، إلا أن مايكروسوفت تتكبد خسارة شهرية قدرها 20 دولارًا بسبب تكاليف المرافق، في حين أن المستخدمين الذين يستخدمونها بشكل مكثف يمكن أن يتسببوا في خسارة تصل إلى 80 دولارًا شهريًا. وبالتالي، من المحتمل أن يؤدي تسعير Microsoft 365 Copilot بسعر 30 دولارًا إلى خسائر أكبر.
بنفس الطريقة، أطلقت أدوبي، التي أصدرت أداة Firefly AI، بسرعة نظام نقاط مصاحب لمنع المستخدمين من الاستخدام المفرط الذي قد يؤدي إلى خسائر للشركة. بمجرد أن يتجاوز المستخدم النقاط المخصصة له شهريًا، ستقوم أدوبي بتقليل سرعة الخدمة.
من الجدير بالذكر أن مايكروسوفت وأدوبي هما عملاقان في البرمجيات مع مشاهد أعمال واضحة ولديهما عدد كبير من المستخدمين المدفوعين. بينما لا يزال السيناريو الرئيسي لمعظم النماذج الكبيرة مع العديد من المعلمات هو الدردشة.
لا يمكن إنكار أنه لولا ظهور OpenAI و ChatGPT، قد لا تكون هذه الثورة في الذكاء الاصطناعي قد حدثت؛ لكن في الوقت الحالي، لا يزال هناك شك في القيمة التي يقدمها تدريب النماذج الكبيرة. مع تزايد المنافسة المتماثلة وزيادة عدد النماذج مفتوحة المصدر، قد يواجه مزودو النماذج الكبيرة تحديات أكبر.
نجاح iPhone 4 لا يكمن في معالج A4 بتقنية 45nm، بل في قدرته على تشغيل تطبيقات مثل Plants vs. Zombies وAngry Birds.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 22
أعجبني
22
5
مشاركة
تعليق
0/400
MetaverseLandlord
· 08-01 21:36
ماذا تفعل الآن؟ عليك كسب المال.
شاهد النسخة الأصليةرد0
RektButStillHere
· 08-01 07:14
المال حقًا يمكن أن يتيح لك فعل أي شيء، إنه أمر غير معقول.
شاهد النسخة الأصليةرد0
SigmaBrain
· 07-30 01:56
الألعاب باهظة الثمن حقًا، إذا كان لديك بعض المال يمكنك أن تتمنى أن تغير الأمر.
شاهد النسخة الأصليةرد0
FrogInTheWell
· 07-30 01:53
طموح الإمارات كبير جدًا في هذه المرحلة
شاهد النسخة الأصليةرد0
WalletDetective
· 07-30 01:40
تطوير شيء غير مهم في النهاية يعتمد على سمك المحفظة
خلف معركة نماذج الذكاء الاصطناعي: انخفاض الحواجز التقنية لا يزال مستقبل الأعمال غير واضح
معركة النماذج في مجال الذكاء الاصطناعي مستمرة، ولكن الآفاق التجارية لا تزال غير واضحة
في الشهر الماضي، شهدت界 الذكاء الاصطناعي "صراع الحيوانات". من جهة هناك نموذج Llama من Meta، الذي نال شعبية واسعة بين المطورين بسبب طبيعته مفتوحة المصدر. بعد دراسة Llama، طورت شركة NEC اليابانية بسرعة النسخة اليابانية من ChatGPT. ومن جهة أخرى، هناك نموذج كبير يسمى Falcon، الذي تصدر قائمة LLM مفتوحة المصدر بعد إصدارها في مايو.
من المثير للاهتمام أن Falcon لم يتم تطويره من قبل شركة تكنولوجيا، بل تم تطويره من قبل معهد أبوظبي للابتكار التكنولوجي في الإمارات العربية المتحدة. وذكر المسؤولون الإماراتيون أنهم يشاركون في هذا المجال من أجل "إحداث ثورة في اللاعبين الرئيسيين". في اليوم التالي لإطلاق إصدار Falcon 180B، تم اختيار وزير الذكاء الاصطناعي في الإمارات ضمن قائمة "أكثر 100 شخصية تأثيرًا في مجال الذكاء الاصطناعي" من مجلة تايم.
في الوقت الحاضر، دخلت مجالات الذكاء الاصطناعي مرحلة تنافسية حيث تعمل الدول والشركات القوية على بناء نماذجها الكبيرة الخاصة. فقط في منطقة الخليج، اشترت المملكة العربية السعودية مؤخرًا أكثر من 3000 شريحة H100 للجامعات المحلية من أجل تدريب نماذج اللغة الكبيرة.
استثمر شخص في وسائل التواصل الاجتماعي قائلاً: "في ذلك الوقت، كنت أستخف بابتكار نماذج الأعمال على الإنترنت، واعتقدت أنه لا توجد حواجز. لم أتوقع أن ريادة الأعمال في النماذج الكبيرة للتكنولوجيا الصلبة لا تزال حرب مئات النماذج..."
كيف تحول ما يُ称 بأنه تكنولوجيا صعبة الوصول إلى منافسة يمكن للجميع المشاركة فيها؟
المحول يغير قواعد اللعبة
تعود قدرة الشركات الناشئة في جميع أنحاء العالم، والعمالقة التكنولوجيين، وأباطرة النفط على مطاردة أحلام النماذج الكبيرة إلى الورقة البحثية التي نشرتها جوجل في عام 2017 بعنوان "الاهتمام هو كل ما تحتاجه". وقد كشفت هذه الورقة عن خوارزمية Transformer، مما جعلها الشرارة التي أشعلت هذه الموجة الحالية من الذكاء الاصطناعي. جميع النماذج الكبيرة الحالية، بغض النظر عن جنسيتها، بما في ذلك سلسلة GPT التي أحدثت ضجة في العالم، تعتمد على أساس Transformer.
في السابق، كانت "تعليم الآلة القراءة" تمثل تحديًا أكاديميًا معترفًا به. على عكس التعرف على الصور، فإن الإنسان أثناء القراءة لا يركز فقط على الكلمات والجمل الحالية، بل يدمج أيضًا السياق لفهم المعنى. كانت المدخلات في الشبكات العصبية المبكرة مستقلة عن بعضها البعض، مما جعل من الصعب فهم النصوص الطويلة أو حتى المقالات بالكامل، مما أدى إلى ظهور مشكلات مثل ترجمة "غرفة المياه المفتوحة" إلى "open water room".
في عام 2014، بعد العمل في جوجل، انتقل عالم الكمبيوتر إيليا سوتسكيڤر(Ilya Sutskever) إلى OpenAI وحقق突破اً رائداً. استخدم الشبكات العصبية المتكررة(RNN) لمعالجة اللغة الطبيعية، مما جعل أداء ترجمة جوجل يتفوق بشكل كبير على المنافسين. اقترح RNN "تصميم دائري"، مما سمح لكل خلية عصبية بأن تستقبل كل من المدخلات في الوقت الحالي والمدخلات في اللحظة السابقة، وبالتالي اكتسبت القدرة على "دمج السياق".
أدى ظهور RNN إلى إشعال حماس البحث في الأوساط الأكاديمية، حيث كان مؤلف ورقة Transformer شازير ( نوام شازير ) قد انغمس في ذلك أيضًا. لكن المطورين اكتشفوا بسرعة أن RNN لديها عيوب خطيرة: تستخدم الخوارزمية حسابات متسلسلة، وعلى الرغم من أنها تستطيع حل مشكلة السياق، إلا أن كفاءتها التشغيلية منخفضة، مما يجعل من الصعب معالجة كميات كبيرة من المعلمات.
أزعج تصميم RNN المعقد شازيل. منذ عام 2015، بدأ هو وسبعة من الأصدقاء في تطوير بديل لـ RNN، وكانت النتيجة النهائية هي Transformer. بالمقارنة مع RNN، فإن Transformer له ابتكارتان رئيسيتان: الأولى هي استبدال التصميم الدوري بترميز الموقع، مما يحقق حساباً متوازياً، ويزيد بشكل كبير من كفاءة التدريب، مما دفع الذكاء الاصطناعي إلى عصر النماذج الكبيرة؛ والثانية هي تعزيز قدرة الفهم السياقي.
حل Transformer العديد من العيوب دفعة واحدة، وأصبح تدريجياً الحل السائد في معالجة اللغة الطبيعية NLP(. حتى إليا تخلى عن RNN الذي أنشأه، وانتقل إلى معسكر Transformer. يمكن القول إن Transformer هو جد جميع النماذج الكبيرة اليوم، فقد حول النماذج الكبيرة من بحث نظري إلى مشكلة هندسية بحتة.
في عام 2019، طورت OpenAI نموذج GPT-2 بناءً على Transformer، مما صدم الأوساط الأكاديمية. ثم أطلقت Google نموذج الذكاء الاصطناعي الأحدث Meena. بالمقارنة مع GPT-2، لم يكن هناك أي ابتكار في الخوارزمية لـ Meena، بل تم زيادة عدد معلمات التدريب بمقدار 8.5 مرة وقوة الحوسبة بمقدار 14 مرة. كان المؤلف الأصلي لـ Transformer، شازيل، مذهولًا من هذا "التكديس العنيف"، وكتب ملاحظة بعنوان "Meena تلتهم العالم".
بعد ظهور Transformer، تباطأت سرعة الابتكار في الخوارزميات الأساسية في الأوساط الأكاديمية بشكل كبير. أصبحت عوامل الهندسة مثل هندسة البيانات، وحجم القوة الحاسوبية، وبنية النموذج، عوامل حاسمة في المنافسة في مجال الذكاء الاصطناعي. يمكن لأي شركة تقنية تمتلك مهارات تقنية معينة تطوير نموذج كبير.
قال عالم الكمبيوتر أندرو Ng خلال حديثه في جامعة ستانفورد: "الذكاء الاصطناعي هو مجموعة من الأدوات، بما في ذلك التعلم تحت الإشراف، والتعلم غير الخاضع للإشراف، والتعلم المعزز، بالإضافة إلى الذكاء الاصطناعي التوليدي الذي نشهده الآن. كل هذه تقنيات عامة، تشبه التقنيات العامة الأخرى مثل الكهرباء والإنترنت."
تظل OpenAI بلا شك رائدة في مجال LLM، لكن مؤسسة تحليل أشباه الموصلات Semi Analysis تعتقد أن قوة GPT-4 التنافسية تأتي من الحلول الهندسية - إذا تم فتح المصدر، يمكن لأي منافس نسخها بسرعة. يتوقع المحلل أنه قد لا يمر وقت طويل قبل أن تتمكن شركات التكنولوجيا الكبرى الأخرى من تطوير نماذج كبيرة تعادل أداء GPT-4.
أين يتم إنشاء الخندق الدفاعي؟
حالياً، لم يعد "معركة النماذج الكبيرة" مجرد مجاز، بل أصبح واقعاً. وفقاً للتقارير، حتى يوليو من هذا العام، بلغ عدد النماذج الكبيرة في الصين 130 نموذجًا، متجاوزًا الولايات المتحدة التي لديها 114 نموذجًا، وأصبحت الأساطير والقصص الخيالية تقريبًا غير كافية لتسمية الشركات التكنولوجية المحلية.
بخلاف الصين والولايات المتحدة، حققت دول غنية أخرى أيضًا "نموذج دولة واحدة " في مراحل مبكرة: اليابان، الإمارات العربية المتحدة، بالإضافة إلى Bhashini التي تقودها الحكومة الهندية، و HyperClova X التي طورتها شركة Naver الكورية. يبدو أن هذا المشهد قد عاد بنا إلى عصر فقاعة الإنترنت، حيث تتسابق الأطراف المختلفة لإحراق الأموال للدخول في السوق.
كما ذكر سابقًا، جعلت Transformer النماذج الكبيرة مسألة هندسية بحتة، طالما أن هناك تمويلًا وأجهزة، فإن الباقي هو تحسين المعلمات. لكن انخفاض عتبة الدخول لا يعني أن الجميع يمكنهم أن يصبحوا عمالقة في عصر الذكاء الاصطناعي.
تعتبر "صراع الحيوانات" المذكور في بداية المقالة حالة نموذجية: على الرغم من أن Falcon قد تجاوز Llama في الترتيب، إلا أنه من الصعب القول إنه أحدث تأثيرًا كبيرًا على Meta. من المعروف أن الشركات تفتح مصادر نتائج أبحاثها العلمية، ليس فقط لمشاركة فوائد التكنولوجيا، ولكن أيضًا على أمل تحفيز الحكمة الاجتماعية. مع استمرار مختلف القطاعات في استخدام وتحسين Llama، يمكن لـ Meta تطبيق هذه النتائج على منتجاتها.
بالنسبة للنماذج الكبيرة مفتوحة المصدر، فإن مجتمع المطورين النشط هو القوة التنافسية الأساسية. قامت ميتا بتأسيس مختبر الذكاء الاصطناعي في عام 2015 ووضعت مساراً مفتوحاً؛ زوكربيرج الذي بدأ من وسائل التواصل الاجتماعي يفهم أهمية "الحفاظ على علاقات الجمهور".
على سبيل المثال في أكتوبر، نظمت ميتا حدث "تحفيز منشئي المحتوى بالذكاء الاصطناعي": المطورون الذين يستخدمون Llama 2 لحل المشكلات الاجتماعية مثل التعليم والبيئة لديهم فرصة للحصول على منحة قدرها 500,000 دولار. اليوم، أصبحت سلسلة Llama من ميتا معيارًا لنماذج اللغة المفتوحة المصدر.
حتى بداية أكتوبر، كان هناك 8 من بين أعلى 10 نماذج LLM مفتوحة المصدر على منصة مشهورة تعتمد على Llama 2، وجميعها تستخدم بروتوكولها المفتوح المصدر. فقط على هذه المنصة، تجاوز عدد نماذج LLM التي تستخدم بروتوكول Llama 2 المفتوح المصدر 1500.
بالطبع، من الممكن تحسين الأداء، لكن لا يزال هناك فجوة واضحة بين معظم LLM و GPT-4. على سبيل المثال، مؤخرًا، تصدّر GPT-4 قائمة اختبار AgentBench بنتيجة 4.41. تم إطلاق AgentBench بالتعاون بين جامعة تسينغهوا والعديد من الجامعات الأمريكية المعروفة، ويستخدم لتقييم قدرة LLM على الاستدلال واتخاذ القرار في بيئات التوليد المفتوحة متعددة الأبعاد.
أظهرت نتائج الاختبار أن المركز الثاني Claude حصل على 2.77 نقطة فقط، والفارق لا يزال كبيراً. أما بالنسبة لتلك النماذج المفتوحة المصدر الضخمة، فإن معظمها تتراوح درجاتها حول 1 نقطة، وهو أقل من ربع درجة GPT-4. يجب أن نعرف أن GPT-4 تم إصداره في مارس من هذا العام، وهذه هي نتيجة المنافسين العالميين بعد أكثر من نصف عام.
إن الفجوة الناتجة ترجع إلى فريق العلماء عالي المستوى في OpenAI والخبرة المتراكمة من الأبحاث الطويلة الأمد في LLM، مما يجعلهم دائمًا في موقع الريادة. بعبارة أخرى، لا تكمن القدرة الأساسية للنماذج الكبيرة في المعلمات، بل في بناء النظام البيئي ) مفتوح المصدر ( أو القدرة على الاستدلال البحت ) مغلق المصدر (.
مع تزايد نشاط مجتمع المصادر المفتوحة، قد تتقارب أداءات جميع نماذج اللغة الكبيرة (LLM) لأن الجميع يستخدمون هياكل نماذج ومجموعات بيانات مشابهة. مشكلة أخرى أكثر وضوحًا هي: بخلاف Midjourney، يبدو أنه لا يوجد نموذج كبير آخر قادر على تحقيق الأرباح.
البحث عن نقاط القيمة
في أغسطس من هذا العام، أثار مقال بعنوان "من المحتمل أن تفلس OpenAI بنهاية عام 2024" اهتمامًا. يمكن تلخيص جوهر المقال في جملة واحدة: OpenAI تحرق المال بسرعة كبيرة.
تذكر المقالة أنه منذ تطوير ChatGPT، اتسع亏损 OpenAI بسرعة، حيث بلغ خسارته حوالي 540 مليون دولار في عام 2022، مما يجعله يعتمد فقط على استثمارات مايكروسوفت للدعم. على الرغم من أن عنوان هذه المقالة صادم، إلا أنه يعكس الوضع الحالي للعديد من مقدمي النماذج الكبيرة: عدم التوازن الشديد بين التكاليف والإيرادات.
تسبب ارتفاع التكاليف في أن الشركات التي تحقق أرباحًا كبيرة من الذكاء الاصطناعي حاليًا هي نيفيديا فقط، وربما شركة بروكوم أيضًا. وفقًا لشركة الاستشارات أومديا، تبيع نيفيديا أكثر من 300,000 شريحة H100 في الربع الثاني من هذا العام. هذه شريحة ذكاء اصطناعي فعالة، والشركات التكنولوجية العالمية والمراكز البحثية تتسابق لشرائها. إذا تم تكديس هذه الشرائح الـ 300,000 فوق بعضها، فإن وزنها يعادل 4.5 طائرات بوينغ 747.
ارتفعت عائدات إنفيديا بشكل كبير، حيث زادت الإيرادات بنسبة 854% على أساس سنوي، مما جعل وول ستريت في حالة من الدهشة. ومن الجدير بالذكر أن سعر H100 في سوق المستعمل قد ارتفع إلى 40-50 ألف دولار، في حين أن تكلفة المواد الخاصة به تبلغ حوالي 3000 دولار.
أصبحت تكاليف قوة الحوسبة المرتفعة عائقًا أمام تطوير الصناعة إلى حد ما. قدّرت شركة Sequoia Capital أن شركات التكنولوجيا العالمية ستنفق حوالي 200 مليار دولار سنويًا على بناء البنية التحتية للنماذج الكبيرة؛ بالمقارنة، يمكن أن تحقق النماذج الكبيرة إيرادات تصل إلى 75 مليار دولار سنويًا، مما يعني وجود فجوة لا تقل عن 125 مليار دولار.
علاوة على ذلك، باستثناء عدد قليل من الاستثناءات مثل Midjourney، لم تتمكن معظم شركات البرمجيات من العثور على نموذج ربحي بعد استثمار تكاليف ضخمة. حتى قادة الصناعة مثل مايكروسوفت وأدوبي يواجهون تحديات.
أداة توليد الشيفرات الذكية GitHub Copilot التي طورتها مايكروسوفت بالتعاون مع OpenAI، على الرغم من أنها تتقاضى 10 دولارات في الشهر، إلا أن مايكروسوفت تتكبد خسارة شهرية قدرها 20 دولارًا بسبب تكاليف المرافق، في حين أن المستخدمين الذين يستخدمونها بشكل مكثف يمكن أن يتسببوا في خسارة تصل إلى 80 دولارًا شهريًا. وبالتالي، من المحتمل أن يؤدي تسعير Microsoft 365 Copilot بسعر 30 دولارًا إلى خسائر أكبر.
بنفس الطريقة، أطلقت أدوبي، التي أصدرت أداة Firefly AI، بسرعة نظام نقاط مصاحب لمنع المستخدمين من الاستخدام المفرط الذي قد يؤدي إلى خسائر للشركة. بمجرد أن يتجاوز المستخدم النقاط المخصصة له شهريًا، ستقوم أدوبي بتقليل سرعة الخدمة.
من الجدير بالذكر أن مايكروسوفت وأدوبي هما عملاقان في البرمجيات مع مشاهد أعمال واضحة ولديهما عدد كبير من المستخدمين المدفوعين. بينما لا يزال السيناريو الرئيسي لمعظم النماذج الكبيرة مع العديد من المعلمات هو الدردشة.
لا يمكن إنكار أنه لولا ظهور OpenAI و ChatGPT، قد لا تكون هذه الثورة في الذكاء الاصطناعي قد حدثت؛ لكن في الوقت الحالي، لا يزال هناك شك في القيمة التي يقدمها تدريب النماذج الكبيرة. مع تزايد المنافسة المتماثلة وزيادة عدد النماذج مفتوحة المصدر، قد يواجه مزودو النماذج الكبيرة تحديات أكبر.
نجاح iPhone 4 لا يكمن في معالج A4 بتقنية 45nm، بل في قدرته على تشغيل تطبيقات مثل Plants vs. Zombies وAngry Birds.