تم اعتبار التطور الأخير في صناعة الذكاء الاصطناعي من قبل بعض الأشخاص كالثورة الصناعية الرابعة. لقد أدى ظهور النماذج الكبيرة إلى تحسين كفاءة مختلف الصناعات بشكل ملحوظ، حيث يُقدّر أنها زادت من كفاءة العمل في الولايات المتحدة بنحو 20%. في الوقت نفسه، تُعتبر القدرة على التعميم الناتجة عن النماذج الكبيرة نموذج تصميم برمجي جديد، حيث تحول تصميم الكود الدقيق السابق إلى إدماج إطارات نماذج كبيرة أكثر تعميمًا، مما يمنح البرمجيات أداءً أفضل ودعمًا لمجموعة واسعة من الأنماط. لقد جلبت تقنيات التعلم العميق بالفعل ازدهارًا رابعًا لصناعة الذكاء الاصطناعي، وقد أثرت هذه الموجة أيضًا على صناعة العملات المشفرة.
سيتناول هذا التقرير بالتفصيل تاريخ تطور صناعة الذكاء الاصطناعي، وتصنيف التقنيات، وتأثير تقنيات التعلم العميق على الصناعة. سيتم تحليل التطورات الحالية والاتجاهات في سلسلة التوريد للصناعة بما في ذلك وحدات معالجة الرسوميات (GPU)، والحوسبة السحابية، ومصادر البيانات، والأجهزة الطرفية. سيتم استكشاف العلاقة الجوهرية بين العملات المشفرة وصناعة الذكاء الاصطناعي، وتنظيم مشهد سلسلة التوريد المرتبطة بالذكاء الاصطناعي والعملات المشفرة.
تاريخ تطور صناعة الذكاء الاصطناعي
بدأت صناعة الذكاء الاصطناعي منذ خمسينيات القرن العشرين، ولتحقيق رؤية الذكاء الاصطناعي، طورت الأوساط الأكاديمية والصناعية في عصور مختلفة وخلفيات علمية متنوعة العديد من المدارس لتحقيق الذكاء الاصطناعي.
تشير التقنية الحديثة للذكاء الاصطناعي بشكل أساسي إلى مصطلح "تعلم الآلة"، الذي يتمحور حول فكرة جعل الآلات تعتمد على البيانات للتكرار وتحسين أداء النظام في المهام. الخطوات الرئيسية هي إرسال البيانات إلى الخوارزمية، واستخدام هذه البيانات لتدريب النموذج، واختبار نشر النموذج، واستخدام النموذج لإكمال المهام التنبؤية الآلية.
توجد ثلاث مدارس رئيسية في تعلم الآلة حاليًا، وهي الاتصالية، الرمزية والسلوكية، والتي تحاكي على التوالي النظام العصبي البشري، التفكير والسلوك.
حالياً، تسيطر الروابطية الممثلة بالشبكات العصبية على الساحة ( والمعروفة أيضاً بالتعلم العميق )، والسبب الرئيسي هو أن هذه البنية تحتوي على طبقة إدخال وطبقة إخراج، ولكن بها عدة طبقات مخفية، وبمجرد أن تكون عدد الطبقات وعدد الخلايا العصبية ( كافياً، سيكون هناك فرصة كافية لتناسب المهام العامة المعقدة. من خلال إدخال البيانات، يمكن تعديل معلمات الخلايا العصبية باستمرار، وأخيراً بعد المرور عبر العديد من البيانات، ستصل هذه الخلايا العصبية إلى حالة مثالية ) المعلمات (، وهذا ما يسمى "الجهد الكبير يحقق المعجزات"، وهو أيضاً مصدر كلمة "عميق" - عدد كافٍ من الطبقات والخلايا العصبية.
على سبيل المثال، يمكن فهم ذلك ببساطة على أنه تم بناء دالة، حيث عندما يكون الإدخال X=2، تكون Y=3؛ وعندما يكون X=3، تكون Y=5. إذا أردنا أن تتعامل هذه الدالة مع جميع قيم X، فسنحتاج إلى إضافة درجة هذه الدالة ومعاملاتها باستمرار. على سبيل المثال، يمكن بناء دالة تلبي هذا الشرط كالتالي: Y = 2X -1. ولكن إذا كانت هناك بيانات واحدة حيث X=2 وY=11، سنحتاج إلى إعادة بناء دالة تناسب هذه النقاط الثلاثة. باستخدام GPU للقيام بكسر عنيف، وجدنا أن Y = X2 -3X +5 هو الأنسب، لكن لا يتعين أن تتطابق تمامًا مع البيانات، يكفي أن تتبع التوازن وتكون المخرجات متشابهة بشكل عام. هنا، تمثل X2 وX وX0 خلايا عصبية مختلفة، بينما تمثل 1 و-3 و5 معاملات هذه الخلايا.
في هذه الحالة، إذا قمنا بإدخال كمية كبيرة من البيانات إلى الشبكة العصبية، يمكننا زيادة عدد الخلايا العصبية، وتكرار المعلمات لتناسب البيانات الجديدة. بهذه الطريقة يمكننا أن نتناسب مع جميع البيانات.
تقنية التعلم العميق المعتمدة على الشبكات العصبية شهدت أيضًا عدة تكرارات وتطورات تقنية، مثل الشبكات العصبية في المراحل المبكرة، الشبكات العصبية التغذوية الأمامية، الشبكات العصبية المتكررة، الشبكات العصبية الالتفافية، والشبكات التوليدية التنافسية، التي تطورت في النهاية إلى نماذج كبيرة حديثة مثل GPT وغيرها، والتي تستخدم تقنية Transformer. تقنية Transformer هي فقط اتجاه تطوري واحد من الشبكات العصبية، حيث أضافت محولًا )Transformer(، يُستخدم لترميز جميع الأنماط ) مثل الصوت والفيديو والصور وغيرها ( إلى قيم رقمية تمثلها. ثم يتم إدخالها إلى الشبكة العصبية، بحيث يمكن للشبكة العصبية ملاءمة أي نوع من البيانات، مما يعني تحقيق تعدد الأنماط.
! [علم الوافد الجديد 丨 الذكاء الاصطناعي x التشفير: من الصفر إلى الذروة])https://img-cdn.gateio.im/webp-social/moments-7e025deb1fddcd5fa716b6f144701074.webp(
شهد تطوير الذكاء الاصطناعي ثلاث موجات تكنولوجية، كانت الموجة الأولى في الستينيات من القرن العشرين، بعد عشر سنوات من طرح تقنية الذكاء الاصطناعي، وكانت هذه الموجة ناتجة عن تطور تقنية الرمزية، التي حلت مشاكل معالجة اللغة الطبيعية العامة والحوار بين الإنسان والآلة. في نفس الفترة، وُلِد نظام الخبراء، وهو نظام DENRAL الذي تم إنجازه تحت إشراف جامعة معينة ومؤسسة معينة، والذي يمتلك معرفة كيميائية قوية جداً، ويستنتج الإجابات من خلال الأسئلة لتوليد إجابات مشابهة لتلك التي يقدمها خبير كيميائي، ويمكن اعتبار هذا النظام الخبير الكيميائي بمثابة دمج بين قاعدة المعرفة الكيميائية ونظام الاستدلال.
بعد نظام الخبراء، قدم بيرل الشبكات البيزية في التسعينيات من القرن العشرين، والتي تعرف أيضًا بشبكات المعتقدات. في نفس الفترة، قدم بروكس علم الروبوتات القائم على السلوك، مما يمثل ولادة السلوكية.
في عام 1997، هزم برنامج ديب بلو "Blue" شركة معينة بواقع 3.5:2.5 بطل الشطرنج كاسباروف، واعتُبرت هذه الانتصار علامة بارزة في الذكاء الاصطناعي، حيث شهدت تقنية الذكاء الاصطناعي ذروة تطورها الثانية.
حدثت الموجة الثالثة من تكنولوجيا الذكاء الاصطناعي في عام 2006. اقترح عمالقة التعلم العميق مفهوم التعلم العميق، وهو خوارزمية تعتمد على الشبكات العصبية الاصطناعية لتعلم تمثيل البيانات. بعد ذلك، تطورت خوارزميات التعلم العميق تدريجياً، من RNN وGAN إلى Transformer وStable Diffusion، حيث تشكلت هذان الخوارزميتان معاً هذه الموجة التكنولوجية الثالثة، وكانت أيضاً فترة الازدهار للارتباطية.
ظهرت العديد من الأحداث الرمزية بالتزامن مع استكشاف وتطور تقنيات التعلم العميق، بما في ذلك:
في عام 2011، هزم نظام لشركة ما البشر في برنامج ما، وحصل على البطولة.
في عام 2014، قدم غودفيلو GAN) الشبكة التنافسية المولدة(، من خلال السماح لشبكتين عصبيتين بالتنافس ضد بعضهما البعض، يمكنهما تعلم كيفية توليد صور تبدو واقعية للغاية. في الوقت نفسه، كتب غودفيلو أيضًا كتابًا بعنوان "Deep Learning"، المعروف بكتاب الزهور، وهو واحد من الكتب المهمة للمبتدئين في مجال التعلم العميق.
في عام 2015، اقترح هينتون وآخرون خوارزمية التعلم العميق في مجلة "Nature"، وقد أثار هذا الاقتراح ردود فعل كبيرة على الفور في الأوساط الأكاديمية والصناعية.
في عام 2015، أنشأت مؤسسة ما، وأعلن العديد من الشخصيات البارزة عن استثمار مشترك بقيمة 10 مليارات دولار.
في عام 2016، هزم نظام قائم على تقنيات التعلم العميق بطل العالم في لعبة围棋 ولاعب الشطرنج المحترف من الدرجة التاسعة بمجموع نقاط 4 إلى 1.
في عام 2017، تم تطوير الروبوت الشبيه بالإنسان «صوفيا» من قبل شركة معينة، والذي يُعتبر أول روبوت يحصل على وضعية المواطن من الدرجة الأولى في التاريخ، ويمتلك تعبيرات وجهية غنية وقدرة على فهم اللغة البشرية.
في عام 2017، نشرت شركة معينة لديها مواهب غنية واحتياطي تقني في مجال الذكاء الاصطناعي ورقة بحثية بعنوان "Attention is all you need"، مما أدى إلى ظهور نماذج لغوية كبيرة.
في عام 2018، أصدرت إحدى المؤسسات نموذج GPT المبني على خوارزمية Transformer، وهو أحد أكبر نماذج اللغة في ذلك الوقت.
في عام 2018، أصدرت مجموعة معينة نظامًا يعتمد على التعلم العميق، قادرًا على التنبؤ بهياكل البروتين، ويُعتبر علامة على تقدم كبير في مجال الذكاء الاصطناعي.
في عام 2019، أصدرت إحدى المؤسسات نموذج GPT-2، والذي يحتوي على 1.5 مليار معلمة.
في عام 2020، طورت إحدى المؤسسات نموذج GPT-3 الذي يحتوي على 175 مليار معلمة، وهو أعلى بمئة مرة من الإصدار السابق GPT-2، حيث تم تدريب هذا النموذج باستخدام 570 جيجابايت من النصوص، ويمكنه تحقيق أداء متقدم في مهام معالجة اللغة الطبيعية مثل الإجابة على الأسئلة، والترجمة، وكتابة المقالات.
في عام 2021، أصدرت إحدى المؤسسات نموذج GPT-4، والذي يحتوي على 1.76 تريليون معلمة، وهو 10 مرات أكبر من GPT-3.
تم إطلاق تطبيقات تعتمد على نموذج GPT-4 في يناير 2023، وبلغ عدد المستخدمين مئة مليون في مارس، ليصبح التطبيق الأسرع تاريخياً للوصول إلى مئة مليون مستخدم.
في عام 2024، أصدرت مؤسسة ما GPT-4 omni.
! [الوافد الجديد Science Popular 丨الذكاء الاصطناعي x Crypto: من الصفر إلى الذروة])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp019283746574839201
سلسلة صناعة التعلم العميق
تستخدم نماذج اللغة الكبيرة الحالية جميعها طرق التعلم العميق القائمة على الشبكات العصبية. لقد أدت النماذج الكبيرة التي تتصدرها GPT إلى موجة من الحماس في مجال الذكاء الاصطناعي، حيث تدفق عدد كبير من اللاعبين إلى هذا المجال، كما اكتشفنا أن السوق يشهد انفجارًا كبيرًا في الطلب على البيانات والقدرة الحاسوبية، لذلك في هذا الجزء من التقرير، نستكشف بشكل رئيسي سلسلة صناعة الخوارزميات التعلم العميق، وكيف تتكون السلسلة العليا والسفلى في صناعة الذكاء الاصطناعي التي تهيمن عليها خوارزميات التعلم العميق، وما هي حالة السلسلة العليا والسفلى وعلاقات العرض والطلب، وكيف ستكون التنمية المستقبلية.
أولاً، يجب أن نوضح أنه عند تنفيذ تدريب نماذج LLMs الكبيرة التي يقودها GPT بناءً على تقنية Transformer، يتم تقسيم العملية إلى ثلاثة خطوات.
قبل التدريب، وبما أنه يعتمد على Transformer، يحتاج المحول إلى تحويل إدخال النص إلى قيم عددية، وتسمى هذه العملية "Tokenization"، وبعد ذلك تُعرف هذه القيم العددية باسم Token. وفقًا للقواعد العامة، يمكن اعتبار كلمة أو حرف إنجليزي بشكل تقريبي كـ Token واحد، بينما يمكن اعتبار كل حرف صيني بشكل تقريبي كـ Tokenين. هذه هي الوحدة الأساسية المستخدمة في تسعير GPT.
الخطوة الأولى، التدريب المسبق. من خلال تزويد طبقة الإدخال بعدد كافٍ من أزواج البيانات، مثل الأمثلة المذكورة في الجزء الأول من التقرير (X,Y)، للبحث عن أفضل معلمات لكل خلية عصبية في النموذج، في هذه المرحلة، هناك حاجة إلى كمية كبيرة من البيانات، وهذه العملية هي أيضًا الأكثر استهلاكًا للقدرة الحاسوبية، لأنها تتطلب تكرار محاولة خلايا عصبية مختلفة للمعلمات. بعد الانتهاء من تدريب مجموعة من أزواج البيانات، يتم عادةً استخدام نفس مجموعة البيانات لإجراء تدريب ثانٍ لتكرار المعلمات.
الخطوة الثانية، التعديل الدقيق. التعديل الدقيق هو تقديم دفعة صغيرة من البيانات، ولكن بجودة عالية جدًا، للتدريب، ستؤدي هذه التغييرات إلى تحسين جودة مخرجات النموذج، لأن التدريب المسبق يحتاج إلى كميات كبيرة من البيانات، ولكن الكثير من هذه البيانات قد تحتوي على أخطاء أو تكون ذات جودة منخفضة. يمكن أن تعزز خطوة التعديل الدقيق جودة النموذج من خلال البيانات عالية الجودة.
الخطوة الثالثة، التعلم المعزز. أولاً، سيتم إنشاء نموذج جديد تمامًا، نسميه "نموذج المكافأة"، والغرض من هذا النموذج بسيط جدًا، وهو تصنيف النتائج الناتجة، لذا فإن إنشاء هذا النموذج سيكون سهلاً نسبيًا، لأن سيناريو العمل عمودي جدًا. بعد ذلك، نستخدم هذا النموذج لتحديد ما إذا كانت مخرجات نموذجنا الكبير ذات جودة عالية، وبالتالي يمكننا استخدام نموذج المكافأة لتكرار معلمات النموذج الكبير تلقائيًا. ( ولكن في بعض الأحيان نحتاج أيضًا إلى تدخل بشري لتقييم جودة مخرجات النموذج )
باختصار، خلال عملية تدريب النماذج الكبيرة، يتطلب التدريب المسبق كمية عالية جدًا من البيانات، كما أن القوة الحاسوبية لوحدات معالجة الرسوميات المطلوبة هي الأكثر، بينما يتطلب ضبط النموذج بيانات ذات جودة أعلى لتحسين المعلمات، ويمكن أن يستخدم التعلم المعزز نموذج مكافأة لتكرار المعلمات بشكل متكرر لإنتاج نتائج ذات جودة أعلى.
خلال عملية التدريب، كلما زادت المعلمات، زادت قدرة العموم على الوصول إلى الحد الأقصى، على سبيل المثال في مثال الدالة Y = aX + b، هناك في الواقع عصبوان X وX0، وبالتالي فإن كيفية تغيير المعلمات تؤدي إلى بيانات يمكن أن تتناسب معها بشكل محدود للغاية، لأن جوهرها لا يزال خطًا مستقيمًا. إذا زاد عدد العصبونات، يمكن تكرار المزيد من المعلمات، وبالتالي يمكن التكيف مع بيانات أكثر، وهذا هو السبب في أن النماذج الكبيرة تحقق معجزات، وهذا أيضًا هو السبب في تسمية النماذج الكبيرة بهذا الاسم، حيث أنها تتكون بشكل أساسي من عدد هائل من العصبونات والمعلمات، وكمية ضخمة من البيانات، في حين أنها تحتاج أيضًا إلى كمية هائلة من القدرة الحاسوبية.
لذلك ، تتحدد أداء النموذج الكبير بشكل رئيسي من خلال ثلاثة جوانب: عدد المعلمات ، وكمية وجودة البيانات ، وقوة الحوسبة ، وهذه الثلاثة تؤثر بشكل مشترك على جودة نتائج النموذج الكبير وقدرته على التعميم. نفترض أن عدد المعلمات هو p ، وكمية البيانات هي n( حسب عدد الرموز المحسوبة) ، لذلك يمكننا من خلال القواعد العامة تقدير كمية الحوسبة المطلوبة ، مما يمكننا من تقدير الحالة العامة للقوة الحاسوبية التي نحتاج إلى شرائها ومدة التدريب.
تُعتبر قوة الحوسبة عادةً وحدة أساسية تُقاس بـ Flops، وتمثل عملية حسابية واحدة باستخدام الأعداد العائمة، حيث تُستخدم الأعداد العائمة كاسم شامل لجمع وطرح وضرب وقسمة القيم غير الصحيحة، مثل 2.5 + 3.557. الأعداد العائمة تشير إلى القدرة على احتواء الفواصل العشرية، بينما FP16 تمثل الدقة المدعومة للفواصل العشرية، وFP32 هي دقة أكثر شيوعًا. وفقًا لقواعد التجربة العملية، يتطلب التدريب المسبق (Pre-traning) مرة ( عادةً تدريب نماذج كبيرة عدة مرات )، ويحتاج تقريبًا إلى 6np Flops، حيث تُعتبر 6 ثابتًا صناعيًا. أما الاستدلال (Inference، فهو العملية التي ندخل فيها بيانات وننتظر مخرجات النموذج الكبير )، وتتكون من جزئين، إدخال n توكن، وإخراج n توكن، لذلك يحتاج تقريبًا إلى 2np Flops.
في البداية، كانت تستخدم شرائح CPU لتوفير دعم قوة الحوسبة، ولكن بعد ذلك بدأت تدريجياً في استخدام GPU كبديل، مثل شرائح A100 وH100 من شركة معينة. لأن CPU موجودة كحوسبة عامة، ولكن يمكن استخدام GPU كحوسبة مخصصة، حيث تتجاوز كفاءة استهلاك الطاقة CPU بكثير. تعمل GPU على تنفيذ العمليات العائمة بشكل رئيسي من خلال وحدة تسمى Tensor Core.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 13
أعجبني
13
4
مشاركة
تعليق
0/400
GreenCandleCollector
· 07-25 11:50
السوق الصاعدة飞天那天给大家发糖
شاهد النسخة الأصليةرد0
StableNomad
· 07-23 01:17
في الحقيقة... لقد رأيت هذا الفيلم من قبل مع icos في عام '17، لكن بصراحة فإن إمكانيات العائد هنا مختلفة.
شاهد النسخة الأصليةرد0
0xSherlock
· 07-23 01:14
المال يأتي ببطء شديد ولا يمكنه دعم ثراء العائلة بأكملها.
شاهد النسخة الأصليةرد0
GasFeeCry
· 07-23 00:56
عالم العملات الرقمية لا يوجد فيه اتجاه، كل شيء يعتمد على التخمين.
الذكاء الاصطناعي والأصول الرقمية: تقنية التعلم العميق تقود ثورة الصناعة
الذكاء الاصطناعي x التشفير: من الصفر إلى القمة
تم اعتبار التطور الأخير في صناعة الذكاء الاصطناعي من قبل بعض الأشخاص كالثورة الصناعية الرابعة. لقد أدى ظهور النماذج الكبيرة إلى تحسين كفاءة مختلف الصناعات بشكل ملحوظ، حيث يُقدّر أنها زادت من كفاءة العمل في الولايات المتحدة بنحو 20%. في الوقت نفسه، تُعتبر القدرة على التعميم الناتجة عن النماذج الكبيرة نموذج تصميم برمجي جديد، حيث تحول تصميم الكود الدقيق السابق إلى إدماج إطارات نماذج كبيرة أكثر تعميمًا، مما يمنح البرمجيات أداءً أفضل ودعمًا لمجموعة واسعة من الأنماط. لقد جلبت تقنيات التعلم العميق بالفعل ازدهارًا رابعًا لصناعة الذكاء الاصطناعي، وقد أثرت هذه الموجة أيضًا على صناعة العملات المشفرة.
سيتناول هذا التقرير بالتفصيل تاريخ تطور صناعة الذكاء الاصطناعي، وتصنيف التقنيات، وتأثير تقنيات التعلم العميق على الصناعة. سيتم تحليل التطورات الحالية والاتجاهات في سلسلة التوريد للصناعة بما في ذلك وحدات معالجة الرسوميات (GPU)، والحوسبة السحابية، ومصادر البيانات، والأجهزة الطرفية. سيتم استكشاف العلاقة الجوهرية بين العملات المشفرة وصناعة الذكاء الاصطناعي، وتنظيم مشهد سلسلة التوريد المرتبطة بالذكاء الاصطناعي والعملات المشفرة.
تاريخ تطور صناعة الذكاء الاصطناعي
بدأت صناعة الذكاء الاصطناعي منذ خمسينيات القرن العشرين، ولتحقيق رؤية الذكاء الاصطناعي، طورت الأوساط الأكاديمية والصناعية في عصور مختلفة وخلفيات علمية متنوعة العديد من المدارس لتحقيق الذكاء الاصطناعي.
تشير التقنية الحديثة للذكاء الاصطناعي بشكل أساسي إلى مصطلح "تعلم الآلة"، الذي يتمحور حول فكرة جعل الآلات تعتمد على البيانات للتكرار وتحسين أداء النظام في المهام. الخطوات الرئيسية هي إرسال البيانات إلى الخوارزمية، واستخدام هذه البيانات لتدريب النموذج، واختبار نشر النموذج، واستخدام النموذج لإكمال المهام التنبؤية الآلية.
توجد ثلاث مدارس رئيسية في تعلم الآلة حاليًا، وهي الاتصالية، الرمزية والسلوكية، والتي تحاكي على التوالي النظام العصبي البشري، التفكير والسلوك.
حالياً، تسيطر الروابطية الممثلة بالشبكات العصبية على الساحة ( والمعروفة أيضاً بالتعلم العميق )، والسبب الرئيسي هو أن هذه البنية تحتوي على طبقة إدخال وطبقة إخراج، ولكن بها عدة طبقات مخفية، وبمجرد أن تكون عدد الطبقات وعدد الخلايا العصبية ( كافياً، سيكون هناك فرصة كافية لتناسب المهام العامة المعقدة. من خلال إدخال البيانات، يمكن تعديل معلمات الخلايا العصبية باستمرار، وأخيراً بعد المرور عبر العديد من البيانات، ستصل هذه الخلايا العصبية إلى حالة مثالية ) المعلمات (، وهذا ما يسمى "الجهد الكبير يحقق المعجزات"، وهو أيضاً مصدر كلمة "عميق" - عدد كافٍ من الطبقات والخلايا العصبية.
على سبيل المثال، يمكن فهم ذلك ببساطة على أنه تم بناء دالة، حيث عندما يكون الإدخال X=2، تكون Y=3؛ وعندما يكون X=3، تكون Y=5. إذا أردنا أن تتعامل هذه الدالة مع جميع قيم X، فسنحتاج إلى إضافة درجة هذه الدالة ومعاملاتها باستمرار. على سبيل المثال، يمكن بناء دالة تلبي هذا الشرط كالتالي: Y = 2X -1. ولكن إذا كانت هناك بيانات واحدة حيث X=2 وY=11، سنحتاج إلى إعادة بناء دالة تناسب هذه النقاط الثلاثة. باستخدام GPU للقيام بكسر عنيف، وجدنا أن Y = X2 -3X +5 هو الأنسب، لكن لا يتعين أن تتطابق تمامًا مع البيانات، يكفي أن تتبع التوازن وتكون المخرجات متشابهة بشكل عام. هنا، تمثل X2 وX وX0 خلايا عصبية مختلفة، بينما تمثل 1 و-3 و5 معاملات هذه الخلايا.
في هذه الحالة، إذا قمنا بإدخال كمية كبيرة من البيانات إلى الشبكة العصبية، يمكننا زيادة عدد الخلايا العصبية، وتكرار المعلمات لتناسب البيانات الجديدة. بهذه الطريقة يمكننا أن نتناسب مع جميع البيانات.
تقنية التعلم العميق المعتمدة على الشبكات العصبية شهدت أيضًا عدة تكرارات وتطورات تقنية، مثل الشبكات العصبية في المراحل المبكرة، الشبكات العصبية التغذوية الأمامية، الشبكات العصبية المتكررة، الشبكات العصبية الالتفافية، والشبكات التوليدية التنافسية، التي تطورت في النهاية إلى نماذج كبيرة حديثة مثل GPT وغيرها، والتي تستخدم تقنية Transformer. تقنية Transformer هي فقط اتجاه تطوري واحد من الشبكات العصبية، حيث أضافت محولًا )Transformer(، يُستخدم لترميز جميع الأنماط ) مثل الصوت والفيديو والصور وغيرها ( إلى قيم رقمية تمثلها. ثم يتم إدخالها إلى الشبكة العصبية، بحيث يمكن للشبكة العصبية ملاءمة أي نوع من البيانات، مما يعني تحقيق تعدد الأنماط.
! [علم الوافد الجديد 丨 الذكاء الاصطناعي x التشفير: من الصفر إلى الذروة])https://img-cdn.gateio.im/webp-social/moments-7e025deb1fddcd5fa716b6f144701074.webp(
شهد تطوير الذكاء الاصطناعي ثلاث موجات تكنولوجية، كانت الموجة الأولى في الستينيات من القرن العشرين، بعد عشر سنوات من طرح تقنية الذكاء الاصطناعي، وكانت هذه الموجة ناتجة عن تطور تقنية الرمزية، التي حلت مشاكل معالجة اللغة الطبيعية العامة والحوار بين الإنسان والآلة. في نفس الفترة، وُلِد نظام الخبراء، وهو نظام DENRAL الذي تم إنجازه تحت إشراف جامعة معينة ومؤسسة معينة، والذي يمتلك معرفة كيميائية قوية جداً، ويستنتج الإجابات من خلال الأسئلة لتوليد إجابات مشابهة لتلك التي يقدمها خبير كيميائي، ويمكن اعتبار هذا النظام الخبير الكيميائي بمثابة دمج بين قاعدة المعرفة الكيميائية ونظام الاستدلال.
بعد نظام الخبراء، قدم بيرل الشبكات البيزية في التسعينيات من القرن العشرين، والتي تعرف أيضًا بشبكات المعتقدات. في نفس الفترة، قدم بروكس علم الروبوتات القائم على السلوك، مما يمثل ولادة السلوكية.
في عام 1997، هزم برنامج ديب بلو "Blue" شركة معينة بواقع 3.5:2.5 بطل الشطرنج كاسباروف، واعتُبرت هذه الانتصار علامة بارزة في الذكاء الاصطناعي، حيث شهدت تقنية الذكاء الاصطناعي ذروة تطورها الثانية.
حدثت الموجة الثالثة من تكنولوجيا الذكاء الاصطناعي في عام 2006. اقترح عمالقة التعلم العميق مفهوم التعلم العميق، وهو خوارزمية تعتمد على الشبكات العصبية الاصطناعية لتعلم تمثيل البيانات. بعد ذلك، تطورت خوارزميات التعلم العميق تدريجياً، من RNN وGAN إلى Transformer وStable Diffusion، حيث تشكلت هذان الخوارزميتان معاً هذه الموجة التكنولوجية الثالثة، وكانت أيضاً فترة الازدهار للارتباطية.
ظهرت العديد من الأحداث الرمزية بالتزامن مع استكشاف وتطور تقنيات التعلم العميق، بما في ذلك:
في عام 2011، هزم نظام لشركة ما البشر في برنامج ما، وحصل على البطولة.
في عام 2014، قدم غودفيلو GAN) الشبكة التنافسية المولدة(، من خلال السماح لشبكتين عصبيتين بالتنافس ضد بعضهما البعض، يمكنهما تعلم كيفية توليد صور تبدو واقعية للغاية. في الوقت نفسه، كتب غودفيلو أيضًا كتابًا بعنوان "Deep Learning"، المعروف بكتاب الزهور، وهو واحد من الكتب المهمة للمبتدئين في مجال التعلم العميق.
في عام 2015، اقترح هينتون وآخرون خوارزمية التعلم العميق في مجلة "Nature"، وقد أثار هذا الاقتراح ردود فعل كبيرة على الفور في الأوساط الأكاديمية والصناعية.
في عام 2015، أنشأت مؤسسة ما، وأعلن العديد من الشخصيات البارزة عن استثمار مشترك بقيمة 10 مليارات دولار.
في عام 2016، هزم نظام قائم على تقنيات التعلم العميق بطل العالم في لعبة围棋 ولاعب الشطرنج المحترف من الدرجة التاسعة بمجموع نقاط 4 إلى 1.
في عام 2017، تم تطوير الروبوت الشبيه بالإنسان «صوفيا» من قبل شركة معينة، والذي يُعتبر أول روبوت يحصل على وضعية المواطن من الدرجة الأولى في التاريخ، ويمتلك تعبيرات وجهية غنية وقدرة على فهم اللغة البشرية.
في عام 2017، نشرت شركة معينة لديها مواهب غنية واحتياطي تقني في مجال الذكاء الاصطناعي ورقة بحثية بعنوان "Attention is all you need"، مما أدى إلى ظهور نماذج لغوية كبيرة.
في عام 2018، أصدرت إحدى المؤسسات نموذج GPT المبني على خوارزمية Transformer، وهو أحد أكبر نماذج اللغة في ذلك الوقت.
في عام 2018، أصدرت مجموعة معينة نظامًا يعتمد على التعلم العميق، قادرًا على التنبؤ بهياكل البروتين، ويُعتبر علامة على تقدم كبير في مجال الذكاء الاصطناعي.
في عام 2019، أصدرت إحدى المؤسسات نموذج GPT-2، والذي يحتوي على 1.5 مليار معلمة.
في عام 2020، طورت إحدى المؤسسات نموذج GPT-3 الذي يحتوي على 175 مليار معلمة، وهو أعلى بمئة مرة من الإصدار السابق GPT-2، حيث تم تدريب هذا النموذج باستخدام 570 جيجابايت من النصوص، ويمكنه تحقيق أداء متقدم في مهام معالجة اللغة الطبيعية مثل الإجابة على الأسئلة، والترجمة، وكتابة المقالات.
في عام 2021، أصدرت إحدى المؤسسات نموذج GPT-4، والذي يحتوي على 1.76 تريليون معلمة، وهو 10 مرات أكبر من GPT-3.
تم إطلاق تطبيقات تعتمد على نموذج GPT-4 في يناير 2023، وبلغ عدد المستخدمين مئة مليون في مارس، ليصبح التطبيق الأسرع تاريخياً للوصول إلى مئة مليون مستخدم.
في عام 2024، أصدرت مؤسسة ما GPT-4 omni.
! [الوافد الجديد Science Popular 丨الذكاء الاصطناعي x Crypto: من الصفر إلى الذروة])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp019283746574839201
سلسلة صناعة التعلم العميق
تستخدم نماذج اللغة الكبيرة الحالية جميعها طرق التعلم العميق القائمة على الشبكات العصبية. لقد أدت النماذج الكبيرة التي تتصدرها GPT إلى موجة من الحماس في مجال الذكاء الاصطناعي، حيث تدفق عدد كبير من اللاعبين إلى هذا المجال، كما اكتشفنا أن السوق يشهد انفجارًا كبيرًا في الطلب على البيانات والقدرة الحاسوبية، لذلك في هذا الجزء من التقرير، نستكشف بشكل رئيسي سلسلة صناعة الخوارزميات التعلم العميق، وكيف تتكون السلسلة العليا والسفلى في صناعة الذكاء الاصطناعي التي تهيمن عليها خوارزميات التعلم العميق، وما هي حالة السلسلة العليا والسفلى وعلاقات العرض والطلب، وكيف ستكون التنمية المستقبلية.
أولاً، يجب أن نوضح أنه عند تنفيذ تدريب نماذج LLMs الكبيرة التي يقودها GPT بناءً على تقنية Transformer، يتم تقسيم العملية إلى ثلاثة خطوات.
قبل التدريب، وبما أنه يعتمد على Transformer، يحتاج المحول إلى تحويل إدخال النص إلى قيم عددية، وتسمى هذه العملية "Tokenization"، وبعد ذلك تُعرف هذه القيم العددية باسم Token. وفقًا للقواعد العامة، يمكن اعتبار كلمة أو حرف إنجليزي بشكل تقريبي كـ Token واحد، بينما يمكن اعتبار كل حرف صيني بشكل تقريبي كـ Tokenين. هذه هي الوحدة الأساسية المستخدمة في تسعير GPT.
الخطوة الأولى، التدريب المسبق. من خلال تزويد طبقة الإدخال بعدد كافٍ من أزواج البيانات، مثل الأمثلة المذكورة في الجزء الأول من التقرير (X,Y)، للبحث عن أفضل معلمات لكل خلية عصبية في النموذج، في هذه المرحلة، هناك حاجة إلى كمية كبيرة من البيانات، وهذه العملية هي أيضًا الأكثر استهلاكًا للقدرة الحاسوبية، لأنها تتطلب تكرار محاولة خلايا عصبية مختلفة للمعلمات. بعد الانتهاء من تدريب مجموعة من أزواج البيانات، يتم عادةً استخدام نفس مجموعة البيانات لإجراء تدريب ثانٍ لتكرار المعلمات.
الخطوة الثانية، التعديل الدقيق. التعديل الدقيق هو تقديم دفعة صغيرة من البيانات، ولكن بجودة عالية جدًا، للتدريب، ستؤدي هذه التغييرات إلى تحسين جودة مخرجات النموذج، لأن التدريب المسبق يحتاج إلى كميات كبيرة من البيانات، ولكن الكثير من هذه البيانات قد تحتوي على أخطاء أو تكون ذات جودة منخفضة. يمكن أن تعزز خطوة التعديل الدقيق جودة النموذج من خلال البيانات عالية الجودة.
الخطوة الثالثة، التعلم المعزز. أولاً، سيتم إنشاء نموذج جديد تمامًا، نسميه "نموذج المكافأة"، والغرض من هذا النموذج بسيط جدًا، وهو تصنيف النتائج الناتجة، لذا فإن إنشاء هذا النموذج سيكون سهلاً نسبيًا، لأن سيناريو العمل عمودي جدًا. بعد ذلك، نستخدم هذا النموذج لتحديد ما إذا كانت مخرجات نموذجنا الكبير ذات جودة عالية، وبالتالي يمكننا استخدام نموذج المكافأة لتكرار معلمات النموذج الكبير تلقائيًا. ( ولكن في بعض الأحيان نحتاج أيضًا إلى تدخل بشري لتقييم جودة مخرجات النموذج )
باختصار، خلال عملية تدريب النماذج الكبيرة، يتطلب التدريب المسبق كمية عالية جدًا من البيانات، كما أن القوة الحاسوبية لوحدات معالجة الرسوميات المطلوبة هي الأكثر، بينما يتطلب ضبط النموذج بيانات ذات جودة أعلى لتحسين المعلمات، ويمكن أن يستخدم التعلم المعزز نموذج مكافأة لتكرار المعلمات بشكل متكرر لإنتاج نتائج ذات جودة أعلى.
خلال عملية التدريب، كلما زادت المعلمات، زادت قدرة العموم على الوصول إلى الحد الأقصى، على سبيل المثال في مثال الدالة Y = aX + b، هناك في الواقع عصبوان X وX0، وبالتالي فإن كيفية تغيير المعلمات تؤدي إلى بيانات يمكن أن تتناسب معها بشكل محدود للغاية، لأن جوهرها لا يزال خطًا مستقيمًا. إذا زاد عدد العصبونات، يمكن تكرار المزيد من المعلمات، وبالتالي يمكن التكيف مع بيانات أكثر، وهذا هو السبب في أن النماذج الكبيرة تحقق معجزات، وهذا أيضًا هو السبب في تسمية النماذج الكبيرة بهذا الاسم، حيث أنها تتكون بشكل أساسي من عدد هائل من العصبونات والمعلمات، وكمية ضخمة من البيانات، في حين أنها تحتاج أيضًا إلى كمية هائلة من القدرة الحاسوبية.
لذلك ، تتحدد أداء النموذج الكبير بشكل رئيسي من خلال ثلاثة جوانب: عدد المعلمات ، وكمية وجودة البيانات ، وقوة الحوسبة ، وهذه الثلاثة تؤثر بشكل مشترك على جودة نتائج النموذج الكبير وقدرته على التعميم. نفترض أن عدد المعلمات هو p ، وكمية البيانات هي n( حسب عدد الرموز المحسوبة) ، لذلك يمكننا من خلال القواعد العامة تقدير كمية الحوسبة المطلوبة ، مما يمكننا من تقدير الحالة العامة للقوة الحاسوبية التي نحتاج إلى شرائها ومدة التدريب.
تُعتبر قوة الحوسبة عادةً وحدة أساسية تُقاس بـ Flops، وتمثل عملية حسابية واحدة باستخدام الأعداد العائمة، حيث تُستخدم الأعداد العائمة كاسم شامل لجمع وطرح وضرب وقسمة القيم غير الصحيحة، مثل 2.5 + 3.557. الأعداد العائمة تشير إلى القدرة على احتواء الفواصل العشرية، بينما FP16 تمثل الدقة المدعومة للفواصل العشرية، وFP32 هي دقة أكثر شيوعًا. وفقًا لقواعد التجربة العملية، يتطلب التدريب المسبق (Pre-traning) مرة ( عادةً تدريب نماذج كبيرة عدة مرات )، ويحتاج تقريبًا إلى 6np Flops، حيث تُعتبر 6 ثابتًا صناعيًا. أما الاستدلال (Inference، فهو العملية التي ندخل فيها بيانات وننتظر مخرجات النموذج الكبير )، وتتكون من جزئين، إدخال n توكن، وإخراج n توكن، لذلك يحتاج تقريبًا إلى 2np Flops.
في البداية، كانت تستخدم شرائح CPU لتوفير دعم قوة الحوسبة، ولكن بعد ذلك بدأت تدريجياً في استخدام GPU كبديل، مثل شرائح A100 وH100 من شركة معينة. لأن CPU موجودة كحوسبة عامة، ولكن يمكن استخدام GPU كحوسبة مخصصة، حيث تتجاوز كفاءة استهلاك الطاقة CPU بكثير. تعمل GPU على تنفيذ العمليات العائمة بشكل رئيسي من خلال وحدة تسمى Tensor Core.