23:41
تقترح Google جبابرة: لاختراق قيود قوة الحوسبة وتوسيع السياق
في 25 فبراير ، أصدرت Google Research دراسة جديدة عن جبابرة. من خلال إدخال وحدة ذاكرة عصبية جديدة طويلة المدى ، وبنية تعاونية ثلاثية الرؤوس ووحدات تصميم تحسين الأجهزة ، يتم توسيع نافذة السياق للنموذج الكبير إلى 2 مليون رمز مع زيادة 1.8 مرة فقط في قوة الحوسبة. لا يحل Titans عنق الزجاجة لنموذج Transformer في معالجة السياقات الطويلة فحسب ، بل يحاكي أيضا الآلية الهرمية لنظام الذاكرة البشرية من خلال تصميم المحاكاة الحيوية ، ويدرك المنطق الدقيق للسياق الطويل جدا ل 2 مليون رمز لأول مرة.
TOKEN-8.2%
- 2