يتعمق الباحثون في ظاهرة التعلم السياقي المثيرة للاهتمام، حيث تتعلم أنماط اللغة الكبيرة، مثل GPT-3، كيفية إنجاز مهمة جديدة بعد رؤية بضعة أمثلة فقط. يحاول علماء من MIT و Google Research وجامعة ستانفورد فكّ طلاسم هذه الظاهرة الغامضة.
يتناول هذا المقال ظاهرة التعلم السياقي (in-context learning) وكيف تتعلم أنماط اللغة الكبيرة مهمة جديدة بعد رؤية بضعة أمثلة فقط، على الرغم من عدم تدريبها على ذلك. من المثير للاهتمام أنه لا يتم تحديث معلمات النموذج في هذه العملية، مما يوحي بأن النموذج يتعلم مهمة جديدة دون أن يتعلم شيئاً على الإطلاق.
يسعى علماء من معهد ماساتشوستس للتكنولوجيا وجامعة ستانفورد وبحوث جوجل لفك طلاسم هذه الظاهرة الغامضة من خلال دراسة نماذج مشابهة لأنماط اللغة الكبيرة. تظهر نتائجهم النظرية أن هذه الشبكات العصبية الضخمة قادرة على احتواء نماذج خطية أصغر وأبسط داخلها. يمكن أن يقوم النموذج الكبير بتنفيذ خوارزمية تعلم بسيطة لتدريب هذا النموذج الخطي الأصغر على إكمال مهمة جديدة باستخدام المعلومات الموجودة بالفعل داخل النموذج الأكبر. تظل المعلمات ثابتة.
تعتبر هذه النتائج خطوة مهمة نحو فهم آليات التعلم السياقي وتفتح الباب أمام المزيد من التحقيق حول الخوارزميات التعليمية التي يمكن أن تنفذها هذه النماذج الكبيرة. ومن خلال فهم أفضل لظاهرة التعلم السياقي، يمكن للباحثين تمكين النماذج من إكمال مهام جديدة دون الحاجة إلى إعادة تدريب مكلفة.
