مقدمة في المحول التوليدي المولد مسبقًا (GPT)

• معنى GPT: المحول التوليدي المدرب مسبقًا.
  • توليد نص: روبوتات تنتج نصوص جديدة.
  • التدريب المسبق: تعلم النموذج من بيانات ضخمة.
  • المحول: نوع محدد من الشبكات العصبية.

شرح المحول

• شرح بصري: متابعة تدفق البيانات خطوة بخطوة.
• أنواع النماذج:
  • نماذج تأخذ الصوت وتنتج نص.
  • نماذج تنتج خطاب من نص فقط.
• أدوات مثل: Dolly وMidjourney تستخدم المحولات لإنتاج الصور من نصوص.

تاريخ المحولات

• تاريخ الاختراع: المحول الأصلي تم تقديمه بواسطة Google في 2017.
  • هدفه: ترجمة النصوص بين اللغات.
• نموذج ChatGPT:
  • يتوقع الكلمة التالية بناءً على جزء من النص.

عملية التنبؤ

• كيفية التنبؤ:
  • تقديم مقتطف نصي.
  • أخذ عينة عشوائية من توزيع الاحتمالات.
  • إلحاق العينة بالنص وتكرار العملية.
• التجارب مع GPT-2 وGPT-3: إنتاج نصوص معقولة من تحفيزات معينة.

تدفق البيانات عبر المحول

1. تقسيم المدخلات إلى رموز:
   • كلمات أو أجزاء من كلمات.
   • ربط الرموز بالمتجهات.
2. عملية كتلة الانتباه:
   • تحديث معاني الكلمات في السياق.
   • تحسين الفهم بناءً على السياق.
3. كتل الإدراك الحسي:
   • معالجة المتجهات في نفس الوقت.

التدريب والتعلم الآلي

• التعلم الآلي: نماذج تتعامل مع البيانات لتحديد سلوكيات محددة.
• الانحدار الخطي: نموذج بسيط في التعلم الآلي.
• تعقيد النماذج:
  • GPT-3 يحتوي على 175 مليار معلمة.

الأوزان والمصفوفات

• الأوزان: تحدد كيفية تصرف النموذج.
• المصفوفات: تمثل البيانات المدخلة.
• مصفوفة التضمين: تحويل الكلمات إلى متجهات.

تضمين الكلمات

• تضمين الكلمات: تمثيل الكلمات في مساحة عالية الأبعاد.
• علاقات دلالية: الاتجاهات تحمل معنى سياقي.
• مصفوفة إلغاء التضمين: تستخدم لتوقع الكلمات التالية.

دالة Softmax

• تحويل الأرقام إلى توزيع احتمالي:
  • قيم بين 0 و1، مجموعها 1.
  • يعزز القيم الأكبر.
• تأثير درجة الحرارة: يحدد مستوى العشوائية في الاختيار.

ختام

• النقطة الأساسية: فهم كيفية عمل المحولات وفهم العمليات الأساسية.
• الفصول القادمة: التركيز على كتل الانتباه وكيفية العمل.