تحول مدل‌های زبانی: GPT و آینده هوش مصنوعی

معرفی ChatGPT توسط OpenAI

• تاریخ: نوامبر 2022
• محصول: ChatGPT
• ویژگی: اولین ارتباط بیشتر افراد با هوش مصنوعی

مدل‌های زبانی بزرگ (LLM) و GPT

• LLM: Large Language Model
• GPT: Generative Pre-trained Transformer
  • Generative: تولید متن
  • Pre-trained: شبکه عصبی تمرین شده بر داده‌های متنی عظیم (corpus)
  • Transformer: معماری شبکه عصبی

اجزای اصلی مدل‌های ترانسفورمر و چگونگی عملکرد آنها

• کوئری (Query): چیزی که دنبال می‌گردیم
• کی (Key): چیزی که داریم
• ولیو (Value): چیزی که عمومی به اشتراک گذاشته می‌شود

کاربردهای مدل‌های ترانسفورمر

• ترجمه متن: Translation
• تولید متن: Text Generation
• تولید کد: Code Generation
• خلاصه‌سازی متن: Summarization
• مدل‌سازی موضوعی: Topic Modeling
• شناسایی موجودیت‌های نامدار: Named Entity Recognition (NER)
• تحلیل احساس: Sentiment Analysis
• گفتار به متن: Speech-to-Text
• متن به گفتار: Text-to-Speech (TTS)
• تبدیل متن به تصویر: Text-to-Image
• توصیف تصاویر: Image Captioning

مقاله