ट्रांसफार्मर आर्किटेक्चर

---

परिचय

• नितेश द्वारा प्रस्तुत किया गया
• ट्रांसफार्मर आर्किटेक्चर का अध्ययन
• इनकोडर भाग पूरा, डिकोडर भाग की शुरुआत
• मास्क मल्टीहेड अटेंशन पर ध्यान केंद्रित

---

ट्रांसफार्मर का महत्व

• एआई के क्षेत्र में ट्रांसफार्मर्स की महत्वपूर्ण भूमिका
• अधिकतर एआई प्रगति ट्रांसफार्मर पर निर्भर
• ट्रांसफार्मर को दो भागों में बाँटा जा सकता है: इनकोडर और डिकोडर

---

अध्ययन की विधि

• छोटे टॉपिक्स का अध्ययन करने की विधि
• सेल्फ अटेंशन, मल्टीहेड अटेंशन, पोजीशनल एनकोडिंग, नॉर्मलाइजेशन और अन्य महत्वपूर्ण विषयों का अध्ययन
• डिकोडर के लिए निर्माण खंडों को समझने की योजना

---

डिकोडर का आर्किटेक्चर

• डिकोडर में इनकोडर की तुलना में अधिक जटिलताएं
• दो प्रमुख घटक:
  • मास्क सेल्फ अटेंशन
  • क्रॉस अटेंशन

---

ऑटो रिग्रेसिव और नॉन ऑटो रिग्रेसिव मॉडल

• डिकोडर इनफर समय पर ऑटो रिग्रेसिव, ट्रेनिंग समय पर नॉन ऑटो रिग्रेसिव
• ऑटो रिग्रेसिव मॉडल: पिछले डेटा पॉइंट पर भविष्य के डेटा पॉइंट का निर्भरता
• नॉन ऑटो रिग्रेसिव मॉडल: सभी डेटा पॉइंट्स को समानांतर प्रोसेस करना

---

मास्क सेल्फ अटेंशन

• सेल्फ अटेंशन में मास्किंग का उपयोग
• मास्किंग तकनीक के माध्यम से भविष्य के टोकनों की जानकारी को छिपाना
• ट्रेनिंग प्रक्रिया में डेटा लीकेज की समस्या का समाधान

---

निष्कर्ष

• मास्किंग के माध्यम से नॉन ऑटो रिग्रेसिव ट्रेनिंग संभव
• ट्रांसफार्मर आर्किटेक्चर का गहन अध्ययन
• छात्रों को अपनी समझ बढ़ाने के लिए प्रोत्साहित किया गया
• आगामी वीडियो में और अधिक जानकारी प्रदान की जाएगी

---

छात्र की गतिविधियाँ

• वीडियो को लाइक करें और चैनल को सब्सक्राइब करें
• अपनी समझ को और अच्छे से विकसित करने के लिए आगे के वीडियो का इंतज़ार करें