Robots.txt फ़ाइल जनरेट करने के तरीके

परिचय

• Robots.txt फाइल का उद्देश्य
  • कुछ यूआरएल्स को गूगल द्वारा इंडेक्स न करना
  • क्रॉल बजट को बचाना

विभिन्न प्लेटफार्म्स के यूआरएल्स

• प्लेटफार्म अनुसार यूआरएल स्ट्रक्चर भिन्न होता है
  • उदाहरण:
    • Shopify: उत्पाद पेज और कैटेगरी पेज के यूआरएल
    • WooCommerce: भिन्न प्रकार के यूआरएल्स
    • Magento: अलग तरह के यूआरएल्स
    • कस्टम ईकामर्स वेबसाइट्स

Robots.txt फाइल के महत्वपूर्ण बिंदु

• विशिष्ट यूआरएल्स को ब्लॉक करना आवश्यक
  • उदाहरण: खोज क्वेरी से उत्पन्न यूआरएल्स

WooCommerce के लिए Robots.txt

• WooCommerce में यूआरएल स्ट्रक्चर कैसे होते हैं
• WooCommerce साइट्स के लिए एक उदाहरण फ़ाइल:
  • सब कुछ ब्लॉक:
    • /wp-admin/
    • /comments/feed/
    • /trackback/
    • /index.php
    • /plugins/
  • WooCommerce एसेट्स ब्लॉक:
    • /cart/
    • /checkout/
    • /account/
    • /order-by/price/
    • /order-by/rating/
    • /order-by/date/
    • /order-by/price/
    • /order-by/popularity/
  • इंटरनल सर्च यूआरएल ब्लॉक
    • जैसे कि, ?s=

उदाहरण: विभिन्न साइट्स पर यूआरएल स्ट्रक्चर

• WooCommerce vs Shopify vs Custom Sites
• उदाहरण: Myntra, WooCommerce कैटेगरी पेज के यूआरएल अंतर
  • Myntra में '/sort=' पैरामीटर दिखता है
  • WooCommerce में '/order-by' पैरामीटर दिखता है

Plugin Suggestions

• Basic plugin to generate robots.txt
  • Plugin: 'Block WooCommerce Assets via Robots.txt'
  • Plugin नाम और कैसे काम करता है

निष्कर्ष

• प्रत्येक प्लेटफार्म और वेबसाइट के लिए भिन्न-भिन्न robots.txt फाइल
• फ़ंडामेंटल्स को समझना महत्वपूर्ण है

खत्म

• अगले वीडियो में मिलने तक अलविदा!