Web sitenizin arama motorları tarafından doğru bir şekilde dizinlenmesi ve arama sonuçlarında daha iyi performans göstermesi için bir robots.txt dosyası oluşturmanın önemi büyüktür. WordPress gibi popüler bir içerik yönetim sistemini kullanan birçok kişi için, uygun bir robots.txt dosyası oluşturmak önemlidir.
İşte WordPress kullanıcıları için ideal bir robots.txt dosyası nasıl yazılır, adım adım açıklanmıştır:
1. Başlık ve Açıklamalar:
İlk olarak, robots.txt dosyanızın en üst kısmına aşağıdaki gibi başlık ve açıklamaları ekleyin:
# Robots.txt Dosyası # Bu dosya, arama motoru botlarına web sitenizi dizinleme talimatları verir.
2. Genel Kısıtlamalar:
Ardından, arama motorlarının dizinlemesini istemediğiniz WordPress dizinlerini belirtin:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/
Bu komutlar, arama motoru botlarının WordPress yönetim paneli ve temel sistem dosyalarını dizinlemesini engeller.
3. Erişim İzinleri:
Bazı dosyalara erişim izni vermek isteyebilirsiniz. Örneğin, temanızın CSS dosyalarını ve eklentilerin JavaScript dosyalarını dizinlemek isteyebilirsiniz. İşte bunu sağlayan komutlar:
Allow: /wp-content/themes/*.css Allow: /wp-content/plugins/*.js Allow: /wp-content/plugins/*.css Allow: /wp-includes/*.js Allow: /wp-includes/*.css
Bu komutlar, belirtilen türdeki dosyaların dizinlenmesine izin verir.
4. Diğer Kısıtlamalar:
Ayrıca, aşağıdaki komutlarla dizinlenmemesini istediğiniz diğer URL’leri belirtebilirsiniz:
Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /feed/ Disallow: /trackback/ Disallow: /comments/ Disallow: */trackback/ Disallow: */comments/ Disallow: /cgi-bin/ Disallow: /archive/ Disallow: /tag/ Disallow: /category/ Disallow: /author/ Disallow: /page/ Disallow: /author Disallow: /?*
Bu komutlar, kullanıcı giriş sayfaları, yorumlar, etiketler, kategoriler ve diğer belirli URL yapılarının dizinlenmesini engeller.
5. XML Sitemap Bildirimi:
Son olarak, sitenizin XML sitemap URL’sini belirtmek isteyebilirsiniz. Bu, arama motorlarının sitenizin tüm içeriğini daha etkili bir şekilde dizinlemesine yardımcı olur. Sitemap komutunu ekleyin:
Sitemap: http://www.example.com/sitemap.xml
Yukarıdaki komutu, sitenizin sitemap URL’siyle değiştirin.
Örnek Robots.txt’nin tamamı.
# Robots.txt Dosyası # Bu dosya, arama motoru botlarına web sitenizi dizinleme talimatları verir. User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /feed/ Disallow: /trackback/ Disallow: /comments/ Disallow: */trackback/ Disallow: */comments/ Disallow: /cgi-bin/ Disallow: /archive/ Disallow: /tag/ Disallow: /category/ Disallow: /author/ Disallow: /page/ Disallow: /author Disallow: /?* Allow: /wp-content/uploads/ Allow: /wp-content/themes/*.css Allow: /wp-content/plugins/*.js Allow: /wp-content/plugins/*.css Allow: /wp-includes/*.js Allow: /wp-includes/*.css Sitemap: http://www.example.com/sitemap.xml
İlk Yorumu Siz Yapın