Rehber
2025
Robots.txt Nasıl Yazılır? 2025 Güncel Rehber (Disallow/Allow, Yabanıl Kartlar, Sitemap)
Bu kapsamlı rehberde robots.txt dosyasının ne işe yaradığını, doğru sözdizimini,
Disallow/Allow kullanımını, yabanıl kart (wildcard) örneklerini ve
Sitemap bildirimi gibi en iyi uygulamaları anlatıyoruz. Hedef: taranmasını istemediğiniz
kaynakları güvenle yönetmek ve Google’ın tarama bütçesini verimli kullanmak.
- Doğru Sözdizimi: User-agent, Disallow/Allow, Sitemap kullanım kalıpları.
- Güvenli Engelleme: Gizli alanları arama sonuçlarına sızdırmadan kapatma.
- Tarama Bütçesi: Önemsiz URL’leri ayıklayarak daha iyi tarama verimliliği.
İçindekiler
- 1) Robots.txt Nedir? Ne Değildir?
- 2) Sözdizimi: User-agent, Disallow, Allow, Sitemap
- 3) Örnek Dosyalar (E-ticaret, Blog, Staging)
- 4) Wildcard Kullanımı: * ve $ Operatörleri
- 5) Yapmayın: Noindex & Güvenlik Yanılgıları
- 6) Tarama Bütçesi ve Önceliklendirme
- 7) Test & Doğrulama: URL Denetimi, Log Analizi
- 8) Hızlı Kontrol Listesi
- 9) SSS
1) Robots.txt Nedir? Ne Değildir?
Robots.txt, sitenizin kök dizininde (/robots.txt) yer alan ve arama motoru
botlarına hangi URL yollarını taramamaları gerektiğini bildiren bir protokoldür. Önemli noktalar:
- Gönüllü uyum: Dürüst botlar kurallara uyar; kötü niyetli botları engellemez.
- Indekslemeyi garanti etmez: Disallow edilen bir URL dış bağlantıyla yine de indekslenebilir (içerik çekilmese de).
- Noindex yeri değil:
noindexyönergesi robots.txt’de çalışmaz; bunun yeri sayfa meta etiketi veya HTTP başlığıdır.
2) Sözdizimi: User-agent, Disallow, Allow, Sitemap
User-agent
Kuralların hedeflendiği botu belirtir. * tüm botlar anlamına gelir.
Disallow
Verilen yolun taranmamasını ister. Boşsa “hiçbir yolu engelleme” demektir.
Allow
Disallow kapsamındaki bir alt yolu istisna olarak izinli kılar (özellikle Google’da).
Sitemap
XML sitemap URL’nizi bildirerek keşfi hızlandırır. Birden çok sitemap eklenebilir.
/robots.txt
# Tüm botlar için genel kurallar
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# Sitemap bildirimi
Sitemap: https://www.ornek.com/sitemap_index.xml
3) Örnek Dosyalar (E-ticaret, Blog, Staging)
Filtre & arama sayfalarını ayıkla
User-agent: *
# Faceted/parametreli sayfalar
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?filter=
Disallow: /*&filter=
# Dahili arama
Disallow: /search/
# Sepet/hesap
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.ornek.com/sitemap_index.xmlEtiket arşivini taramadan çıkar
User-agent: *
Disallow: /tag/
Disallow: /?s=
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.ornek.com/sitemap_index.xmlYanlışlıkla indekslemeyi engelle
User-agent: *
Disallow: /
# Staging ortamında ayrıca temel auth kullanın.
# Canlıya alırken robots.txt'yi güncellemeyi unutmayın.
4) Wildcard Kullanımı: * ve $ Operatörleri
Google, * (herhangi dizge) ve $ (satır sonu) operatörlerini destekler.
Google’a özgü
# Tüm PDF’leri hariç tut
Disallow: /*.pdf$
# /tmp/ altındaki her şeyi hariç tut
Disallow: /tmp/*
# ?utm_= ile biten parametreli URL’leri hariç tut
Disallow: /*?*utm_
5) Yapmayın: Noindex & Güvenlik Yanılgıları
Doğru: Noindex için sayfaya
<meta name="robots" content="noindex"> ekleyin (veya HTTP başlığı).
Yanlış:
noindex’i robots.txt’ye yazmak. Çalışmaz.
Gizli içerikler için robots.txt yeterli değildir; kimlik doğrulama veya erişim kontrolü kullanın.
6) Tarama Bütçesi ve Önceliklendirme
Tarama bütçesini boşa harcayan URL tiplerini (faceted filtreler, iç arama, sonsuz parametreler) ayıklayın.
- Faceted/parametreli sayfaları engelle
- Dahili arama sonuçlarını engelle
- Admin, hesap, sepet akışlarını engelle
- Önemli sayfaları engelleme (kategori/ürün/blog)
7) Test & Doğrulama: URL Denetimi, Log Analizi
URL Denetimi
Google Search Console’da URL durumunu kontrol edin: Engellendi: robots.txt uyarıları için düzeltme yapın.
Sunucu Logları
Botların gerçekten hangi yolları taradığını log’lardan inceleyin; engellenmesi gereken yeni pattern’leri keşfedin.
8) Hızlı Kontrol Listesi
https://alanadiniz.com/robots.txt).Allow ile alt yolları izinli kıl.
9) SSS
noindex meta etiketi veya erişim kısıtı.