Z E Y M E D Y A

Loading...

Zeymedya; İstanbul merkezli reklam ajansı. SEO, Google Ads, Google Maps ve sosyal medya yönetimiyle ölçülebilir büyüme sağlarız.

İletişim
İletişime Geç
img
img

robots.txt Nasıl Yazılır? 2025 Rehberi: Örnekler ve En İyi Uygulamalar

Blog Yazısı

  • Ana Sayfa
  • Blog
  • robots.txt Nasıl Yazılır? 2025 Rehberi: Örnekler ve En İyi Uygulamalar

Blog
Teknik SEO
2025

robots.txt Nasıl Yazılır? 2025 SEO Rehberi (Örnekler + En İyi Uygulamalar)

robots.txt, arama motoru botlarının sitenizi nasıl tarayacağını belirler. Bu kapsamlı rehberde
sözdizimini, Disallow/Allow kurallarını, wildcard kullanımlarını ve
WordPress, WooCommerce, Shopify gibi sistemler için hazır şablonları bulacaksınız.
Hedef: tarama bütçesini verimli kullanıp gereksiz URL’leri boşa taratmadan sıralama sayfalarınızı güçlendirmek.

  • Yazar: Zeymedya
  • Okuma: ~10 dk
  • Güncelleme:
  • Kategori: Teknik SEO

  • Taramayı Odakla: Filtre, arama, parametre ve sonuç sayfalarını boşa taratmayın.
  • Hassas Sayfaları Koru: Yönetim, sepet ve kullanıcı alanlarını botlardan uzak tutun.
  • Index ≠ Crawl: noindex ile Disallow farkını doğru uygulayın.


SEO Hizmeti


Ücretsiz Teknik Audit Talep Et

1) robots.txt Nedir, Ne İşe Yarar?

robots.txt, sitenizin kök dizininde (example.com/robots.txt) bulunan, tarayıcılara
(Googlebot, Bingbot vb.) hangi yolları tarayabileceklerini veya tarayamayacaklarını söyleyen düz metin dosyasıdır.
Amaç, tarama bütçesini (crawl budget) asıl sayfalarınıza odaklamak ve özel alanları korumaktır.

İpucu: robots.txt taramayı yönetir; indekslemeyi doğrudan yönetmez. İndeksleme için
meta robots (noindex) veya HTTP header kullanılır.

1.1) robots.txt Neyi Yapamaz?

  • Noindex yerine geçmez: Disallow edilen URL daha önce keşfedildiyse dizinden düşmeyebilir.
  • Gizlilik/ güvenlik aracı değildir: Gizli sayfaları disallow etmek, yolunu ifşa eder.
  • Backlink etkisini sıfırlamaz: Engellenen bir sayfaya güçlü link gelse de indekslenme davranışı ayrı yönetilir.

2) Sözdizimi ve Kurallar

Dosya, bir veya daha fazla User-agent bloğundan oluşur. Her blokta ilgili bot için
Disallow/Allow kuralları yer alır.

2.1) User-agent, Disallow, Allow, Jokerler ve Diğerleri

# Tüm botlar için genel kurallar
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Jokerler:
# *  : Herhangi bir karakter dizisini temsil eder
# $  : Satır sonunu temsil eder (örn. .pdf$ -> pdf ile bitenler)

# Örnek:
Disallow: /search*          # parametreli arama sayfalarını engelle
Disallow: /*?*sort=*         # sıralama parametrelerini engelle
Allow: /kategori/            # kategori ağacını taramaya aç

# Crawl-delay (Google dikkate almaz, Bing alır)
# Crawl-delay: 5

Dikkat: Google Crawl-delay yönergesini desteklemez. Hız yönetimi için
Search Console > Tarama ayarlarını kullanın veya sunucu hız optimizasyonu yapın.

3) Hazır Örnek robots.txt Dosyaları

3.1) WordPress / WooCommerce

WP’nin oluşturduğu /feed/, /?s= arama, /wp-admin/ gibi yolları düzenleyin.
WooCommerce’te filtre parametreleri ve sepet/checkout engellenmelidir.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=*
Disallow: /search/
Disallow: /cart/
Disallow: /my-account/
Disallow: /checkout/
Disallow: /*add-to-cart=*
Disallow: /*?*orderby=*
Disallow: /*?*filter_*
Allow: /wp-content/uploads/
Sitemap: https://www.ornek.com/sitemap_index.xml

3.2) Shopify

Shopify artık özelleştirilebilir robots.txt destekler. Koleksiyon filtreleri ve arama sonuçlarını yönetin.

User-agent: *
Disallow: /search
Disallow: /*?*utm_*
Disallow: /*?*variant=*
Disallow: /*?*sort_by=*
Allow: /collections/
Allow: /products/
Sitemap: https://www.ornek.com/sitemap.xml

3.3) Headless (Next.js / Nuxt)

Build sırasında /public/robots.txt üretin. Parametreli sayfaları ve arama uçlarını düşünün.

User-agent: *
Disallow: /api/
Disallow: /search/
Disallow: /*?*session=*
Allow: /blog/
Allow: /kategori/
Sitemap: https://www.ornek.com/sitemap.xml

4) Yapılmaması Gerekenler

Do
  • Kritik şablonları (kategori, ürün, blog) açık bırakın.
  • Parametreli/filtreli URL’leri gereksiz taramadan çıkarın.
  • Sitemap satırı ekleyin, protokol & alan adını doğru yazın.
Don’t
  • Tüm siteyi Disallow: / ile kapatmayın (canlıda büyük hata!).
  • Disallow ile gizlilik sağlamaya çalışmayın.
  • noindex etiketi koyduğunuz sayfayı Disallow etmeyin (bot etiketi göremez).

5) XML Sitemap Entegrasyonu

robots.txt’ye mutlaka Sitemap: satırı ekleyin. Birden fazla sitemap kullanıyorsanız hepsini yazabilirsiniz.

Sitemap: https://www.ornek.com/sitemap_index.xml
Sitemap: https://www.ornek.com/blog-sitemap.xml

6) Test, Yayın ve İzleme

  1. Staging’de deneyin: Canlıya almadan önce QA yapın.
  2. Search Console: URL Denetimi ile tekil URL’lerin taranabilirliğini kontrol edin.
  3. Log Analizi: Gerçekte hangi botlar hangi yolları tarıyor, loglardan teyit edin.
  4. Tarama Hataları: 4xx/5xx artışı varsa kuralları gözden geçirin.

Öneri: Büyük e-ticaret sitelerinde parametre whitelisti oluşturun; sadece işlevsel parametreleri taratın.

7) Sık Sorulanlar


Varsayılan olarak tüm alanlar taranabilir kabul edilir. Yine de kontrol için basit bir robots.txt önerilir.


Hayır. Dizinden kaldırmak için noindex (meta/header) gerekir; ancak noindex etiketi için sayfa taranabilmelidir.


Evet. Farklı alt dizinler veya içerik türleri için birden fazla sitemap satırı ekleyebilirsiniz.


Tags:
Share:

Leave A Comment