Crawl budget, Google’ın bir web sitesinde tarayabileceği ve taramak istediği URL miktarını açıklamak için kullanılan teknik SEO kavramıdır. Türkçede genellikle Google tarama bütçesi olarak ifade edilir. Ancak crawl budget her web sitesinin sürekli optimize etmesi gereken bir metrik değildir. Özellikle küçük ve orta ölçekli sitelerin önemli bir bölümünde asıl problemler crawl bütçesinden önce içerik kalitesi, indekslenebilirlik, site mimarisi ve teknik erişilebilirliktir.
Web üzerinde Google’ın keşfedebileceği URL sayısı neredeyse sınırsızdır. Google’ın sunucu ve işlem kaynakları ise sınırsız değildir. Ayrıca arama motoru bir siteyi tararken sitenin sunucusunu aşırı yüklemek de istemez.
Bu nedenle Googlebot’un bir site için kullanabileceği tarama kaynakları belirli faktörler doğrultusunda yönetilir.
Google’ın güncel açıklamasında crawl budget iki ana bileşenin birlikte değerlendirilmesiyle oluşur: tarama kapasitesi sınırı ve tarama talebi.
Bunun anlamı yalnızca “Google günde kaç URL tarıyor?” sorusuna bakmanın yetersiz olduğudur.
Öncelikle Google’ın ne kadar tarayabileceğini ve ne kadar taramak istediğini birbirinden ayırmak gerekir.
Daha geniş teknik SEO çalışmaları için SEO hizmetleri sayfasını inceleyebilirsiniz.
Crawl Budget Nedir?
Kısa cevap: crawl budget, Google’ın belirli bir site için tarayabileceği ve taramak istediği URL grubunu ifade eder.
Tarama bütçesi iki temel faktörün birleşimidir: crawl capacity limit yani Google’ın sunucuyu zorlamadan ne kadar tarama yapabileceği ve crawl demand yani Google’ın sitenin URL’lerini ne kadar yeniden taramak istediğidir.
Crawl budget özellikle çok büyük, çok sık güncellenen veya çok sayıda gereksiz URL üreten sitelerde önem kazanır.
Crawl Budget Hangi Siteler İçin Önemlidir?
Crawl budget konusunda yapılan en yaygın hatalardan biri her web sitesinin günlük tarama bütçesini sürekli optimize etmesi gerektiğini düşünmektir.
Google’ın güncel rehberine göre konu esas olarak büyük ve sık değişen siteler için ileri seviye önem taşır.
Çok Büyük Siteler
Yaklaşık bir milyon veya daha fazla benzersiz URL’si bulunan ve içerikleri düzenli biçimde değişen sitelerde crawl verimliliği önemli hale gelebilir.
Hızla Değişen Siteler
On binlerce URL’si bulunan ve ürün, haber, ilan veya stok verileri günlük olarak değişen siteler daha sık tarama ihtiyacı duyabilir.
Çok Sayıda Keşfedilmiş URL
Search Console’da sitenin önemli bir bölümünün “Keşfedildi – şu anda dizine eklenmiş değil” durumunda bulunması da crawl analizini gerekli kılabilir.
Küçük Sitelerin Crawl Budget Konusunda Endişelenmesi Gerekir mi?
Çoğu durumda hayır.
Google, hızlı değişen çok sayıda sayfası olmayan ve yeni içerikleri makul sürede taranan sitelerin crawl budget optimizasyonuna özel olarak odaklanmasına gerek olmadığını belirtiyor.
Search Console Crawl Stats raporu da ileri seviye kullanıcılara yönelik bir rapordur. Google, yaklaşık bin sayfadan küçük sitelerde bu seviyede crawl ayrıntısı konusunda genellikle endişelenmeye gerek olmadığını ifade eder.
Crawl Capacity Limit: Tarama Kapasitesi Sınırı Nedir?
Google bir siteyi tararken sunucuyu aşırı yüklemek istemez. Bu nedenle Googlebot’un eş zamanlı bağlantı sayısı ve bağlantıların ne kadar sürdüğü gibi unsurlar dikkate alınarak bir tarama kapasitesi sınırı oluşturulur.
Site sağlıklı ve hızlı yanıt verdikçe Google zaman içinde daha fazla tarama kapasitesi kullanabilir.
Buna karşılık sunucunun yavaşlaması veya sürekli hata üretmesi tarama kapasitesinin düşmesine yol açabilir.
Sağlıklı Sunucu
Tutarlı yanıt süreleri ve düşük hata oranları crawl kapasitesini destekler.
5xx Hataları
Sunucu hataları Google’ın siteyi daha dikkatli ve daha düşük yoğunlukla taramasına neden olabilir.
HTTP 429
Aşırı istek veya rate limiting sinyalleri Google’a tarama hızını azaltması gerektiğini gösterebilir.
Crawl Demand: Google’ın Tarama Talebi Nedir?
Sunucunun daha fazla URL sunabilecek kapasitesi olması Google’ın mutlaka daha fazla sayfa tarayacağı anlamına gelmez.
Çünkü ikinci bileşen tarama talebidir.
Google, hangi URL’lerin ne sıklıkta yeniden taranması gerektiğini çeşitli faktörlere göre değerlendirir.
Tarama ile İndeksleme Aynı Şey Değildir
Crawl budget analizinin temel şartlarından biri crawling ve indexing süreçlerini birbirinden ayırmaktır.
| Süreç | Anlamı | Sonuç |
|---|---|---|
| Discovery | Google URL’nin varlığını öğrenir. | URL mutlaka taranmış değildir. |
| Crawling | Googlebot URL’yi ister ve içeriği almaya çalışır. | Tarandı diye indeks garantisi yoktur. |
| Indexing | Google içeriği işler ve dizine uygunluğunu değerlendirir. | Her taranan URL indekslenmeyebilir. |
| Ranking | İndekslenen içeriğin sorgular için değerlendirilmesidir. | Daha fazla crawl daha yüksek sıra garantisi vermez. |
Eğer asıl probleminiz Google’ın sayfalarınızı indekslememesi ise Google İndeks Sorunu Çözümü rehberi daha doğru başlangıç noktasıdır.
Crawl Budget Problemi Nasıl Anlaşılır?
Sitenin büyük olması tek başına crawl budget problemi olduğu anlamına gelmez.
- Önemli yeni sayfalar uzun süre Google tarafından taranmıyorsa.
- Güncellenmiş kritik URL’ler uzun süre yeniden crawl edilmiyorsa.
- Search Console’da çok sayıda önemli URL “Keşfedildi – şu anda dizine eklenmiş değil” durumundaysa.
- Googlebot zamanının büyük kısmını filtre, parametre ve gereksiz URL’lerde harcıyorsa.
- Crawl Stats raporunda yüksek 5xx veya sunucu erişilebilirlik sorunları görülüyorsa.
- Log analizinde değerli URL’lerden çok düşük değerli URL’lerin tekrar tekrar tarandığı görülüyorsa.
Search Console Crawl Stats Raporu Nasıl Kullanılır?
Search Console’daki Tarama İstatistikleri / Crawl Stats raporu Google’ın sitenizi nasıl taradığını anlamanın temel kaynaklarından biridir.
Rapora genellikle Ayarlar → Tarama istatistikleri üzerinden erişilir.
Toplam Tarama İsteği
Belirli dönemde sitenize yapılan Google crawl isteklerinin toplamını gösterir.
İndirilen Veri Boyutu
Google’ın crawl sırasında sunucudan ne kadar veri indirdiğini görmenizi sağlar.
Ortalama Yanıt Süresi
Sunucunun Google crawl taleplerine ne kadar hızlı yanıt verdiğini takip etmeye yardımcı olur.
Host Durumu
DNS, robots.txt veya sunucu bağlantı problemleri olup olmadığını inceleyebilirsiniz.
Yanıt Kodları
200, 301, 404, 5xx ve diğer yanıt türlerinin dağılımını değerlendirebilirsiniz.
Googlebot Türleri
Hangi Google crawler’larının kaynaklarınızı talep ettiğini analiz edebilirsiniz.
URL Envanteri Crawl Budget İçin Neden Önemlidir?
Google’ın crawl budget rehberinde site sahiplerinin en fazla kontrol edebileceği alanlardan biri algılanan URL envanteridir.
Google sitenizde çok sayıda URL biliyorsa bunların önemli olup olmadığını değerlendirmek için zaman harcayabilir.
Bu nedenle aşağıdaki gibi gereksiz URL üretimleri büyük sitelerde crawl verimliliğini düşürebilir:
Filtre Kombinasyonları
Binlerce gereksiz renk, beden, fiyat ve sıralama URL’si oluşabilir.
Parametre URL’leri
Tracking, session veya sıralama parametreleri URL sayısını kontrolsüz şekilde büyütebilir.
Takvim ve Arama URL’leri
Sonsuz kombinasyon üreten sistemler crawler’ları çok geniş URL alanlarına yönlendirebilir.
Duplicate URL’ler Crawl Budget’ı Nasıl Etkiler?
Büyük ölçekte aynı veya çok benzer içeriğin çok sayıda URL’den erişilebilir olması Googlebot’un değerli içerik yerine duplicate varyasyonlara crawl isteği harcamasına neden olabilir.
Ancak çözüm bütün duplicate URL’leri körlemesine engellemek değildir.
Önce URL’nin neden oluştuğu, kullanıcı için gerekli olup olmadığı ve Google’ın onu taramasına ihtiyaç bulunup bulunmadığı belirlenmelidir.
Duplicate URL konsolidasyonu için Canonical Etiketi Nedir? rehberini inceleyebilirsiniz.
Faceted Navigation Crawl Budget’ı Neden Tüketebilir?
Özellikle e-ticaret ve ilan sitelerinde faceted navigation milyonlarca URL kombinasyonu üretebilir.
Örneğin:
/ayakkabi/?renk=siyah
/ayakkabi/?renk=siyah&numara=42
/ayakkabi/?renk=siyah&numara=42&fiyat=1000-2000
/ayakkabi/?renk=siyah&numara=42&fiyat=1000-2000&sirala=artan
Her parametre kombinasyonu yeni URL oluşturduğunda Google’ın bildiği URL evreni katlanarak büyüyebilir.
Soft 404 Sayfaları Crawl Budget’ı Nasıl Etkiler?
İçeriği gerçekte bulunmayan ancak sunucunun 200 OK döndürdüğü sayfalar soft 404 olarak değerlendirilebilir.
Böyle URL’lerin büyük sayılarda bulunması Googlebot’un değersiz sayfalara tekrar crawl isteği göndermesine neden olabilir.
Sayfa gerçekten mevcut değilse doğru HTTP durum kodunun verilmesi URL envanterinin daha sağlıklı yönetilmesine yardımcı olur.
Uzun Redirect Zincirleri Tarama Verimliliğini Nasıl Etkiler?
Bir URL’nin birden fazla yönlendirmeden geçerek nihai sayfaya ulaşması her adım için ek crawl isteği oluşturabilir.
Gereksiz yapı:
A → 301 → B → 301 → C → 301 → D
Daha temiz yapı:
A → 301 → D
Özellikle milyonlarca URL’nin bulunduğu sitelerde redirect chain’lerin azaltılması crawl verimliliğine katkı sağlayabilir.
Sunucu Hızı Crawl Budget’ı Artırır mı?
Daha hızlı sunucu tek başına Google’ın mutlaka daha fazla URL tarayacağı anlamına gelmez.
Ancak Google sitenizi taramak istiyor fakat sunucu kapasitesi Googlebot taleplerini sınırlandırıyorsa daha hızlı ve istikrarlı yanıt süreleri crawl kapasitesinin artmasına yardımcı olabilir.
Kapasite Problemi Varsa
Sunucu performansını artırmak Googlebot’un daha fazla isteği güvenli şekilde gerçekleştirmesini sağlayabilir.
Talep Yoksa
Sunucunun çok hızlı olması Google’ın düşük değerli veya değişmeyen URL’leri daha sık taramasını zorunlu hale getirmez.
HTTP Caching ve 304 Crawl Verimliliğine Nasıl Yardımcı Olur?
Bir sayfa Google’ın son crawl’undan beri değişmediyse uygun HTTP caching mekanizmaları sunucu kaynaklarının daha verimli kullanılmasına yardımcı olabilir.
304 Not Modified yanıtı, içeriğin değişmediğini belirterek Google’ın daha önceki önbelleğe alınmış sürümü kullanabilmesine yardımcı olur.
XML Sitemap Crawl Budget İçin Nasıl Kullanılmalıdır?
Sitemap Google’ın önemli URL’leri keşfetmesine ve güncellemeleri anlamasına yardımcı olabilir.
- Sitemapte yalnız tercih edilen ve uygun URL’leri bulundurun.
- Redirect olan URL’leri sitemapte tutmayın.
- 404 URL’leri sitemapten kaldırın.
- Canonical olmayan duplicate URL’leri sitemapte kullanmayın.
- Gerçek güncellemelerde lastmod bilgisini doğru kullanın.
- Site büyüdükçe sitemap dosyalarını mantıklı kümelere ayırın.
robots.txt Crawl Budget Optimizasyonunda Kullanılır mı?
Büyük sitelerde Google’ın taramasına gerçekten gerek olmayan bazı geniş URL alanlarının robots.txt ile engellenmesi uygun olabilir.
Ancak burada kritik ayrım vardır:
Ayrıca CSS, JavaScript veya rendering için gerekli kaynakları yanlışlıkla engellemek Google’ın sayfayı anlamasını zorlaştırabilir.
E-Ticaret Sitelerinde Crawl Budget Nasıl Yönetilir?
Crawl budget en çok e-ticaret sitelerinde konuşulan teknik SEO konularından biridir çünkü ürün, kategori, filtre, sıralama, pagination ve parametre yapıları URL sayısını çok hızlı büyütebilir.
Kategori
Değerli ana kategori ve alt kategoriler açık mimariye sahip olmalı.
Filtre
Hangi filtrelerin organik değer taşıdığı önceden belirlenmeli.
Stok
Tükenen ve geri gelecek ürünler için tutarlı URL politikası kurulmalı.
Parametre
Tracking ve sıralama URL’lerinin gereksiz çoğalması önlenmeli.
Canonical
Duplicate sürümlerde canonical yapısı tutarlı olmalı.
Sitemap
Yalnız tercih edilen ürün ve kategori URL’leri tutulmalı.
Server
Yüksek Googlebot hacmini kaldırabilecek istikrarlı altyapı kullanılmalı.
Log
Kritik projelerde gerçek Googlebot istekleri loglardan analiz edilmeli.
Crawl Budget Hakkında Yanlış Bilinenler
| İddia | Doğru mu? | Açıklama |
|---|---|---|
| Her site crawl budget optimize etmeli. | Hayır | Küçük sitelerin çoğunda crawl budget öncelikli problem değildir. |
| Google daha çok tararsa sıralama yükselir. | Hayır | Crawling sıralama garantisi değildir. |
| Tarandıysa kesin indekslenir. | Hayır | Google taranan her sayfayı indekslemek zorunda değildir. |
| Sitemap crawl budget’ı artırır. | Doğrudan değil | Sitemap önemli URL’lerin keşfine ve güncellenme sinyaline yardımcı olur. |
| robots.txt URL’yi Google’dan siler. | Hayır | robots.txt crawling kontrolüdür, genel indeks kaldırma yöntemi değildir. |
| Daha hızlı sunucu her zaman daha fazla crawl getirir. | Hayır | Tarama talebi yoksa kapasite artışı tek başına daha çok crawl oluşturmaz. |
Crawl Budget Nasıl Optimize Edilir?
Gerçekten crawl budget problemi bulunan büyük sitelerde amaç Googlebot’u zorla daha fazla taramaya yöneltmek değil, mevcut crawl kaynaklarının daha değerli URL’lere harcanmasını sağlamaktır.
URL Envanterini Çıkarın
İndekslenebilir, duplicate, parametreli, redirect ve hata URL’lerini ayrı sınıflandırın.
Değersiz URL Üretimini Azaltın
Filtre, arama, takvim ve parametre yapılarının sınırsız URL üretmesini kontrol altına alın.
Duplicate URL’leri Konsolide Edin
Canonical ve URL mimarisini gerçek duplicate senaryolarına göre düzenleyin.
Soft 404 ve Hataları Temizleyin
Googlebot’un anlamsız veya mevcut olmayan URL’leri tekrar tekrar işlemesini azaltın.
Redirect Zincirlerini Kısaltın
Eski linkleri mümkün olduğunca doğrudan nihai URL’lere yöneltin.
Sitemap’i Temiz Tutun
Google’ın taramasını istediğiniz canonical ve geçerli URL’leri sitemapte tutun.
Sunucu Sağlığını İyileştirin
5xx, 429, DNS ve yüksek response time problemlerini azaltın.
Crawl Stats ve Logları İzleyin
Googlebot’un gerçekten hangi URL kümelerinde zaman harcadığını veri üzerinden doğrulayın.
İç Linkleme Crawl Budget’ı Etkiler mi?
İç linkleme doğrudan “bütçe artıran” bir araç değildir ancak Google’ın önemli URL’leri keşfetmesine ve site hiyerarşisini anlamasına yardımcı olur.
Çok derin site mimarisi, bağlantısız önemli URL’ler veya sürekli duplicate URL’lere verilen iç bağlantılar crawl verimliliğini olumsuz etkileyebilir.
Site içerisinde bağlantı almayan URL’ler için Orphan Page Nedir? rehberini; genel bağlantı mimarisi için İç Linkleme Nedir? rehberini inceleyebilirsiniz.
Google’dan Daha Fazla Crawl Budget Alınabilir mi?
“Crawl budget artırma butonu” veya Search Console içinde manuel olarak ayarlanabilecek genel bir crawl kotası bulunmaz.
Google’ın güncel dokümantasyonuna göre daha fazla crawl kapasitesi ihtiyacı varsa iki temel alan önemlidir:
Sunucu Kapasitesi
Googlebot gerçekten host kapasitesine takılıyorsa daha güçlü ve istikrarlı sunucu altyapısı daha fazla crawl talebinin karşılanmasına yardımcı olabilir.
İçerik Değeri
Google tarama kaynaklarını kullanıcı değeri, özgünlük, alaka ve içeriklerin güncellenme ihtiyacı gibi faktörlere göre de dağıtır.
Crawl Budget Audit Nasıl Yapılır?
Büyük bir sitede gerçek crawl budget analizi yalnız Search Console ekran görüntüsüne bakılarak yapılmamalıdır.
Crawl
Teknik crawler ile mevcut site mimarisini çıkarın.
Sitemap
Sitemap URL envanterini ayrı veri kümesi olarak alın.
GSC
Page Indexing ve Crawl Stats raporlarını değerlendirin.
Logs
Googlebot’un gerçek sunucu isteklerini loglardan çıkarın.
Response
200, 3xx, 4xx, 5xx dağılımını analiz edin.
Parameters
Gereksiz parametre ve filtre kombinasyonlarını belirleyin.
Value
Googlebot’un yüksek değerli mi düşük değerli mi URL’leri taradığını ölçün.
Fix
Soruna göre URL mimarisi, server veya crawl kontrolü aksiyonu alın.
Crawl Budget Kontrol Listesi
Önce Problemi Doğrulayın
- Site crawl budget analizi gerektirecek kadar büyük mü?
- Önemli URL’ler gerçekten geç crawl ediliyor mu?
- Crawl Stats’ta host problemi var mı?
- Sunucu response time yükseliyor mu?
- 5xx veya 429 yanıtları bulunuyor mu?
- Loglarda düşük değerli URL’ler aşırı taranıyor mu?
Sonra Optimize Edin
- Duplicate URL envanteri azaltıldı mı?
- Filtre ve parametre yapıları kontrol altında mı?
- Soft 404’ler temizlendi mi?
- Redirect chain’ler azaltıldı mı?
- Sitemap temiz ve güncel mi?
- Önemli sayfalar güçlü iç link yapısında mı?
Sonuç: Crawl Budget Optimizasyonu “Google Daha Fazla Tarasın” Yarışı Değildir
Crawl budget özellikle büyük ve sık güncellenen web sitelerinde önemli bir teknik SEO konusudur.
Ancak küçük sitelerde crawl sayısını artırmaya çalışmak çoğu zaman gerçek SEO problemlerinden dikkati uzaklaştırır.
Büyük sitelerde ise amaç Googlebot’un olabildiğince çok URL taraması değil; önemli, benzersiz ve güncel URL’leri verimli biçimde tarayabilmesidir.
Bunun için URL envanteri, filtreler, duplicate içerikler, HTTP yanıt kodları, sunucu sağlığı, sitemap, redirect yapısı ve gerçek Googlebot logları birlikte değerlendirilmelidir.
Tarama bütçesi bir sıralama puanı değildir; Google’ın sınırlı crawl kaynaklarının sitenizde ne kadar verimli kullanılabildiğini anlamaya yarayan teknik bir kavramdır.
Sık Sorulan Sorular
- Crawl budget nedir?
- Crawl budget, Google’ın belirli bir site için tarayabileceği ve taramak istediği URL grubunu ifade eder. Tarama kapasitesi ve tarama talebinin birlikte değerlendirilmesiyle oluşur.
- Her web sitesinin crawl budget sorunu olur mu?
- Hayır. Küçük ve orta ölçekli sitelerin önemli bölümünde crawl budget öncelikli teknik SEO problemi değildir.
- Crawl budget kaç sayfalık sitelerde önemlidir?
- Kesin bir URL sınırı yoktur. Google örnek olarak haftalık değişen yaklaşık bir milyon üzeri URL’li büyük siteleri, günlük değişen on binlerce URL’li siteleri ve çok sayıda keşfedilmiş fakat indekslenmemiş URL’ye sahip siteleri belirtir.
- Daha fazla crawl daha iyi SEO demek midir?
- Hayır. Google’ın daha fazla URL taraması doğrudan sıralama artışı sağlamaz. Önemli olan değerli URL’lerin gerektiği sıklıkta taranabilmesidir.
- Google taradığı her sayfayı indeksler mi?
- Hayır. Crawling ve indexing farklı aşamalardır. Google bir URL’yi taradıktan sonra içeriği ayrıca indekslemeye uygunluk açısından değerlendirir.
- Sunucu hızı crawl budget’ı artırır mı?
- Eğer tarama kapasitesi sunucu performansı nedeniyle sınırlanıyorsa daha hızlı ve istikrarlı sunucu yardımcı olabilir. Ancak Google’ın tarama talebi düşükse hız tek başına daha fazla crawl sağlamaz.
- Sitemap crawl budget’ı artırır mı?
- Doğrudan bir crawl bütçesi artışı sağlamaz. Sitemap Google’ın önemli URL’leri keşfetmesine ve güncellemeleri anlamasına yardımcı olur.
- robots.txt crawl budget için kullanılabilir mi?
- Büyük sitelerde taranmasına gerek olmayan belirli URL alanlarını engellemek crawl verimliliğine yardımcı olabilir. Ancak robots.txt indeks kaldırma aracı değildir ve yanlış kullanımı önemli kaynakların taranmasını engelleyebilir.
- Canonical etiketi crawl’u engeller mi?
- Hayır. Canonical bir crawl engelleme direktifi değildir. Duplicate veya çok benzer URL’ler arasında tercih edilen sürümü belirtmeye yarayan canonicalizasyon sinyalidir.
- Crawl Stats raporu nerede bulunur?
- Search Console’da uygun root-level mülklerde Ayarlar bölümündeki Tarama İstatistikleri alanından erişilebilir.
- Crawl budget nasıl artırılır?
- Gereksiz URL envanterini azaltmak, sunucu sorunlarını çözmek, sayfaların verimli yüklenmesini sağlamak ve değerli içerik üretmek Google’ın crawl kaynaklarını daha etkili kullanmasına yardımcı olabilir.
Kaynaklar ve Resmî Google Dokümantasyonu
Bu rehberdeki teknik prensipler Google’ın 2026 yılında güncellediği Crawling Infrastructure ve Search Console dokümantasyonlarına göre hazırlanmıştır.
Googlebot Sitenizin Yanlış URL’lerinde mi Zaman Harcıyor?
Büyük web sitelerinde crawl budget analizi; yalnız Search Console’daki crawl sayısını görmekten ibaret değildir. URL envanteri, filtreler, sitemap, canonical yapısı, sunucu logları, HTTP yanıtları ve Google’ın gerçekten hangi URL kümelerini taradığı birlikte değerlendirilmelidir.
Zeymedya’nın teknik SEO yaklaşımını incelemek için SEO hizmetleri sayfasını ziyaret edebilirsiniz.
