Crawl Budget, yani Türkçesiyle tarama bütçesi Google botlarının var olan tüm sayfalarınızın günlük olarak kaç tanesini ziyaret ettiğini ifade eden terimdir. Genellikle ortalama bir rakama sahip olmasına rağmen dinamiktir ve günden güne bazı faktörlerin etkisiyle değişkenlik gösterebilir.

Google Örümcekleri Nasıl Çalışır?

Google örümcekleri bir siteye geldiğinde yaptığı ilk iş varsa bir robots.txt dosyası aramaktır. Robots.txt dosyasını inceler ve engellenen alt dizinler hariç linkleri taramaya başlar. Her sayfayı teker teker tarar ve taradığı sayfadaki tüm komut dosyalarını ve stil dosyalarını çalıştırır. Daha sonra sayfada tespit ettiği diğer linkleri sıraya alır ve onları da sırasıyla tarar. Botlar daha önceden taramış olduğu bağlantıları da tekrar tekrar tarar. Bunun bir çok sebebi olabilir. Site haritanızda lastmod parametresi ile içeriğin güncellendiğini algılaması da olabilir birisin sizin sayfanıza bağlantı vermiş de olabilir. Bunu tam anlamıyla anlamanın şimdilik imkanı yok gibi bir şey. Yani kısacası Google sayfanıza gelir bütün her şeyi tarar daha sonra tespit ettiği linkleri de sıraya ekler ve sırasıyla o linkleri de tarar. Burada şu soru işareti ortaya çıkıyor: Bütün sayfalarımız birbirine bağlı olduğuna göre Google neden her geldiğinde bütün siteyi taramaz?

Tarama Bütçesi Nedir?

Google tarafından bir sayfaya verilen öneme göre ziyaret ettiği sayfa sayısıdır. Belli bir oranın altına düştüğünde sitenizin indeksi arama sonuçlarında güncel olmayacak ve günden güne sitenizin/sayfalarınızın değeri azalacaktır. Peki bu oranı nasıl hesaplarız? Çok basit öncelikle Search Console giriyoruz. Menüden Google Dizini > Dizin Durumu sekmesine girdiğimizde aşağıdaki gibi dizine eklenen toplam sayfa sayınızı görüyorsunuz.

Şimdi Google örümceklerinin günlük kaç sayfa taradığına bakıyoruz. Buna bakmak için Search Console menüsünde Tarama > Tarama İstatistikleri menüsüne giriyoruz. Girdiğimizde aşağıda gördüğümüz gibi “Günlük Taranan Sayfa Sayısı” bölümünde “Ortalama” diye sınıflandırılmış alanı esas rakam olarak alıyoruz.

Şimdi gelelim hesabına;

Dizine Eklenen Toplam Sayfa Sayısı / Günlük Taranan Sayfa Sayısı (Ortalama)  = Tarama Bütçesi

Örnek olarak hesaplayalım. 871 Toplam Sayfa / 206 Ortalama Taranan = 4,22 Tarama Bütçesi

Peki bu rakam bize neyi ifade ediyor?

  • Tarama bütçeniz eğer 10’un üzerindeyse ciddi anlamda tarama bütçenizi optimize etmek için aksiyon almanız gerektiği anlamına geliyor.
  • Tarama bütçeniz 3’ün altındaysa endişe etmenize gerek yok çok iyi durumdasınız. Bu yazıyı okumaktaki tek amacınız bilgilenmek demektir.
  • Eğer bu iki değerin ortasında bir tarama bütçesine sahipseniz “Günlük ortalama taranan sayfa sayısı” değerini sık sık kontrol etmeli ve düşmesi durumunda aksiyon almanız gereklidir.

Genel olarak Crawl Budget nedir, ne değildir anladığımıza göre şimdi bunu etkileyen faktörlere beraber bakalım.

Tarama Bütçesi Neye Göre Belirlenir?

Tarama bütçesi temel olarak 4 faktöre göre belirlenir. Bu faktörler; Google indeksine eklenen toplam sayfa sayısı, sitenizin boyutu, sitenizin hızı ve sitenizin almış olduğu referans bağlantı (backlink) sayısıdır. Şimdi beraber bu kavramları biraz daha açalım.

1. Google İndeksine Eklenen Toplam Sayfa Sayısı

Google botları sitenize her geldiğinde site haritanızı ve halihazırda indekslenmiş sayfalarınızı inceler. Bu inceleme sonucunda yeni bağlantılar bulursa bu bağlantıları tarar ve bir sınıflandırmaya tabii tutarak arama sonuçlarında gösterir. Tabii ki bu taranan her bağlantınızın iyi sıralamalara sahip olacağı anlamına gelmez. Sıralamaları etkileyen 200’ün üzerinde faktör vardır. Bu indekslenen sayfalarınız belli aralıklarla Google botları tarafından tekrar ziyaret edilir ve değişiklikler taranır. Bu indeks sayısına Search Console aracılığıyla erişebilirsiniz.

2. Sitenizin Boyutu

Sitenizde bulunan bütün görseller, html dosyaları, css ve javascript dosyaları Google botları tarafından indirilir ve daha sonra tarama yapılır. Bu dosyaların her biri botların sitenize ayıracağı kaynağı ve süreyi belirler. Eğer siteniz çok büyük boyutlara sahipse ve yeterince değerli bir site değilseniz Google botları sitenize daha seyrek uğramaya başlar. Bunun sebebi ayıracağı kaynağın fazla olmasıdır.

3. Sitenizin Hızı

Sitenizin açılış hızı kullanıcılarınızı mutlu ettiği kadar Google örümceklerini de mutlu eder. Hızlı açılan ve hızlı taranabilen sayfaları Google botları tarafından da aynı hızda işlenir. Böylelikle Google botları tarafından ayrılan kaynaklar en verimli şekilde kullanılmış olur. Botlar da böyle siteleri daha fazla ziyaret ederek ödüllendirir. Ayriyeten de site hızının bir sıralama faktörü olduğunu da biliyoruz. Dolayısıyla sitenizin hızı SEO çalışmalarının önemli bir kısmını kapsıyor.

4. Referans Bağlantı (Backlink) Sayısı

Google botları tüm interneti tararken her sayfayı teker teker indekslediğinden bahsetmiştik. İndekslediği sayfalarda bulunan linkleri de takip ettiğini bu kısımda söylememiz gerekiyor. Google örümcekleri girdiği sayfalarda bulunan site içine veya site dışına olan bütün linkleri takip eder. Eğer bir sayfanıza başka bir siteden bağlantı verilmişse o siteye giden Google botları oradan size de uğrayacaktır. Dolayısıyla referans bağlantı sayınız tarama bütçeniz ile doğrudan alakalıdır.

Tarama Bütçesi (Crawl Budget) Nasıl Optimize Edilir?

Bundan sonraki kısım tarama bütçesi düşük olan sitelere öneri niteliği taşımakla birlikte tarama bütçesi yüksek olan sitelerinde bu yüksekliği koruması yönünde tavsiye niteliği taşıyacaktır. Öncelikle yukarıda tarama bütçesine etki eden genel faktörleri gördük. Bu faktörlerle alakalı önlemler almaya başladığınızda Google örümcekleri sitenizi daha fazla ziyaret etmeye başlayacaktır fakat yeterli olmadığı durumlarda aşağıdaki düzeltmeleri de yapmanız gerekir.

Yönlendirme İle İlgili Teknik Problemleri Düzeltin.

Sitenizde yaşanan yönlendirme sorunları, kırık linkler ve alakasız sayfalara verilen bağlantılar sitenizin sağlığını etkileyeceği gibi Google örümceklerinin de kafasını karıştırır. Ana sayfadan ve alt sayfalarınızdan çıkan bağlantıların tamamının 200 koduyla yönlendirildiğine ve alakalı sayfalar olduğuna emin olun. Yani site içi bir bağlantınız yine site içi başka bir bağlantıya 301 veya 302 yönlendirmesiyle yönlendirilmişse Google örümcekleri bu linki takip etmeme özgürlüğüne sahiptir. Yani böyle bir linke rast geldiğinde takip etmek yerine daha sonra incelenecekler listesine alır fakat 200 koduyla direkt yönlendirilmiş olsaydı Google örümcekleri daha sonra takip etmek için listeye almak yerine direkt bağlantıya gidecek ve o bağlantınızı da tarayacaktı.

Sitenizin Gereksiz Dizinlerini Engelleyin.

Sitenizde bulunan ve Google botları tarafından taranan gereksiz sayfaları engelleyin. Bu sayfalara örnek olarak E-Ticaret sitelerindeki beden hesaplama ve kargo firmasıyla alakalı bilgilendirme sayfaları olabilir. Bu gereksiz sayfaların her seferinde Google botları tarafından indekslenmesi gereksiz bir iş yükü oluşturacaktır.

Gereksiz Yönlendirmelerden Kaçının.

Gereksiz yönlendirmelerden kastımız yukarıdaki site içi yönlendirmelerden ziyade daha kapsamlı yönlendirmeler. Siteniz http sürümünden https sürümüne veya www versiyonundan www olmayan versiyonuna yönlendiriliyor olabilir. Mümkün olduğunca bu yönlendirmeleri azaltmanız Google örümceklerinin işlerini kolaylaştıracaktır. Aynı zamanda siteniz az da olsa daha hızlı açılacaktır. Kullanıcılarınız fark etmeyebilir ama Google botları bunu kaçırmaz.

Daha Fazla Referans Bağlantı Alın.

Tüm işlemleri yapmanıza rağmen hala Google örümcekleri sitenizi sevmiyorsa çok sık güncellenen sitelerden referans bağlantı almanız gerekebilir. Dolayısıyla o sayfalara sık sık uğrayan örümcekler bağlantıları takip ederek sizin sitenize de uğrayacaktır.