Robots.txt Kullanımı ve Test Taşıtı

Paylaş

Bu Yazıyı Paylaş

veya linki kopyala

Arama motorlarına Robots.txt takviyeyi ile web sitenizin indekslenmesini  istediğiniz sayfaları, klasörleri  robots dosyasına yazacağınız komutlar ile  zorunlu ulaşımları vererek indeksletebilirsiniz. Veya indekslenmemesini istediğiniz sayfalarını, klasörleri, dosyaları engelleyebilirsiniz.

Robots.txt Kullanımı;

User-Agent: * Komutu tüm arama motorlarının botlarının sitenizi takip etmesini sağlar.

Ayrıca

User-agent: Googlebot

User-agent: Bingbot

User-agent: YandexBot  gibi istemediğiniz botların sitenizi takip etmesini istemiyorsanız bu botları robots dosyanızda kullanarak zorunlu dosyalara kısıtlama veya ulaşım getirebilirsiniz.

Aşağıdaki misalde Google Bot üzerinde bir adet sayfa ve klasör yasaklaması yapalım;

Misal;

User-agent: Googlebot

Disallow: /admin

Disallow: /sayfa-yasaklama. html

Robots.txt Test Taşıtı;

Robots.txt dosyanızın, Google arama motorunda ulaşmamasını istediğiniz URL’lere ulaşımını yasaklayıp yasaklamadığını gösterir.

Bu vasıta ile Google Botlarının ulaşmasını yasaklamak istediğiniz bir sayfa URL’sinin taranmasının sarih olup olmadığını test edebilirsiniz. Robots.txt Test Taşıtı’nın kullanımı ise çok kolay fotoğrafta gösterildiği gibi URL yollayarak sayfanızın yasaklanıp, yasaklanmadığını görebilirsiniz.

Robots.txt Test taşıtı, Googlebot gibi çalışır ve URL’nizin düzgün biçimde yasaklanmış olduğunu doğrular. Bu adresten ulaşabilirsiniz.

Robots dosyası doğru bir biçimde test edilerek kullanılmaz ise sitenizin trafik aldığı sayfaları yanlışlıkla ulaşıma kapatabilirsiniz buda trafik kaybına neden olur.

Robots.txt Kullanımı

0
mutlu
Mutlu
0
_zg_n
Üzgün
0
sinirli
Sinirli
0
_a_rm_
Şaşırmış
0
vir_sl_
Virüslü
Robots.txt Kullanımı ve Test Taşıtı

E-posta hesabınız yayımlanmayacak.

Uygulamayı Yükle

https://www.seonedir.co/wp-content/uploads/2022/08/fav.png