Robots.txt dosyası, arama motoru örümceklerine çeşitli kısıtlamalar getirmek adına kullanılır. Çoğu web site sahibi robots.txt dosyasının varlığından haberdar olsa da robots.txt nasıl oluşturulur ile alakalı bilgisi yoktur.
SEO çalışmalarında robots.txt dosyasının gücünden yararlanmayan kişiler çok şey kaybeder. Kimi zaman bu dosya içerisine girilen kısacık metinler SEO çalışmalarında başarıyı yakalamayı sağlar.
SEO çalışmalarınızda işlerinizi kolaylaştırmak için robots.txt dosyasının gücünden yararlanabilirsiniz. Sizlere maksimum verim almanızı sağlayacak türden bir robots.txt dosyasını nasıl düzenleyeceğinizi anlayacağım. Bu dosyada yapacağınız değişiklikler, arama motorlarının web sitenizi sevmesini sağlayacaktır.
Robots.txt Dosyası SEO Açısından Neden Önemlidir?
Robots.txt dosyası, arama motoru örümceklerine web sitenizde yer alan hangi sayfaları tarayıp taramayacağı konusunda bilgi vermeyi sağlayan metin içerikli dosyadır.
Arama motoru örümcekleri bir sayfayı taramadan önce ilk olarak robots.txt dosyasında yer alan bilgileri inceler. İndexleme işlemi örümceklere verilen kısıtlamalara göre gerçekleştirilir. Bu kısımda yapılacak olan yanlış tanımlamalar biranda serp sonuçlarında tüm indexlerin silinmesine neden olabilir. Sizlere çeşitli örnekler sunarak doğru robots.txt dosyasını oluşturmanızı sağlayacağız.
Web sitenize ait olan robots.txt dosyasının aşağıdaki gibi olduğunu düşünelim ve içerisinde yer alan tanımlamaların neler olduğunu açıklayalım.
Yukarıda yer alan örnek, robots.txt dosyasının temeli olarak kabul edilir.
User-agent:* şeklinde yapılan tanımlama, bu dosya içerisinde yer alan tüm sınırlamaların tüm arama motorları için geçerli olduğunu ifade eder.
Disallow:/ şeklinde yapılan tanımlamalar, arama motoru örümceklerinin hangi sayfaları ziyaret etmemesi gerektiğini tanımlamak için kullanılmaktadır.
İster istemez arama motoru örümceklerinin neden sayfaları ziyaret etmesini engellemek isteyen insanların olduğunu düşünenleriniz olacaktır.
SEO çalışmaları örümceklerin bir web siteyi kolay bir şekilde tarayabilmesi adına yapılan düzenlemeleri de kapsar. Oysa robots.txt dosyası çeşitli sınırlamalar getirerek içeriklerin taranmasını zorlaştırır.
Bu aslında ilgili dosyanın ne için yapıldığını bilmeyen kişilerin düşüncedir. Çünkü yapılan bu kısıtlamalar aslında arama motoru örümcelerin sayfaları daha kolay bir şekilde taramasına yardımcı olmaktadır.
Arama motoru örümceklerine sınırlama getirilmezse örümcekleri web sitede yer alan sayfaların tamamını tarar. Eğer aşırı sayfa söz konusuysa bu durum tüm içeriği taramak için belirli bir süreye ihtiyaç duyulmasına neden olur. İndekslenecek olan sayfa sayısı arttıkça beklenmesi gereken süre de artacaktır. Bu da web sitelerin geç index almasına ve serp sonuçlarında olumsuz etkilerin oluşmasına neden olacaktır.
Bu durumun oluşmasındaki temel neden Google örümceklerinin crawl budget şeklinde tanımlanan bir tarama bütçesine sahip olmasıdır.
Crawl budget; Google örümcelerinin gün içerisinde sayfalarınızdan kaç tanesini ziyaret ettiğini ifade eder. Günlük ziyaret edilen sayfa sayısı sabit değildir. Zaman içerisinde artan popülerliğe göre değişkenlik gösterir. Web site popülerliği arttığı zaman gün içerisinde taranan sayfa sayısında da artış olur. Crawl budget, derinlemesine bir şekilde ele alınması gereken bir kavramdır. Başka bir makalede bu konuyu derinlemesine bir şekilde ele alacağız.
Gerekli olmayan sayfaların taranmasını arama motoru örümceklerine kapatarak arama motoru örümceklerinin daha hızlı çalışmasını sağlayabilir ve bu sayede index alma sürenizi hızlandırabilirsiniz.
Kısacası; robots.txt dosyası sayesinde arama motoru botlarına Crawl budget yani tarama bütçesini akıllıca kullandığınızı gösterebilirsiniz. Bu özellik robots.txt dosyasının SEO açısından önemli olduğunun açık bir kanıtı olarak kabul edilebilir.
Robots.txt Dosyası Nasıl Bulunur?
Web sitenizde daha önceden oluşturulmuş olan bir robots.txt dosyasının olup olmadığını öğrenmek isteyebilirsiniz. Bunun için ana sayfa URL’sinin sonuna /robots.txt yazıp enter yapmanız yeterlidir.
Yukarıdaki örnek URL’yi kendi web sitenize göre uyarlayarak robots.txt dosyanızda yer alan bilgileri inceleyebilirsiniz. Bu URL’ye giriş yapıldığı zaman herhangi bir metinsel öğeyle karşılaşmazsanız robots.txt dosyası var ancak müdahale edilmemiş anlamına gelir. İlgili URL’ye giriş yapıldıktan sonra 404 uyarısı alınacak olursa henüz bir robots.txt dosyası oluşturmamışsınızdır.
SEO ayarları konusunda kendisini kanıtlamış olan web sitelerin robots.txt dosyalarına bu şekilde ulaşabilir ve kendi robots.txt dosyalarınızı bunlara göre düzenleyebilirsiniz. Kısacası bu robots.txt bulma yöntemi rakiplerinizi örnek alma açısından da size yardımcı olacaktır.
Robots.txt Nasıl Oluşturulur?
Robots.txt dosyası oluşturmak için öncelikli olarak bilgisayarınızın masaüstüne boş bir txt dosyası oluşturun. Daha sonra bu dosyanın adını robots.txt yapın.
Txt dosyanızı açıp ilk satıra User-agent:* şeklinde tanımlama yapın. Bu tanımlama yapılan sınırlamaların tüm arama motorları için geçerli olacağını ifade etmektedir.
Daha sonra “Disallow:” yazın. Eğer bundan sonra herhangi bir tanımlama sınırı koymazsanız arama motoru örümcekleri web sitenizin tamamını tarayacaktır. Eğer bazı taramalara sınırlama getirmek isterseniz disallow bildirimden sonra tanımama yapabilirsiniz. Örneğin Disallow: /wp-admin/ şeklinde tanımlama yapmanız wp-admin sayfasının indekslenmesini engelleyecektir.
Robots.txt dosyasına sitemap girilmesi örümceklerin sitemap dosyasına daha rahat ulaşmasını sağlayacaktır. Sitemap tanımlamasını şu şekilde yapabilirsiniz.
Sitemap: https://upgo.com.tr/sitemap_index.xml
Çoğu zaman web sitelerde yer alan 1, 2, 3, 4… şeklindeki sayfalar içerik tekrarının oluşmasına neden olur. Bu kötü bir SEO sinyalinin oluşmasına neden olmaktadır. Bu kötü SEO sinyalini ortadan kaldırmak için sayfaları arama motoru indekslemesine kapatabilirsiniz.
Disallow: /page/ şeklinde yapacağınız tanımlama, sayfaların indexlenmesini engelleyecektir.
Makalemizin başından beri yaptığımız tanımlamalara göre örnek olacak bir robots.txt dosyası aşağıdaki gibi olmalıdır diyebiliriz. Web site tasarımınıza göre sizler de ekstra olarak taranmayacak özellikler ekleyebilirsiniz.
Oluşturduğunuz robots.txt dosyasını Google Search Console hesabınızı kullanarak test edebilirsiniz.
Sadece belirli sayfaların indexlenmesini engellemek için ilgili sayfasının head kısmına da eklemeler yapabilirsiniz. Bunu nofollow etiketiyle yapmanız mümkündür.
Yukarıdaki görselde yer alan meta bilgisini, index almasını istemediğiniz sayfanın head kısmına ekleyerek ilgili içeriklerin arama motoru örümcekleri tarafından indexlenmesini engellemeniz de mümkündür.
Robots.txt dosyanızı geliştirerek hem arama motoru örümceklerine hem de hedef kitlenizde yer alan kullanıcılara büyük kolaylık sağlamış olursunuz. Birçok kişinin robots.txt dosyasına önem vermediğini bilsek de sizlere SEO açısından ciddi katkılarının olacağını söyleyebilirim.
