URL’ler & Google Botları Hakkında Bilmediğiniz Bazı Gerçekler

Google’ın nasıl çalıştığını sadece yayınladığı dökümanlar ve bazı platformlardan öğrenebilirsiniz. Tecrübeleriniz ile nasıl çalıştığını anlamak ise çok zevklidir. Teorik olarak doğru bildiğiniz bazı yanlışlar var!

Son günlerde artan indexlenmeme sorunları üzerine bir araştırma yapmaya karar verdim. Ajansıma gelen talepler içerisinde indexlenmeme sorunu yaşayan bir çok site vardı. Yaptığım analizler sonucunda elde ettiğim verileri ve bilmediğiniz gerçekleri sizlerle paylaşmak istiyorum.

Google Her URL’i Taramıyor!

Googlebotları buldukları her URL için tarama işlemi gerçekleştirmezler. Genellikle bu durum big dataya sahip sitelerde karşımıza çıkar. Yani URL sayınız ne kadar fazla ise o kadar taranmama riskiniz var demektir.

Googlebotları neden her URL’i Taramaz?

Her URL’in taranmaması için Google kusursuza yakın bir yapay zeka kullanıyor diyebilirim. Evet, %100 doğru olarak çalışmıyor tabiki. Her URL Neden taranamaz;

• Spam ile mücadele. Google kaliteli içeriklere öncelik vermek zorunda, sınırsız bir alana sahip gibi düşünmeyin. SERP sonuçlarında en alakalı cevaplar için Google seçim yapmak zorunda. Bu yüzden bir çok URL’inizin tarandığını ve dizine eklenmediğini görebilirsiniz. Hatta hiç taranmadığını görebilirsiniz. Zayıf, ince içerik olarak adlandırdığımız içeriklerin Googlebotları tarafından atlanma ihtimali çok yüksektir. Bir örnek vermek gerekir ise; Sadece ürün başlığı olan bir ürünün dizine eklenme şansı çok düşüktür. Sürekli zayıf içerik yayınlayan bir sitenin URL’lerinin dizine eklenme şansıda çok düşüktür.
• Googlebotlarının taramalar için bir sınırı vardır. Her site için tarama limiti bulunmaktadır. Eski Search console verilerinden tarama limitlerinizi kontrol edebilirsiniz.
• Aynı başlıklarda üretilen içeriklerin atlanması, defalarca aynı başlıklarla üretilmiş olan içeriklerin botlar tarafından atlanma ihtimali çok yüksektir. Bunu genellikle yeni sitelerde sıklıkla görüyorum. Eski bir web sitesinin, online pazar yerinin index aldığını görürken, aynı ürünü barındıran diğer sitelerin index almadıklarını gözlemleyebilirsiniz.

Evet, şaşırmayın taranmayı bekleyen sayfalarınızın bazı sinyallerden geçmesi gerekiyor. Search Console üzerinde tespit edildi, lakin taranmadı olarak görünen sayfalarınızın kalite sinyallerine takıldığından emin olabilirsiniz. Google burada sürdürülebilirlik, yönergesini devreye alıyor diyebilirim. Sadece zayıf içerik yayınlamaya devam ederseniz, maalesef kalan URL’lerinizin taranmama ihtimali çok yüksektir. Siteniz için faydalı, landing page, kategori açıklamaları, ürün açıklamaları vb formatlarda geliştirmeler yapmanız durumunda bekleyen URL’lerinizin taranmaya başladığını görebilirsiniz.

Uyarı: Ürünleriniz, sayfalarınız, kategorileriniz içerisinde “noindex” olmamasına dikkat etmelisiniz.

URL’lerin Popülerliklerini Neler Belirler?

Dizine eklenmesi için Googlebotlarının siteniz için verdiği puan sistemi vardır. Aslında sürekli takip ediliyorsunuz. URL’inizi alacağınız trafik ve URL’lerinize aldığınız bağlantılar tetiklemeyi etkileyen önemli bir faktördür.

Diğer önemli faktör ise, URL’lerin güncellenme sıklığı. Yani güncel içerikler üretiyor iseniz ve URL sayınız kalite sinyallerini karşılayacak düzeyde artıyor ise, artık index sorunu yaşamanız için bir neden yoktur.

Uyarı: Sunucunuzdan kaynaklanan problemlerden dolayı URL’leriniz indexlenmiyor olabilir. Yani uzun süre yanıt veremiyor ise, SlowPage sayfalara sahipseniz Googlebotlarının sitenizi taramaması çok normal bir durumdur.

Yeniden Taranmak İçin Kriterlerden Geçmek

Bir URL’in yeniden taranabilmesi için bazı kriterler bulunmaktadır. Googlebotları durduk yere gelip eski URL’lerinizi taramazlar. Google yeniden tarama yapabilmek için yine harika bir yapay zeka kullanıyor.

Google tekrar tarama yapmak için içerikleri nasıl sınıflandırıyor?

• Blog konuları : Tekrar güncellenebilecek öğeler
• Ürünler: Tekrar güncellenebilecek öğeler
• Kategoriler: Tekrar güncellenebilecek öğeler
• Sıcak Haberler: Tekrar güncellenme şansı düşük
• Tarihi Haberler: Tekrar güncellenme şansı düşük

Vb şekilde gruplamalar yapıyor. Googlebotları eski içerikleri ne sıklıkla güncellendiğinizi öncelikle tespit eder. Son 30 gün içerisinde hiç bir eski içerik güncellenmemiş ise ve bu durum devam ediyor ise, eski içeriklerinizin zamanla taranmadığını görebilirsiniz. Googlebotlarına emir vermelisiniz ve botları yönetmeyi öğrenmeniz gerekiyor. Trafik alan içeriklerinizi sık sık revize etmelisiniz, hiç trafik almayan içeriklerden ise derhal kurtulmanız gerekiyor.

Eski içeriklerin tekrar indexlenmesi için yeni oluşturduğunuz içeriklerden eski faydalı ve alakalı içeriklere vereceğiniz linkler tarama sıklığınızı belirlemektedir.

Ek bilgi: Sürekli taranan bir site olmak için hiç durmadan içerik üretmeniz gerekmiyor. Eski içeriklerinizi revize ederek ve sosyal medyalarda paylaşarak Googlebotlarına trafik alan URL’lerinizin olduğunu ve tekrar taranması gerektiğini bildirebilirsiniz. Doğal olarak yeniden sıralama alma şansınızın olduğunu unutmayın.

Her taramada index sayılarınız artmıyor

Bu durum biraz can sıkıcı görünebilir. Lakin, Google doğru olan şeyi yapıyor. Googlebotları sitenizi her taradığında yeni URL’lerinizi dizine eklemez. Sadece eski URL’lerini tarayıp çıkabilir. Peki, bu durum neden kaynaklanıyor?

• Googlebotları yeni URL’lerin ne kadar sıklıkla üretildiğini kontrol ediyor. Yani 50 eski URL inizin olduğunu düşünelim ve siz sadece 1 ayda 2 adet yeni içerik yazdınız. Google sürdürülebilir bir site olmadığınız kanaatine varabilir. Bu yüzden yeni URL’lerinizin dizine eklenme süresi çok uzayacaktır.
• Son taramadan sonra önemli ölçüde sitenizde değişiklik var ise, Googlebotları tarafından ödüllendirilirsiniz.
• Eski URL’lerde sık sık küçük değişiklikler yapıyor iseniz, bu durum yine olumsuz puan almanızı sağlar.
• Bir haber sitesi iseniz, yayınlanmış bir haberde küçük değişiklikler yapın ve ardarda değişiklik yaptıktan sonra, karşınıza çıkacak olan durum Googlebotlarının URL’i taramayacağıdır.

Şaşırmaya devam ediyorsunuz değil mi? Şimdi diğer unsura geçelim.

Clik Oranları ve Geri Bağlantılar

SEO’nun saklanan en önemli kriterleri, aslında taramayı en çok etkileyen faktör diyebilirim. Bir içerik ne kadar sık taranıyor ve click alıyor ise sıralamada iyi konum alması o kadar kolaydır. Referans edilen ve click alan bir içeriğin SERP sonuçlarında iyi sıra alması muhtemel bir durumdur.

Googlebotları ve Google çalışma prensibi şu şekilde işler. Eski içeriklerin genellikle Google tarafından zayıflatıldığı gözlemleyebilirsiniz. Google yeni ve güncel içeriklere daha çok değer veriyor. Şimdi algoritmayı örneklerle eski ve yeni içerik için açıklayayım.

A sitesinde eski bir içerik ayda ortalama 500 click alıyor. B sitesinde yer alan aynı konuyu anlatan bir içerik ayda 450 click alıyor. Googlebotları B sitesini daha çok tarayacaktır.

Diğer Faktörümüz bağlantılar için örnek;

A sitesinde eski bir içerik 100 click alıyor ve 3 geri bağlantısı var. B sitesinde bir içerik 75 click alıyor ve 20 geri bağlantısı var. Googlebotları B sitesini daha çok tarayacaktır. Tabi doğal olarak bağlantılar alakalı ise, daha iyi bir sıralama elde edecektir.

Daha rahat anlamanız için tersine mühendislik yapmalısınız. Sık güncellenen içeriklere sahip değilseniz;

• Daha fazla click aldırmaya çalışmalısınız
• Daha fazla alaka düzeyi yüksek bağlantılar elde etmelisiniz.

Googlebotları arka planda bir pagerank sistemi ile çalışırlar. Sıralama ve taramayı belirleyen unsurlar toplam pagerank değerine bağlı olarakta değişkenlik göstermektedir. Sitenin genel pagerank değeri, diğer URL’lerin tarama ve sıralama kriterlerini değiştirmektedir.

Sonuç olarak Googlebotları taramayı düşündüğünüz kadar basit değerlendirmiyor. Tarama demek bir nevi sıralama kriterlerini belirlemek demektir.