Arama motorlarının organik aramada sıralanabilmesi için sitenizi taraması ve dizine eklemesi gerekir. Bu nedenle, arama motorları içeriğe erişemezse, içeriğinizi optimize etmek anlamsızdır. Bu durumu birkaç nedeni olabilir. Şimdi bunları inceleyelim.

Arama Motoru Botlarını Engelleme

Bu, arama motoru optimizasyonunda en kötü durum senaryosudur. Düşünün ki hiçbir sayfanız Google arama sonuçlarında çıkmıyor.

Bu durumda kontrol etmeniz gereken şey muhtemelen tarama ya da indeksleme sorunudur. Yine bu durumda kontrol edeceğiniz dosya türü ise Robots.txt dosyasıdır.

Robots.txt dosyası arama motoru optimizasyon çalışmalarında dikkat edilmesi gereken teknik detaydır. Bu dosyalar arama motorlarına hangi sayfaları indexlemesi, hangilerini indekslememesi konusunda sinyal gönderirler.  Bu nedenle herhangi bir indeks sorunu bu dosyadan kaynaklı bir talimat hatasından kaynaklanıyor olabilir.

Arama motoru botları Robot.txt dosyasında bulunan komutlara koşulsuz uyacak diye bir kural yoktur.

Bu durumda tarama sorunları için ilk göz atmanız gereken yer robots.txt dosyalarıdır.

Tarama Testleri

Her ne kadar site tarama araçları Google botları gibi çalışıp detaylı sonuçlar vermese de, sitenizde bulunan teknik hataları ve tarama sorunlarını tespit etmek için kullanılması gerekir. Tarama testleri SEO açısından önemli bir unsurdur.

Screaming Frog aracı siteniz ile ilgili teknik sorunlarda size rehber olacak niteliktedir.

Arama botlarının sitenizin tamamını tarayıp tarayamayacağını test etmenin ilk adımı Google’ın dizinini kontrol etmektir.

Dizine eklenmiş sayfalarınızı görüntülemek için Google’da “site: siteadi.com” araması yapmanız yeterlidir.

Site sorguları, girdiğiniz URL dizesiyle başlayan ve Google’ın dizine eklediği sayfaların bir listesini döndürür. Analizlerinizde eksik olan sayfalar da Google’ın dizininde eksikse, bir tarama hatası olabilir. Bununla birlikte, sayfalar dizine eklenmişse ancak organik trafik çekmiyorsa, muhtemelen bir alaka düzeyi veya bağlantı yetkisi sorununuz vardır.

Site sorgusu sayfaları ortaya çıkaramazsa, sitenizi Screaming Frog ile taramayı deneyin. Tarayıcının sitenizde çalışmasına ve belirli bir türdeki eksik alanları aramasına izin verin, ürün detay sayfalarına, makalelere göz atın.

Arama motoru botları, tarayıcı araçlarından daha yeteneklidir. Bir araç bir sitenin içeriğinden geçebiliyorsa, botları da arayabilir.