Son dönemlerde çok fazla konuşulan Googlebot tarama limiti hakkında resmi bir açıklama yapıldı. İnternet sitelerinin sahip olduğu index sayısının fazla olmasının tarama limitini dolduruyor söylentileri Google ekibi tarafından da duyuldu ve bu konu hakkında bir makale yayınlandı;
Kısa bir süre önce “Tarama sınırı” için bir takım duyumlar aldık ancak bu terimi tek bir anlam ile sınırlandıramayız. Bu yazı ile aslında Googlebot’un ne anlama geldiğini ve neler yaptığını açıklığa kavuşturacağız.
Öncelikle aşağıda anlattığımız tarama sınırının birçok yayıncı için endişe edilmemesi gereken bir durum olduğunu vurgulamak isteriz. Yeni yayınlanan sayfalar aynı gün içerisinde tarama alıyorsa webmasterlar tarama sınırına odaklanmaması gerekir. Benzer şekilde bir site birkaç bin URL’den daha az URL içeriyorsa, çoğu zaman daha verimli sonuçlar elde edilir.
Büyük siteler için barındırılan sunucunun tarama verileri için ayırdığı kaynak, hangi sayfaların taraması istendiği, ne zaman taranacağı gibi kriterler öne çıkmaktadır. (bu noktada sunucu hızı baz alınmaktadır. Googlebot bir siteyi 10 saniye ziyaret ediyorsa bu sürede tarayabildiği kadar sayfa tarar, sunucunuz ne kadar hızlı olursa o kadar fazla sayfa taranır.)
Tarama hızı sınırı
Googlebot web’in bir vatandaşı olarak tasarlanmıştır. Taramanın ana önceliği, kullanıcı deneyimini bozmamaya odaklanır. Buna bir sitenin alabileceği maksimum tarama hızı sınırı denir.
Basitçe ifade etmek gerekirse, Googlebot’un siteyi taramak için kullanabileceği eşzamanlı paralel bağlantılar ve bunların getireceği sayfaların beklemesi gereken zamanı gösterir. Tarama oranı birkaç faktöre bağlı olarak değişiklik göstermektedir.
- Tarama sağlığı: site Googlebot taramalarına bir süre hızlı yanıt verirse yapılan tarama sayısı artar, buda tarama yapmak için daha fazla bağlantı kullanılabilir demektir. Site yavaşlarsa veya sunucu hataları ile yanıt vermezse sınır düşer ve Google bot daha az tarama yapar.
- Search Console’da sınırlama: Web sitesi sahipleri, Googlebot’un sitelerini taramasını azaltabilir. Daha yüksek sınırlar koymanın taramayı otomatik olarak arttırmadığını unutmayın.
Tarama talebi
Tarama hızı limitine ulaşmamış olsa bile, eğer dizine ekleme talebi yoksa Googlebot’un taradığı sayfa sayısı düşebilir. Tarama talebinde önemli olan 2 kriter vardır;
- Popülerlik: Internet’te daha popüler olan URL’ler, dizinimizde daha da taze tutmak için daha sık tarama almaktadır.
- Yıpranmışlık: Sistemimiz bayatlamış kullanılmayan URL engellemek için çalışır.
Ayrıca, site hareketleri, yeni içerikler, URL’lerin yeni sayfalarda kullanılması tarama talebini artırır. Tarama oranını ve tarama talebi oranlarını ele alarak sınırı belirliyoruz.
Tarama sınırını etkileyen faktörler
Analizimize göre, düşük katma değerli birçok URL’le sahip olmak, bir sitenin tarama ve dizine ekleme işlemini olumsuz etkileyebilir. Katma değeri düşük olarak tespit edilen sayalar;
- Yüzeyli gezinme ve oturum tanımlayıcıları
- Benzer olarak çoğaltılmış içerik
- Küçük hatalar içeren sayfaları
- Hacklenmiş sayfalar
- Sonsuz alanlar ve vekiller
- Düşük kaliteli ve istenmeyen içerikli sayfalar
Bu tür sayfalar sunucu kaynaklarını israf eder, tarama etkiliğini bozar, gerçekten değerli olan sayfaların keşfedilmesine engel olur.
Sık Sorulan Sorular
Tarama, sitelerin Google’ın arama sonuçlarına girmesinin temel etkinliğidir. Bir web sitesinin verimli bir şekilde taranması, Google dizinlerinde daha kolay yer almasını sağlar.
- Site hızı tarama sınırını etkiliyor mu ? Sorunlar ne olabilir ?
Bir siteyi daha hızlı hale getirmek tarama oranını artırırken kullanıcı deneyimi de geliştirir. Googlebot için hızlı bir site sağlıklı sunucuların işaretidir. Bu nedenle aynı bağlantı üzerinden daha fazla sayfanızın taranmasını sağlayabilirsiniz. Site girişinde 5xx hataları veya bağlantı zaman aşımı bunun tam tersi sinyaller verir.
Search Console’da Tarama Hataları raporuna dikkat etmenizi ve sunucu hataları sayısını düşük tutmanızı öneririz.
- Tarama, bir sıralama faktörü müdür?
Artan bir tarama oranı, Arama sonuçlarında daha iyi konumlara neden olmayabilir. Google sonuç sıralamaları yüzlerce sinyal dikkate alınarak yapılmaktadır.
- Katıştırılmış URL’ler tarama sınırını tüketir mi?
Genellikle, Googlebot’un taradığı herhangi bir URL bir sitenin tarama sınırına dahil olur. AMP veya hreflang gibi alternatif URL’lerin yanı sıra CSS ve JavaScript gibi katıştırılmış içerikler taranmalı ve bir sitenin tarama bütçesini tüketmelidir. Benzer şekilde, uzun yönlendirme zincirleri tarama üzerinde olumsuz bir etkisi olabilir.
- Googlebot’u “tarama geciktirme” yönergesi ile denetleyebilir miyim?
Standart olmayan “tarama gecikmesi” robots.txt yönergesi Googlebot tarafından işlenmez.
- Nofollow yönergesi tarama bütçesini etkiliyor mu?
Taranan URL’ler tarama bütçesini etkiler, bu nedenle sayfanız bir URL’yi hayır olarak işaretlerse bile, sitenizdeki başka bir sayfa veya web’deki herhangi bir sayfada bağlantı nofollow olarak etiketlenmezse taranabilir.
Açıklama Google tarama ve index ekibinden Gary Illyes tarafından yapılmıştır.
Seo Şefi yazmış yine ya harika bir yazı!