Tarama Bütçesi Optimizasyonu Kılavuzu ve Çalışma Rehberi
Tarama bütçesi optimizasyonunda amaç Google üzerinden yapılan aramalarda internet sitenizde mevcutta bulunan önemli sayfaların optimum şekilde taranması ve arama sonuçlarında ortaya çıkarılmasıdır.
Tarama bütçesi optimizasyonunda internet sitelerinde arama yapan Google botlarının arama yapması sırasında dizin eklemesi yapılarak internet sitelerinde öne çıkarılmak istenilen sayfalara yönelik yönlendirme yapılır.
Googlebot Çalışması Nasıl Oluyor?
Google arama teknolojisi, botları kullanmaktadır. Botlar internet üzerinde tarama yapar ve keşfettiği sayfaları dizine ekler. Dizin; kısaca bir şeyin kolay bulunabilmesi amacıyla benzer özellikte yer alan unsurların kategorilenmesi anlamına gelmektedir.
Google botları yaptığı arama sonucunda bulduğu internet sayfalarını işlemeye başlar. İşleme sürecinde tarama yapılan internet sayfasının ne ile ilgili olduğu belirlenir. Google botlarının arama teknolojileri sayesinde internet sayfalarının ne ile ilgili olduğu anlaşıldıktan sonra internet sayfaları indekslenme öncesinde bir havuzda toplanır. Havuzda toplanan internet sayfaları SEO sıralama faktörlerine göre arama sonuçlarında sıralandırılır.
İnternet sayfalarını arama ve indeksleme sürecini kısa olarak özetlersek aşağıda yer alan aşamalardan bahsedebiliriz.
- Aşama : Tarama ( Crawling)
- Aşama : Dizine Ekleme (Indexing)
- Aşama : Sıralama (Ranking)
1. Aşama Tarama (Crawling)
Google botlarının arama teknolojisi sayesinde internet üzerinde yayınlanan her türlü sayfanın mevcut durumundaki yenilikleri ve yeni eklenen sayfaları tarar. Google arama motoru hizmeti verdiği için kendi kullanıcılarına bir konuda verilebilecek yeni bir hizmet olup olmadığı konusunda sürekli yeni eklenen sayfalar üzerinden tarama yapar.
Burada asıl amaç internet dünyasına yeni eklenen ve insanların araştırma yapacağı konularda yayın yapan internet sayfalarını tarayıp bulmaktır. Tarama işlemi sonucunda bulunan sayfalar dizin oluşturulmadan önce bir havuzda bekletilir.
2. Aşama Dizine Ekleme (Indexing)
Google botları tarafından keşfedilen internet sayfaları dizinlenmeden önce havuzda bekletilir. Havuzda bekletilen internet sayfaları sayfa kurulumu sırasında oluşturulan kimlik görevi gören tanımlama, başlık, yapılandırılmış veri bilgileri, başlık etiketleri gibi kategorilere göre tanımlandırılır.
Google’ın arama teknolojileri sayesinde internet sayfalarından elde edilen veriler doğrultusunda tanımlama bitirilir. Böylelikle internet sayfaları Google dizininde listelenmeye hazır hale getirilir.
3. Aşama Sıralama (Ranking)
Belirtilen 2. aşamada keşfedilen ve içerikleri tanımlanarak dizinlenen internet sayfaları Google arama sonuçlarında sıralamaya etki eden *200’den fazla kriter üzerinden detaylı incelenerek internet sayfasının Google aramalarında hangi sıralamalarda yer alacağı belirlenir.
* Tartışmalı bir konu olmasına rağmen sıralamaya etki eden faktörlerin 100.000’den fazla olduğu da söylenmektedir.
Yapılan Google aramalarında yüksek sıralarda yer alan sayfalar aranılan anahtar kelimeye en iyi cevabı veren ve en iyi kullanıcı deneyimi sunan sayfalar olarak tanımlanmaktadır.
Tarama Bütçesi (Crawl Budget) Ne Anlama Geliyor?
Tarama bütçesi,Google botları tarafından bir internet sitesi üzerinden yapılacak taramada günlük olarak kaç sayfa taranacağına ve internet sitesi tanıma amaçlı yapılan taramalarda hangi sayfaların taranacağına yönelik karar vermesine yönelik yapılan çalışmalara verilen isimdir.
Google botları tarama öncesinde bir internet sitesinden kaç sayfayı ve hangi sayfaları tarayacaklarına karar verir. Bu sonuç doğrultusunda tarama yapılır.
Neden Tarama Bütçesi Optimizasyonu Yapılmalı?
Tarama bütçesi optimizasyonu, Google arama botları tarafından yapılacak internet sayfası taramalarında sayfanızda öne çıkmasını istediğiniz sayfalara doğru botları yönlendirme işlemidir.
Organik trafik potansiyeli olmayan, SEO anlamında yetersiz ve içerdiği bilgiler anlamında yeterli düzeyde olmayan sayfaların Google taramalarında yer almaması ve internet sayfasının tarama bütçesini boşa doldurmaması için tarama bütçesi optimizasyonu oldukça büyük bir öneme sahiptir.
Tarama bütçesi optimizasyonunda amaç; öne çıkması istenilen sayfaların taranması, indekslenmesi ve arama sonuçlarında yer alması için Google botlarına yönelik taramalarda yönlendirme yaparak internet sayfalarını Google arama motorunda üst sıralarda görülme ihtimalini artırmaktır.
Nasıl Tarama Bütçesi Kontrolü Yapılır?
Google botları tarafından yapılan taramaların son 90 gün boyunca ne miktarlarda yapıldığını kontrol ederek tarama bütçelerini ayarlamanız mümkün olmaktadır.
Tarama bütçesi kontrolünü, Search Console‘da yer alan menünün sol üst bölümünde ayarlar bölümünde “Tarama İstatistikleri Raporu” ’na tıklayarak yapabiliriz. Ortaya çıkan ekranda “Toplam Tarama İsteği” ve “Toplam İndirme Boyutu” görülebilmektedir. Google botları tarafından ziyaret edilen ama sonuç alınamayan “Tarama İstekleri” bölümünde 200, 304, 404, 500 vs. gibi sorunlu sayfaları görebilir, bu problemlere karşı çözümler ortaya koyabilirsiniz.
Nasıl Tarama Bütçesi Optimizasyonu Yapılır?
Bir internet sitesinin tarama bütçesi optimizasyonunu birçok değişken etkilemektedir. İnternet sitesinin erişim hızı, internet sitesinin boyutu, sitede yayınlanan içeriklerin kalitesi, yayınlanan içeriklerin kopya durumunun olup olmadığı, site içerisinde yer alan bağlantıların birbirine geçiş hızları optimizasyonu etkileyen unsurlar arasında yer almaktadır. Sayılan unsurlar Google botları tarafından bir sitenin hangi sıklıkta ve kaç sayfa taranacağını belirlemektedir.
Googlebot Hareketlerini Log Analizi İle İncelemek
İnternet sitelerinin sunucuları log dosyaları üzerinden internet sitelerine yapılan ziyaretlerin kayıtlarını tutmaktadır. Günlük tutulan kayıtlarda ziyareti gerçekleştirenin IP adresi, ziyaretin gerçekleştiği saat ve tarih bilgileri log dosyalarında saklanır. Log dosyalarının analizi sonucunda Google botların web sitelerinde hangi sayfaları hangi zaman aralıklarında ziyaret ettiğini ve tarama yapılan sayfaların ne olduğu tespit etmek mümkün olmaktadır.
Log analizleri sonucunda elde ettiğimiz veriler neticesinde tarama bütçesi optimasyonunda yapmamız gereken çalışmalar belirlenerek aslında istenilen sayfalara yönelik taramaların yapılmasına yönelik çözümler ortaya çıkar.
Site Erişimi, Açılış ve Geçiş Hızlarına Yönelik Optimizasyon
Tarama bütçesini etkileyen unsurlar arasında site hızı önemli bir yer tutmaktadır. Sitenin sahip olduğu sunucunun hızı, site içi sayfa geçişlerinde gerekli olan hıza erişmek ve Google PageSpeed Insights verdiği ipuçlarıyla düzenlemeler yapmak site hızını artırmaktadır. Site hızının artması Google botları tarafından yapılacak taramaların hızını artırarak aynı sürelerde daha fazla sayfa taranmasına imkân tanır.
İnternet sayfalarının açılış hızlarının yüksek olması hem taranma sürelerini azalttığı gibi hem de SEO performans kriterleri arasında yer aldığı için genel olarak sitenizin SEO performansını artırmaktadır.
Site Boyutunun Düzenlenmesi
Site içeriğinde yer alan yüksek boyutlu kaynak dosyalarının yer alması sitenin hem yüklenme süresini hem de taranma süresini arttırmaktadır. JS, CSS, fotoğraf ve video dosyalarının boyutları bir internet sitesinin toplam boyutuna direk olarak etki etmektedir. Belirtilen dosya boyutlarını sıkıştırmak ve optimize etmek site boyutunu azaltacağı için tarama bütçesi optimizasyonunda önemli bir unsuru oluşturur.
Site İçi Kırık Linklerin Düzeltilmesi
Site içerisinde sayfalar arasında birbirine geçiş sağlayan internet sayfaları bağlantı linklerinin çalışır durumda olması ve 200 cevap kodunu sağlaması, tarama bütçesi optimizasyonu için önemli olan bir diğer unsurdur.
İnternet sayfalarında çalışmayan veya kırık linklerle bağlantı sağlıyor olmak Google botların yaptığı taramalarda olumsuz sonuçlar doğurur. Google botları bir sayfa içerisinde gördüğü tüm bağlantıları tarama sırasına koyar ve zamanı gelince inceler. Çalışmayan link bağlantıları tarama bütçenizi olumsuz etkiler.
Gereksiz Taramalar için Robots.txt Kurallarını Belirlemek
Sayfaları tarayan Google botların hangi sayfalara erişeceğini belirten komutlama dosyası olan Robots.txt, tarama bütçesi optimizasyonunda önemli bir yer almaktadır. Robots.txt dosyasına eklenilen Disallow komutuyla birlikte Google botları için dizin, URL, parametre taramasında yapmaması gereken taramaları belirlersiniz.
Bu amaçla SEO açısından önemi olmayan URL’lerin taranmasına engel olarak tarama bütçesi optimizasyonunda taranmasını istediğiniz sayfalara yönelik yönlendirilme yapılmış olmaktadır.
Site İçerisinde Yer Alan Bağlantı Akışını Yönetmek
Site içerisinde yer alan sayfalar bağlantılar aracılığıyla Google botları tarafından takip edilir ve taranır. Tarama bütçesi optimizasyonu kapsamında gereksiz tarama oluşturacak ve SEO için çok fazla anlamı olmayan Kullanıcı Sözleşmesi, Gizlilik Politikası, Sepet, Profil sayfaları gibi sayfalar için bağlantılara eklenecek “nofollow“ dizin komutuyla Google botların belirtilen sayfaları taraması ve incelemesi engellenir. Bunun sonucu olarak Google botlarının boşa tarama yapması engellenerek tarama optimizasyonu bütçesi açısından önemli bir verim alınır.
Site İçeriğinde Yer Alan İçeriklerin Özgün Olması
İnternet sayfalarında yayınlanan içeriklerin kalitesi, kopya durumunun olup olmadığı ve özgünlüğü gibi konular SEO performansını etkilemektedir. Site içerisinde ilgi uyandırıcı ve kaliteli içerik paylaşımları yapılması Google botları tarafından internet sitelerinin daha çok ziyaret edilmesi ve bu sayfaların öncelikli taranması, indekslenmesi anlamına gelecektir.
Site Haritası İçeriğinde Yer alan Bağlantıları Güncel Tutmak
Site haritalarında yer alan bağlantıların güncel ve çalışır durumda olması tarama bütçesi yönetiminde önemli olan unsurlar arasında yer almaktadır. Site haritalarını düzenli bir periyotta okuyan Google botları site içerisinde yer alan haritalarda bulunan bağlantıların taramasını ve indekslenmesini yapar.
Tarama bütçesi optimizasyonu için site içerisinde 404 bağlantıların, taranması engellenen URL’lerin bulunmaması önemlidir. Site haritaları site içerisinde yer alan varış sayfalarını içermeli ve güncellenen içeriklere dair “lastmod” etiketine yönelik ibare olmalı.
Site İçerisindeki Eksik Yetim Seviyedeki (Orphan) Sayfa Tespiti
Site içerisinde yer alan ve herhangi bir bağlantısı olmayan ve bu sebeple ulaşılabilir olmayan sayfalar yetim (orphan) olarak isimlendirilir. Site içerisinde yer alan kayıp seviyede bağlantıların tespit edilmesi ve sonrasında menü, footer, sidebar, kategori ve ürün sayfası gibi alanlardan link bağlantıları ile ulaşılabilir olması tarama bütçesi optimizasyonun da önemli bir yer almaktadır. Site içerisindeki bağlantı akışında yer alan yetim sayfalar düzeltilerek hem anahtar kelime aramalarında katkı sunacaktır.
Tarama bütçesi optimizasyonunda en çok dikkat edilmesi gereken konuları anlatmaya çalıştık. Umarız faydalı bir yazı olmuştur. Konu hakkındaki düşüncelerinizi yorum bölümünden bizlere iletebilirsiniz.
