Robots.txt Nedir? Nasıl Oluşturulur?

Robots.txt Nedir? Nasıl Oluşturulur?

Robots.txt Nedir?

Bir web sitesi yüzlerce hatta binlerce sayfadan oluşabilir. Ancak bu sayfaların tamamının arama motorları tarafından taranması her zaman istenmeyebilir.

Örneğin;

  • Yönetim paneli
  • Test sayfaları
  • Geçici klasörler
  • Gereksiz sistem dosyaları

Google tarafından taranmamalıdır.

İşte Robots.txt, arama motoru botlarına sitenizin hangi bölümlerini tarayabileceklerini ve hangi bölümlere erişmemeleri gerektiğini söyleyen bir metin dosyasıdır.

Bu dosya web sitenizin kök dizininde bulunur.

Örnek:

 
https://siteadi.com/robots.txt

Robots.txt Ne İşe Yarar?

Robots.txt dosyası sayesinde;

  • Gereksiz sayfaların taranmasını önleyebilirsiniz.
  • Tarama bütçesini (Crawl Budget) daha verimli kullanabilirsiniz.
  • Yönetim panellerini botlardan uzak tutabilirsiniz.
  • Sitemap dosyanızı arama motorlarına bildirebilirsiniz.

Ancak önemli bir nokta vardır:

Robots.txt, bir güvenlik mekanizması değildir. Gizli bilgileri korumak için kullanılmaz.

Robots.txt Nasıl Çalışır?

Googlebot ve diğer arama motoru botları sitenizi ziyaret ettiğinde ilk olarak Robots.txt dosyasını kontrol eder.

Dosyada yazan kurallara göre;

  • Taranacak sayfaları belirler.
  • Taranmayacak dizinleri atlar.

Kurallara uyup uymamak botun yapısına bağlıdır. Büyük arama motorları genellikle bu yönergeleri dikkate alır.

Robots.txt Dosyasının Yapısı

En temel yapı şu şekildedir:

 
User-agent: *
Disallow:

Anlamı:

Tüm botlar sitenin tamamını tarayabilir.

Belirli bir klasörü engellemek için:

 
User-agent: *
Disallow: /admin/

Bu örnekte /admin/ klasörünün taranması istenmez.

Belirli bir dosyayı engellemek için:

 
User-agent: *
Disallow: /gizli-dosya.pdf

Sitemap Robots.txt İçine Eklenmeli mi?

Evet.

Çoğu uzman sitemap adresinin Robots.txt dosyasında belirtilmesini önerir.

Örnek:

 
Sitemap: https://siteadi.com/sitemap.xml

Bu, arama motorlarının site haritanızı daha kolay bulmasına yardımcı olabilir.

WordPress'te Robots.txt Nasıl Düzenlenir?

WordPress kullanan sitelerde Robots.txt dosyası;

  • Rank Math
  • Yoast SEO
  • FTP
  • Hosting Dosya Yöneticisi

üzerinden düzenlenebilir.

Değişiklik yapmadan önce mevcut dosyanın yedeğini almanız önerilir.

Robots.txt Kullanırken Dikkat Edilmesi Gerekenler

✔ Önemli sayfaları yanlışlıkla engellemeyin.

✔ Sitemap satırını ekleyin.

✔ Gereksiz klasörleri engelleyin.

✔ Dosyayı düzenledikten sonra test edin.

✔ Noindex ile Robots.txt'nin farklı amaçlara hizmet ettiğini unutmayın.

Robots.txt ile Noindex Aynı Şey mi?

Hayır.

Bu iki kavram sık sık karıştırılır.

Robots.txtNoindex
Sayfanın taranmasını kontrol eder.Sayfanın dizine eklenmesini kontrol eder.
Tarama yönergesidir.İndeksleme yönergesidir.
Robots.txt dosyasında kullanılır.Meta robots etiketi veya HTTP başlığı ile uygulanır.

Bir sayfanın taranmasını engellemek ile dizine eklenmesini engellemek aynı şey değildir.

Robots.txt'de En Sık Yapılan Hatalar

❌ Tüm siteyi yanlışlıkla engellemek

Örneğin:

 
User-agent: *
Disallow: /

Bu kural tüm sitenin taranmasını engeller.

❌ Sitemap eklememek

❌ Önemli CSS ve JavaScript dosyalarını engellemek

Google, sayfanın doğru görüntülenebilmesi için bu dosyalara erişebilmelidir.

❌ Robots.txt'yi güvenlik amacıyla kullanmak

Gizli dosyalar için uygun erişim kontrolü uygulanmalıdır.

Robots.txt Testi Nasıl Yapılır?

Değişikliklerden sonra:

  • Google Search Console'da ilgili araçları kullanarak URL'lerin taranabilirliğini kontrol edebilirsiniz.
  • Tarayıcıdan https://siteadi.com/robots.txt adresini açarak dosyanın erişilebilir olduğunu doğrulayabilirsiniz.
  • Önemli sayfaların yanlışlıkla engellenmediğinden emin olun.

Sık Sorulan Sorular

Her web sitesinde Robots.txt olmalı mı?

Çoğu web sitesi için Robots.txt dosyası oluşturulması önerilir. Basit sitelerde bile sitemap adresini belirtmek faydalı olabilir.

Robots.txt SEO'yu doğrudan etkiler mi?

Doğrudan bir sıralama faktörü değildir. Ancak arama motorlarının sitenizi verimli taramasına yardımcı olarak teknik SEO çalışmalarını destekleyebilir.

Robots.txt gizli sayfaları korur mu?

Hayır. Robots.txt bir güvenlik aracı değildir. Gizli içerikler uygun kimlik doğrulama ve yetkilendirme yöntemleriyle korunmalıdır.

Sonuç

Robots.txt, arama motoru botlarının web sitenizi nasıl tarayacağını yönlendiren önemli bir teknik SEO bileşenidir. Doğru yapılandırıldığında tarama verimliliğini artırabilir, gereksiz sayfaların taranmasını önleyebilir ve sitemap dosyanızın keşfedilmesini kolaylaştırabilir.

Teknik SEO'nun diğer unsurlarıyla birlikte kullanıldığında daha sağlıklı bir site yapısı oluşturmanıza katkı sağlar.

Salih Medya ile Teknik SEO Danışmanlığı

Teknik SEO hataları, web sitenizin arama motorları tarafından verimli şekilde taranmasını zorlaştırabilir.

Salih Medya olarak;

  • Robots.txt yapılandırması
  • XML Site Haritası oluşturma
  • Google Search Console kurulumu
  • Teknik SEO analizleri
  • İndeksleme sorunlarının giderilmesi
  • Site performansı optimizasyonu

alanlarında profesyonel danışmanlık sunuyoruz.

Geri