Robots.txt dosyası hazırlama, arama motoru botlarının (Googlebot, Bingbot vb.) web sitenizdeki hangi sayfaları tarayıp hangilerini taramayacağını belirleyen en kritik teknik SEO adımdır. Doğru yapılandırılmış bir robots.txt dosyası; web sitenizin ana dizininde (domain.com/robots.txt) yer alan, Düz Metin (UTF-8) formatında yazılan ve arama motorlarına rehberlik eden basit bir metin belgesidir. Doğru bir robots.txt dosyası oluşturmak için sunucunuzun kök dizinine (public_html) bir robots.txt dosyası yüklemeli, User-agent ve Disallow komutları ile taranmasını istemediğiniz admin paneli veya arama sonuçları gibi sayfaları engelleyerek XML site haritanızın (Sitemap) yolunu eklemelisiniz.
Robots.txt Hazırlamak İçin Temel Gereksinimler
Etkili bir robots.txt dosyası oluşturmak ve sitenizin taranma bütçesini (Crawl Budget) doğru yönetmek için bazı temel teknik araçlara ve ön bilgilere ihtiyacınız vardır:
- Dosya Yöneticisi veya FTP Erişimi: Sitenizin kök dizinine (public_html / www) erişim sağlamak için cPanel, Plesk veya FileZilla gibi bir FTP istemcisi.
- Metin Düzenleyici: Notepad++, VS Code veya standart Not Defteri gibi düz metin (Plain Text) olarak kaydetme yeteneği olan bir yazılım (Word veya zengin metin editörleri kullanılmamalıdır).
- Google Search Console Hesabı: Dosyayı yayına aldıktan sonra sözdizimi hatalarını ve engelleme kurallarını test etmek için aktif bir Search Console mülkü.
- Temel Sözdizimi (Syntax) Bilgisi: Arama motoru botlarına yön veren ana direktiflerin (User-agent, Disallow, Allow, Sitemap) işleyiş mantığı.
Adım Adım Robots.txt Dosyası Hazırlama Rehberi
Robots.txt dosyanızı sıfırdan oluşturup Google standartlarına uygun şekilde optimize etmek için aşağıdaki adımları sırasıyla uygulayabilirsiniz:
-
Metin Belgesini Oluşturun:
Bilgisayarınızda yeni bir düz metin belgesi (.txt) açın ve adını küçük harflerle kesinlikle
robots.txtolarak belirleyin. Büyük harf kullanımı (Robots.txt veya ROBOTS.TXT) arama motorları tarafından dosyanın tanınmamasına neden olur. -
Hedef Arama Motoru Botunu Belirleyin (User-agent):
Dosyanın en üst satırına kuralın hangi bot için geçerli olduğunu yazın. Tüm web tarayıcılarını hedeflemek istiyorsanız asteriks (*) sembolünü kullanmalısınız:
User-agent: *
Sadece Google botuna özel kural yazmak isterseniz
User-agent: Googlebotkomutunu ekleyebilirsiniz. -
Taranmasını İstemediğiniz Dizinleri Engelleyin (Disallow):
Arama motorlarının zaman kaybetmesini istemediğiniz veya indeks alması gereksiz olan yönetici panelleri, filtreli arama sayfaları ve sepet sayfalarını
Disallowkomutuyla belirtin:Disallow: /wp-admin/
Disallow: /sepetim/
Disallow: /search/
Disallow: /*?s=
-
Görsel ve Tema Dosyalarına İzin Verin (Allow):
Google artık sayfaları bir insan gibi işleyip (render) görünümünü değerlendirmektedir. Bu nedenle CSS, JavaScript ve medya dosyalarınızın taranmasını engellememelisiniz. Engellenmiş bir dizin içindeki spesifik bir kaynağa izin vermek için
Allowkomutu kullanılır:Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
-
XML Site Haritası (Sitemap) Konumunu Ekleyin:
Arama motoru botlarının sitenizdeki yeni ve güncellenmiş sayfaları çok daha hızlı bulabilmesi için site haritanızın tam URL adresini dosyanın en alt kısmına ekleyin:
Sitemap: https://www.domain.com/sitemap_index.xml
-
Dosyayı Sunucunun Kök Dizinine Yükleyin:
Hazırladığınız metin belgesini UTF-8 kodlamasıyla kaydedin. FTP veya panel üzerinden web sitenizin ana dizinine (genellikle public_html) yükleyin. Tarayıcınızdan
https://siteniz.com/robots.txtadresine gittiğinizde dosyayı görebilmelisiniz. -
Google Search Console Üzerinden Test Edin:
Yükleme tamamlandıktan sonra Google Search Console paneline girerek “Robots.txt Test Aracı” ile kurallarınızın doğru çalışıp çalışmadığını, kritik sayfaların yanlışlıkla engellenip engellenmediğini kontrol edin.
Robots.txt Optimizasyonunda Püf Noktaları ve Yapılan Hatalar
Robots.txt dosyası hazırlarken yapılan ufak bir karakter hatası, sitenizin Google indeksinden tamamen silinmesine yol açabilir. Bu nedenle aşağıdaki teknik detaylara azami dikkat gösterilmelidir:
- Slash (/) İşaretinin Yanlış Kullanımı:
Disallow: /komutu tüm web sitenizin arama motorları tarafından taranmasını engeller ve sitenizi Google’dan siler. Sadece belirli bir klasörü engellemek içinDisallow: /klasor-adi/şeklinde kullanmalısınız. - Robots.txt Bir Güvenlik Aracı Değildir: Gizli kalmasını istediğiniz hassas kullanıcı verilerini veya yönetim sayfalarını gizlemek için robots.txt kullanmayın. Robots.txt dosyası herkese açıktır. Güvenlik gerektiren sayfalar için şifre koruması (HTTP Auth) veya
noindexmeta etiketleri kullanılmalıdır. - CSS ve JS Dosyalarını Engellemek: Eski SEO alışkanlıklarıyla theme, plugin, CSS ve JavaScript klasörlerini engellemek modern SEO anlayışında büyük bir hatadır. Googlebot sayfa düzenini göremezse sitenizi mobil uyumsuz veya hatalı olarak değerlendirebilir.
- Harf Duyarlılığına (Case Sensitivity) Dikkat Etmemek: Robots.txt dosyasındaki URL yolları harf duyarlıdır. Örneğin
Disallow: /Kategori/komutudomain.com/kategori/adresini engellemez. - Tarama Bütçesini (Crawl Budget) İdeal Yönetmek: Binlerce ürünü veya sayfası olan e-ticaret sitelerinde parametreli URL’ler, sıralama filtreleri ve arama sayfaları robots.txt ile engellenerek botların yalnızca kaliteli içerik sayfalarına odaklanması sağlanmalıdır.
Sıkça Sorulan Sorular (FAQ)
Robots.txt ile engellenen bir sayfa Google arama sonuçlarında görünür mü?
Evet, görünebilir. Robots.txt dosyası arama motorlarına sayfanın taranmaması gerektiğini söyler, ancak sayfanın indeks temasını tamamen engellemez. Eğer engellediğiniz bir sayfaya başka web sitelerinden dış bağlantı (backlink) veriliyorsa, Google sayfanın içeriğini tarayamasa bile başlık ve URL olarak arama sonuçlarında indeksleyebilir. Sayfanın Google’da kesinlikle görünmemesini istiyorsanız robots.txt ile engellemek yerine sayfaya <meta name="robots" content="noindex"> etiketi eklemelisiniz.
WordPress siteler için standart robots.txt nasıl olmalıdır?
WordPress altyapısı kullanan bir web sitesi için ideal ve güvenli robots.txt şablonu şu şekildedir:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /blackhole/
Sitemap: https://siteniz.com/sitemap_index.xml
Robots.txt dosyasında yaptığım değişiklikler ne kadar sürede etkisini gösterir?
Googlebot ve diğer arama motoru botları, web sitenizi her ziyaret ettiklerinde öncelikle robots.txt dosyanızın güncel sürümünü önbelleğe alırlar. Yaptığınız değişikliklerin geçerli olması botların tarama sıklığına bağlı olarak birkaç saat ile birkaç gün arasında değişiklik gösterir. Süreci hızlandırmak için Google Search Console üzerinden “robots.txt Test Aracı” ile güncelleme bildirimi yapabilir veya ana sayfanızı “URL İnceleme” aracıyla tekrar taratabilirsiniz.