Robots.txt Dosyası Hazırlama: Adım Adım SEO ve Kurulum Rehberi (2024)

Robots.txt dosyası hazırlama, arama motoru botlarına (Googlebot, Bingbot vb.) web sitenizin hangi sayfalarını tarayıp hangilerini taramaması gerektiğini talimatlarla bildiren en temel teknik SEO sürecidir. Web sitenizin kök dizinine (public_html) yerleştirilen bu basit metin dosyası; tarama bütçenizi (crawl budget) verimli kullanmanızı sağlar, admin paneli gibi hassas alanların taranmasını engeller ve gereksiz sunucu yükünün önüne geçer. Doğru bir robots.txt dosyası oluşturmak için; doğru komut dizilimini (User-agent, Disallow, Allow, Sitemap) tanımlamak ve dosyayı ana dizine robots.txt ismiyle kaydetmek yeterlidir.

Arama motorları bir web sitesini ziyaret ettiğinde ilk olarak bu dosyayı okur. Eğer robots.txt dosyanızda hatalı bir yönlendirme veya yanlış kural varsa, sitenizin Google indeksleri birkaç gün içinde silinebilir ya da yeni içerikleriniz arama sonuçlarında hiç görünmeyebilir. Bu rehberde, sıfırdan hatasız bir robots.txt dosyasının nasıl hazırlanacağını, WordPress ve özel yazılımlar için ideal şablonları ve yapılan kritik teknik hataları detaylarıyla ele alıyoruz.

Robots.txt Dosyası Hazırlamak İçin Temel Gereksinimler

Arama motoru standartlarına (Robots Exclusion Protocol) uygun bir dosya oluşturmadan önce aşağıdaki araçlara ve temel teknik bilgilere ihtiyacınız vardır:

• Metin Düzenleyici: Dosyayı oluşturmak için Notepad, Notepad++, Visual Studio Code veya Sublime Text gibi düz metin (plain text) işleyebilen bir yazılım kullanılmalıdır. Microsoft Word gibi biçimlendirilmiş metin araçları kesinlikle kullanılmamalıdır.
• FTP veya CPanel / Plesk Erişimi: Hazırlanan dosyayı sitenizin ana dizinine (root directory – genellikle public_html veya httpdocs) yükleyebilmek için dosya yöneticisi erişimi.
• Sitemap (Site Haritası) Bağlantısı: Sitenizin aktif XML site haritası URL adresi (Örn: https://siteadresiniz.com/sitemap.xml).
• SEO Eklentisi (İsteğe Bağlı): WordPress kullanıcıları için Yoast SEO, Rank Math veya SEOPress gibi doğrudan panel üzerinden düzenleme imkanı sunan eklentiler.
• Arama Motoru Bot Bilgisi: Hangi botlara özel kurallar atayacağınızı belirlemek için bot isimlerinin (User-agent) bilinmesi.

Adım Adım Robots.txt Dosyası Hazırlama Rehberi

Aşağıdaki adımları sırasıyla takip ederek web siteniz için ideal, güvenli ve arama motoru dostu bir robots.txt dosyası oluşturabilirsiniz.

1. Adım: Dosya Biçimini ve Komut İstemlerini Anlama

Robots.txt dosyası basit direktiflerden oluşur. Dosyanızı hazırlarken kullanacağınız 4 temel terim şunlardır:

• User-agent: Kuralın hangi arama motoru botu için geçerli olduğunu belirtir. Tüm botlar için yıldız (*) sembolü kullanılır.
• Disallow: Botların erişmesini istemediğiniz dizin veya sayfa yolunu kapatır.
• Allow: Disallow ile kapatılan bir ana dizinin içerisindeki belirli bir alt sayfaya veya klasöre istisna olarak izin verir.
• Sitemap: XML site haritanızın tam adresini gösterir. Arama motorlarının sitenizi talamasını hızlandırır.

2. Adım: Metin Dosyasını Oluşturma

Bilgisayarınızda boş bir metin belgesi açın ve adını küçük harflerle robots.txt koyun. Dosya uzantısının mutlaka .txt olduğundan emin olun.

3. Adım: Standart ve Güvenli İzin Kurallarını Yazma

Genel bir web sitesi veya e-ticaret platformu işletiyorsanız, dosyanızın içerisine aşağıdaki temel şablonu ekleyebilirsiniz:

User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /cart/
Disallow: /checkout/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://siteadresiniz.com/sitemap.xml

4. Adım: WordPress Sitemleri İçin İdeal Robots.txt Yapılandırması

Eğer altyapınız WordPress ise, Google’ın sitenizin görsel ve kod tasarımlarını (CSS ve JavaScript) rahatça okuyabilmesi için özel bir yapı kullanmalısınız. İdeal WordPress robots.txt içeriği şu şekilde olmalıdır:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /readme.html
Disallow: /license.txt

Sitemap: https://siteadresiniz.com/sitemap_index.xml

5. Adım: Dosyayı Sunucunun Kök Dizinine Yükleme

Hazırladığınız dosyayı FTP programı (FileZilla vb.) veya cPanel Dosya Yöneticisi aracılığıyla sitenizin public_html klasörünün içine yükleyin. Yükleme tamamlandıktan sonra taraıcınızın adres çubuğuna https://siteadresiniz.com/robots.txt yazarak dosyanın erişilebilir olduğunu doğrulayın.

6. Adım: Google Search Console Üzerinden Test Etme

Dosyanızı canlıya aldıktan sonra Google Search Console paneline girin. Sol menüde yer alan “Ayarlar” sekmesinden “Robots.txt” bölümüne tıklayarak Googlebot’un dosyanızı sorunsuz okuyup okumadığını ve herhangi bir biçimlendirme hatası (Syntax Error) verip vermediğini kontrol edin.

Robots.txt Hazırlarken Yapılan Kritik Hatalar ve Püf Noktaları

Teknik SEO çalışmalarında yapılan en küçük bir robots.txt hatası, organik trafiğinizin tamamen durmasına yol açabilir. Bu nedenle şu püf noktalarına ve risklere son derece dikkat etmelisiniz:

• Sitenin Tamamını İndekse Kapatmak: Yanlışlıkla yazılan Disallow: / komutu, tüm web sitenizin Google tarafından taranmasını ve dizine eklenmesini engeller. Bu komut yalnızca test aşamasındaki (Staging) sitelerde kullanılmalıdır. Siteniz canlıdaysa eğik çizgi (/) işaretinden sonra klasör adı belirtilmelidir.
• CSS ve JavaScript Dosyalarını Engellemek: Eskiden yapılan bir teknik hata olarak /wp-includes/ veya .js/.css uzantıları engellenirdi. Modern Googlebot, sayfayı tıpkı bir insan gibi işler (Render eder). Kod dosyalarını engellerseniz Google sitenizin tasarımını göremez ve mobil uyumluluk puanınızı düşürür.
• Robots.txt Dosyasını Bir Güvenlik Duvarı Sanmak: Gizli kalmasını istediğiniz müşteri verileri veya şifreli sayfaları engellemek için bu dosyayı kullanmayın. Robots.txt herkese açık bir dosyadır. Engellediğiniz klasör adları kötü niyetli kişiler tarafından kolayca görüntülenebilir. Hassas verileri korumak için şifreleme ve noindex meta etiketleri kullanılmalıdır.
• Büyük/Küçük Harf Duyarlılığı (Case Sensitivity): Robots.txt dosyaları büyük/küçük harfe duyarlıdır. Örneğin Disallow: /Kategori/ komutu, /kategori/ adresini engellemez. URL yapınızla tam eşleşme sağlamalısınız.
• Noindex Direktifini Robots.txt İçinde Kullanmak: Google, robots.txt dosyası içerisindeki Noindex: komutunu resmi olarak desteklemeyi bıraktığını duyurmuştur. Bir sayfanın Google’da çıkmasını engellemek istiyorsanız, o sayfanın HTML kodları arasına <meta name="robots" content="noindex"> etiketini eklemelisiniz.

Sıkça Sorulan Sorular (FAQ)

Robots.txt dosyası zorunlu mudur? Dosya olmazsa ne olur?

Robots.txt dosyası teknik olarak zorunlu değildir. Web sitenizde bu dosya bulunmuyorsa arama motoru botları tüm sayfalarınızı taranabilir olarak kabul eder ve sitenizi indekslemeye devam eder. Ancak büyük sitelerde tarama bütçesinin boşa harcanmaması ve yönetim paneli gibi sayfaların engellenmesi için kullanılması şiddetle tavsiye edilir.

Disallow ile engellediğim bir sayfa Google’da tamamen silinir mi?

Hayır, silinmeyebilir. Eğer başka bir web sitesi engellediğiniz o sayfaya dış bağlantı (backlink) verirse, Google içeriği tarayamasa bile sayfayı “İçerik taranamadı” uyarısıyla indeksine ekleyebilir. Sayfanın Google’dan kesin olarak silinmesi için robots.txt ile engellemek yerine sayfaya `noindex` etiketi eklemelisiniz.

WordPress kullanıyorum, robots.txt dosyam nerede?

WordPress varsayılan olarak sanal (sanal/virtual) bir robots.txt dosyası oluşturur. Fiziksel olarak sunucunuzda görünmeyebilir. Yoast SEO veya Rank Math gibi eklentiler kurarak eklenti ayarlarından “Robots.txt Düzenle” seçeneğini kullanabilir ya da sunucunuza kendiniz fiziksel bir robots.txt dosyası yükleyerek varsayılan dosyanın üzerine yazabilirsiniz.

Robots.txt dosyasında yaptığım değişiklikler ne kadar sürede geçerli olur?

Googlebot sitenizi ziyaret sıklığına bağlı olarak değişiklikleri genellikle birkaç saat ile birkaç gün arasında algılar. Süreci hızlandırmak için Google Search Console üzerindeki “URL Denetimi” aracını kullanarak ana sayfanızı yeniden taratabilir veya Search Console Ayarlar menüsünden Robots.txt dosyanızı manuel olarak yeniden çekilmeye zorlayabilirsiniz.