Robots.txt Oluşturucu - Allow, Disallow ve Sitemap Kuralları
Robots.txt oluşturucu
İlk üçü gruplarınızın yerine geçer. Yapay zekâ düğmesi, yaygın olarak yayımlanmış yapay zekâ tarayıcı adlarıyla bir grup ekler ve diğerlerini korur; liste zamanla değişir, ara ara gözden geçirin.
Var olan robots.txt’i içe aktar
* bütün tarayıcılar demektir. Aynı kuralları vermek için birden çok adı virgülle ayırın.
Yollar / ile başlar ve büyük-küçük harfe duyarlıdır. * herhangi bir karakter dizisiyle eşleşir, $ adresin sonunu belirtir; /*.pdf$ bütün PDF’leri engeller. Crawl-delay’i (istekler arası saniye) Google yok sayar; bazı başka arama motorları uygular.
Sorun bulunmadı.
robots.txt adıyla sunucunun köküne yükleyin: https://example.com/robots.txt gibi. Her alt alan adının kendi dosyası gerekir.
Bu URL’yi test et
Yukarıdaki robots.txt’i Google’ın okuduğu gibi denetler. Tarayıcının adını tam olarak yazan grup User-agent: *’ın önüne geçer, aynı adlı gruplar birleşir; kendi grubu olmayan tarayıcı benzer bir ada değil *’a düşer (Googlebot-Image, Googlebot grubunu kullanmaz). Grup içinde en uzun eşleşen kural karar verir, eşitlikte Allow kazanır. Tam adres girilirse yalnız yol ve sorgu kısmı alınır.
robots.txt bir kilit değil, herkese açık bir ricadır. Herkes okuyabilir ve kötü niyetli botlar uymaz; bu yüzden gizli yolları asla buraya yazmayın. Sayfaları arama sonuçlarından da kaldırmaz: engellenen bir adres bağlantılardan yine dizine girebilir. Bir sayfayı aramadan uzak tutmak için noindex etiketi kullanın ve sayfayı taranabilir bırakın; korumak içinse parola kullanın.
robots.txt nasıl çalışır
Kurallara uyan botlar bir siteyi taramadan önce /robots.txt dosyasını alır ve kendi adına uyan grubu arar; bulamazsa User-agent: * grubuna bakar. Grubun içinde Disallow atlanacak yolları, Allow ise bunların içindeki istisnaları belirtir. Dosya dizine eklemeyi değil taramayı yönetir ve yalnız ona uymayı seçen botlar uyar.
Nasıl kullanılır
- 1 Bir hazır şablon seçin ya da örneği düzenleyin: her tarayıcı için (ya da hepsi için *) bir grup, içinde Disallow ve Allow satırları.
- 2 Sitemap adresinizi ekleyin ve denetimleri okuyun: başında eğik çizgi olmayan yol ya da https:// olmayan sitemap hemen işaretlenir.
- 3 Metni kopyalayın ya da robots.txt dosyasını indirip sitenizin köküne yükleyin; ardından siteniz/robots.txt adresini açıp yüklendiğini doğrulayın.
Hangi kural kazanır
Büyük arama motorları kuralları yukarıdan aşağı okumaz. Her adres için en belirgin eşleşmeyi, yani en uzun yolu alır; aynı uzunlukta bir Allow ile Disallow varsa Allow kazanır. Bu yüzden Disallow: /admin/ ile Allow: /admin/help/ birlikte, hangi sırayla yazarsanız yazın yardım sayfalarını taranabilir bırakır. Bir tarayıcı da yalnız tek bir gruba uyar: Googlebot grubu varsa Googlebot ona uyar ve * grubunu tamamen yok sayar.
Engellemek noindex ile aynı şey değil
robots.txt’te engellenen bir adres, başka sayfalar ona bağlantı verdiği için arama sonuçlarında yine görünebilir; genellikle açıklamasız çıplak bir bağlantı olarak. Daha kötüsü, bir sayfaya noindex etiketi koyup onu bir de engellerseniz tarayıcı sayfayı hiç almaz ve etiketi hiç görmez. Bir sayfayı aramadan kaldırmak için taramaya izin verin ve noindex kullanın; engellemeyi ancak sayfa sonuçlardan düştükten sonra yapın.
İstediğinizden fazlasını engelleyen hatalar
Kurallar önektir: Disallow: /blog, /blog-tips/ ve /blogger.html’i de engeller; klasörü kastediyorsanız /blog/ yazın. Tek başına Disallow: / bütün siteyi engeller; test sunucusundan kalan klasik bir artıktır. CSS ve JavaScript klasörlerini engellemek, arama motorlarının sayfalarınızı doğru çizmesini önler. Yollar da büyük-küçük harfe duyarlıdır: /Admin/, /admin/’i kapsamaz. Belirli bir adresin nasıl değerlendirildiğini görmek için onu çıktının altındaki test kutusuna yazın: karar veren grubu ve kuralı gösterir.
Yapay zekâ tarayıcıları ve kontrol adları
Birçok yapay zekâ şirketi, eğitim verisi toplamak için kullandığı user-agent adlarını yayımlıyor ve bundan çıkmanın yolu olarak robots.txt’i gösteriyor. Bu adların bazıları ayrı bir tarayıcı değil, kontrol adıdır: Google-Extended ve Applebot-Extended hiç sayfa çekmez; yalnızca şirketin arama tarayıcısının zaten topladığı içeriğin yapay zekâ modellerini eğitmekte (Google’da ayrıca Gemini yanıtlarına kaynak olarak) kullanılıp kullanılamayacağını belirler. Bunları engellemek arama sıralamanızı etkilemez, ama sayfalarınızı aramanın içindeki yapay zekâ özelliklerinden de çıkarmaz: Google’ın AI Overviews ve AI Mode özellikleri Googlebot ile çalışır ve Google-Extended ile değil, nosnippet ya da noindex ile kapatılır. Adlar değişir, yenileri çıkar; hazır şablonu başlangıç noktası sayın ve her sağlayıcının güncel belgelerine bakın.