Robots.txt Oluşturucu - Allow, Disallow ve Sitemap Kuralları

Araçlar / SEO Araçları / Robots.txt Oluşturucu

Robots.txt oluşturucu

Hazır şablon

İlk üçü gruplarınızın yerine geçer. Yapay zekâ düğmesi, yaygın olarak yayımlanmış yapay zekâ tarayıcı adlarıyla bir grup ekler ve diğerlerini korur; liste zamanla değişir, ara ara gözden geçirin.

Var olan robots.txt’i içe aktar

Yollar / ile başlar ve büyük-küçük harfe duyarlıdır. * herhangi bir karakter dizisiyle eşleşir, $ adresin sonunu belirtir; /*.pdf$ bütün PDF’leri engeller. Crawl-delay’i (istekler arası saniye) Google yok sayar; bazı başka arama motorları uygular.

Denetim

Sorun bulunmadı.

robots.txt

            

robots.txt adıyla sunucunun köküne yükleyin: https://example.com/robots.txt gibi. Her alt alan adının kendi dosyası gerekir.

Bu URL’yi test et

    Yukarıdaki robots.txt’i Google’ın okuduğu gibi denetler. Tarayıcının adını tam olarak yazan grup User-agent: *’ın önüne geçer, aynı adlı gruplar birleşir; kendi grubu olmayan tarayıcı benzer bir ada değil *’a düşer (Googlebot-Image, Googlebot grubunu kullanmaz). Grup içinde en uzun eşleşen kural karar verir, eşitlikte Allow kazanır. Tam adres girilirse yalnız yol ve sorgu kısmı alınır.

    robots.txt bir kilit değil, herkese açık bir ricadır. Herkes okuyabilir ve kötü niyetli botlar uymaz; bu yüzden gizli yolları asla buraya yazmayın. Sayfaları arama sonuçlarından da kaldırmaz: engellenen bir adres bağlantılardan yine dizine girebilir. Bir sayfayı aramadan uzak tutmak için noindex etiketi kullanın ve sayfayı taranabilir bırakın; korumak içinse parola kullanın.

    robots.txt nasıl çalışır

    Kurallara uyan botlar bir siteyi taramadan önce /robots.txt dosyasını alır ve kendi adına uyan grubu arar; bulamazsa User-agent: * grubuna bakar. Grubun içinde Disallow atlanacak yolları, Allow ise bunların içindeki istisnaları belirtir. Dosya dizine eklemeyi değil taramayı yönetir ve yalnız ona uymayı seçen botlar uyar.

    Nasıl kullanılır

    1. 1 Bir hazır şablon seçin ya da örneği düzenleyin: her tarayıcı için (ya da hepsi için *) bir grup, içinde Disallow ve Allow satırları.
    2. 2 Sitemap adresinizi ekleyin ve denetimleri okuyun: başında eğik çizgi olmayan yol ya da https:// olmayan sitemap hemen işaretlenir.
    3. 3 Metni kopyalayın ya da robots.txt dosyasını indirip sitenizin köküne yükleyin; ardından siteniz/robots.txt adresini açıp yüklendiğini doğrulayın.

    Hangi kural kazanır

    Büyük arama motorları kuralları yukarıdan aşağı okumaz. Her adres için en belirgin eşleşmeyi, yani en uzun yolu alır; aynı uzunlukta bir Allow ile Disallow varsa Allow kazanır. Bu yüzden Disallow: /admin/ ile Allow: /admin/help/ birlikte, hangi sırayla yazarsanız yazın yardım sayfalarını taranabilir bırakır. Bir tarayıcı da yalnız tek bir gruba uyar: Googlebot grubu varsa Googlebot ona uyar ve * grubunu tamamen yok sayar.

    Engellemek noindex ile aynı şey değil

    robots.txt’te engellenen bir adres, başka sayfalar ona bağlantı verdiği için arama sonuçlarında yine görünebilir; genellikle açıklamasız çıplak bir bağlantı olarak. Daha kötüsü, bir sayfaya noindex etiketi koyup onu bir de engellerseniz tarayıcı sayfayı hiç almaz ve etiketi hiç görmez. Bir sayfayı aramadan kaldırmak için taramaya izin verin ve noindex kullanın; engellemeyi ancak sayfa sonuçlardan düştükten sonra yapın.

    Meta Etiketi Üretici →

    İstediğinizden fazlasını engelleyen hatalar

    Kurallar önektir: Disallow: /blog, /blog-tips/ ve /blogger.html’i de engeller; klasörü kastediyorsanız /blog/ yazın. Tek başına Disallow: / bütün siteyi engeller; test sunucusundan kalan klasik bir artıktır. CSS ve JavaScript klasörlerini engellemek, arama motorlarının sayfalarınızı doğru çizmesini önler. Yollar da büyük-küçük harfe duyarlıdır: /Admin/, /admin/’i kapsamaz. Belirli bir adresin nasıl değerlendirildiğini görmek için onu çıktının altındaki test kutusuna yazın: karar veren grubu ve kuralı gösterir.

    Yapay zekâ tarayıcıları ve kontrol adları

    Birçok yapay zekâ şirketi, eğitim verisi toplamak için kullandığı user-agent adlarını yayımlıyor ve bundan çıkmanın yolu olarak robots.txt’i gösteriyor. Bu adların bazıları ayrı bir tarayıcı değil, kontrol adıdır: Google-Extended ve Applebot-Extended hiç sayfa çekmez; yalnızca şirketin arama tarayıcısının zaten topladığı içeriğin yapay zekâ modellerini eğitmekte (Google’da ayrıca Gemini yanıtlarına kaynak olarak) kullanılıp kullanılamayacağını belirler. Bunları engellemek arama sıralamanızı etkilemez, ama sayfalarınızı aramanın içindeki yapay zekâ özelliklerinden de çıkarmaz: Google’ın AI Overviews ve AI Mode özellikleri Googlebot ile çalışır ve Google-Extended ile değil, nosnippet ya da noindex ile kapatılır. Adlar değişir, yenileri çıkar; hazır şablonu başlangıç noktası sayın ve her sağlayıcının güncel belgelerine bakın.

    Robots.txt hakkında sorular

    Hayır. Yalnız taramayı durdurur. Başka siteler adrese bağlantı veriyorsa dizinde kalabilir ve açıklamasız gösterilir. Kaldırmak için sayfanın noindex meta etiketi ya da X-Robots-Tag başlığıyla taranmasına izin verin veya sayfayı kaldırın ya da giriş arkasına alın.
    Yeni
    UTM Oluşturucu UTM etiketli kampanya linklerini saniyeler içinde oluşturun. Mevcut parametreleri ve #çapaları korur, değerleri doğru kodlar, büyük harf ve boşluk için uyarır.
    Bugün Popüler
    Anahtar Kelime Yoğunluğu Ücretsiz anahtar kelime yoğunluğu aracı: metin ya da adres girin; her kelime ve öbeğin kaç kez geçtiğini yüzdesiyle birlikte görün.

    Diğer SEO araçları

    Anahtar Kelime Yoğunluğu Ücretsiz anahtar kelime yoğunluğu aracı: metin ya da adres girin; her kelime ve öbeğin kaç kez geçtiğini yüzdesiyle birlikte görün.
    Slug Üretici Herhangi bir başlığı temiz bir URL slug'ına çevirin. Almanca ü ue olur, Türkçe ü u olur, Kiril harf çevirisiyle yazılır — dili siz seçersiniz, satır satır.
    Meta Etiketi Üretici Başlık, açıklama, URL ve görsel girin; HTML meta etiketleri, Open Graph ve Twitter Card işaretlemesi üretilsin. Sayfanın Google sonuçlarında, Facebook’ta ve X’te nasıl görüneceğini yayınlamadan önce görün.
    SERP Önizleme Başlığınızın ve meta açıklamanızın arama sonuçlarında masaüstü ve mobilde nasıl göründüğünü görün. Piksele göre kesme, karakter ve piksel sayacı.
    UTM Oluşturucu UTM etiketli kampanya linklerini saniyeler içinde oluşturun. Mevcut parametreleri ve #çapaları korur, değerleri doğru kodlar, büyük harf ve boşluk için uyarır.

    Beğenebileceğiniz Diğer Araçlar

    Word’den PDF’e Word'ü ücretsiz PDF'e çevirin: DOC, DOCX, ODT veya RTF yükleyin, biçimi bozulmamış PDF'i saniyeler içinde indirin. Üyelik ve filigran yok.
    PDF’ten Word’e PDF'i ücretsiz Word'e çevirin: PDF yükleyin, saniyeler içinde düzenlenebilir DOCX indirin. Üyelik yok, filigran yok, kurulum gerekmez.
    MD5 Hash Oluşturucu Ücretsiz MD5 hash üretici: metin veya dosyayı tarayıcınızda MD5 özetine çevirin. Bütünlük kontrolü ve hızlı parmak izi için pratik bir araç.
    Base64 Kodlayıcı & Çözücü Ücretsiz Base64 kodlayıcı ve çözücü: metin ya da dosyayı Base64'e çevirin veya geri açın. Her şey tarayıcıda kalır, sunucuya gitmez.
    Kelime Sayacı Ücretsiz kelime sayacı: metninizi yapıştırın; kelime, karakter, cümle ve paragraf sayısıyla tahmini okuma süresini görün. Metin tarayıcıdan çıkmaz.