robots.txt Oluşturucu

Allow, disallow, crawl-delay, sitemap ve birden fazla user-agent bloğu ile robots.txt oluştur.

GizliTarayıcıdaAnındaLimitsiz

Oluşturulan dosyayı site köküne /robots.txt olarak koyun. Bazı tarayıcılarda kural sırası önemlidir.

5 satır · 1 user-agent bloğu · 1 sitemap

Nasıl çalışır

1

Şablon veya blok seç

Tümüne izin, admin klasörlerini engelle, her şeyi engelle veya staging ile başlayın. Belirli botlar için ek User-agent blokları ekleyin.

2

Yollar ve sitemap düzenle

Allow ve Disallow için satır başına bir yol girin. Alta Sitemap URL'leri ekleyin — birden fazla satır desteklenir.

3

Kopyala veya indir

robots.txt'yi site köküne kopyalayın veya dosyayı indirin. Düzenlemek için mevcut robots.txt yapıştırın.

Neden robots.txt oluşturulmalı?

Doğru robots.txt, tarayıcıları admin ve API rotalarından uzak tutarken sitemap'inize yönlendirir.

Neden bu araç

  • Birden fazla User-agent bloğu
  • Allow, Disallow ve Crawl-delay
  • Birden fazla Sitemap URL
  • Dört hızlı şablon
  • Mevcut dosyaları yapıştır-ayrıştır
  • Sınırsız kullanım — günlük limit yok

Sorular

robots.txt Oluşturucu ne yapar?

Arama motoru tarayıcılarına hangi yolları çekebileceklerini veya çekemeyeceklerini söyleyen robots.txt dosyası oluşturur.

robots.txt nereye konur?

Site köküne, https://siteniz.com/robots.txt adresinden erişilebilir olmalıdır.

Disallow sayfaların Google'da çıkmamasını garanti eder mi?

Hayır. Bu bir tarama ipucudur, erişim kontrolü değil. Özel içerik için kimlik doğrulama kullanın.

Belirli botları hedefleyebilir miyim?

Evet. Googlebot veya Bingbot gibi bir bot adıyla User-agent bloğu ekleyin.

Girdim sunucuya gider mi?

Hayır. Dosya oluşturma tamamen bu tarayıcı sekmesinde çalışır.

Günlük limit var mı?

Hayır. Bu oluşturucu ücretsiz planda sınırsızdır.

Easy24 işine yaradıysa kahve ısmarla

Araçlar tarayıcıda ücretsiz kalır. Kreosus üzerinden tek seferlik destek verirsin. Türkiye kartları geçer.

Kahve ısmarla

Benzer Geliştirici araçları

Tümünü gör