robots.txt güvenlik midir?

Robots.txt Oluşturucu

Allow/Disallow ve Sitemap satırlarıyla robots.txt üretir.

User-agent (satır satır)

Allow

Disallow

Crawl-delay (opsiyonel)

Host (opsiyonel)

Sitemap URL (satır satır)

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /private/

Sitemap: https://ornek.com/sitemap.xml

Dosyayı site köküne robots.txt olarak yükleyin. Disallow: / tüm dizini engeller.

Rehber

Robots.txt Oluşturucu — Sık aranan sorular ve yanıtlar

Robots.txt oluşturucu, User-agent, Allow, Disallow ve Sitemap satırlarıyla kural dosyası üretir. Hazır şablonlarla açık site, admin engelli veya tamamen kapalı profil seçebilirsiniz.

Dikkat

Disallow: / tüm siteyi tarayıcılardan gizler. Yanlış kural indeks kaybına yol açar. Üretimde önce staging’de deneyin.

İlgili hizmetler

Diğer araçlar

Sık sorulan sorular

Aşağıdaki sorular bu araç için en sık yazılan aramalardır. Cevabı görünür metinle aynıdır.

Hayır. İstekli botlar yine de URL’yi açabilir. Gizli içeriği parola ve sunucu kuralıyla koruyun.