Robots.txt Oluşturucu
robots.txt nedir?
robots.txt, web sitenizin kökünde bulunan (örn. https://example.com/robots.txt) ve web tarayıcılarına hangi sayfalara veya bölümlere erişebileceklerini veya erişemeyeceklerini bildiren bir metin dosyasıdır. Robots Exclusion Protocol'ün bir parçasıdır. Arama motoru botları bunu genellikle saygıyla karşılasa da kötü amaçlı botlar görmezden gelebilir. Yinelenen sayfaları, yönetici alanlarını ve özel bölümleri taranmaktan engellemek için kullanın.
Robots.txt Oluşturucu Nasıl Kullanılır
-
Bir ön ayar seçin veya '+ Kural ekle' seçeneğine tıklayarak sıfırdan başlayın.
-
Belirli bir botu hedeflemek için User-agent alanını ayarlayın (tüm botlar için * kullanın).
-
Taranmasını istemediğiniz sayfalar için Disallow yolları ve istisnalar için Allow yolları ekleyin.
-
Saldırgan tarayıcıları yavaşlatmak için isteğe bağlı olarak Crawl-delay (saniye cinsinden) ayarlayın.
-
Alt kısma site haritanızın URL'sini ekleyin.
-
Çıktıyı kopyalayın ve web sitenizin kök dizinine robots.txt olarak kaydedin.
Keywords: robots.txt oluşturucu, robots.txt dosyası, tarayıcıları engelle, botları engelle, SEO robotları, sitemap robotları, web tarayıcı kuralları