Robots.txt Oluşturucu
robots.txt nedir?
robots.txt, web sitenizin kökünde bulunan (örn. https://example.com/robots.txt) ve web tarayıcılarına hangi sayfalara veya bölümlere erişebileceklerini veya erişemeyeceklerini bildiren bir metin dosyasıdır. Robots Exclusion Protocol'ün bir parçasıdır. Arama motoru botları bunu genellikle saygıyla karşılasa da kötü amaçlı botlar görmezden gelebilir. Yinelenen sayfaları, yönetici alanlarını ve özel bölümleri taranmaktan engellemek için kullanın.
Robots.txt Oluşturucu Nasıl Kullanılır
-
Bir ön ayar seçin veya '+ Kural ekle' seçeneğine tıklayarak sıfırdan başlayın.
-
Belirli bir botu hedeflemek için User-agent alanını ayarlayın (tüm botlar için * kullanın).
-
Taranmasını istemediğiniz sayfalar için Disallow yolları ve istisnalar için Allow yolları ekleyin.
-
Saldırgan tarayıcıları yavaşlatmak için isteğe bağlı olarak Crawl-delay (saniye cinsinden) ayarlayın.
-
Alt kısma site haritanızın URL'sini ekleyin.
-
Çıktıyı kopyalayın ve web sitenizin kök dizinine robots.txt olarak kaydedin.
Sıkça Sorulan Sorular
Burada hassas verileri çözmek güvenli midir? Evet. Tüm kod çözme işlemleri JavaScript kullanarak tarayıcınızda gerçekleşir. Hiçbir veri sunucuya iletilmez, bu nedenle kodlanmış dizeleriniz tamamen özel kalır.
Base64 ile URL güvenli Base64 arasındaki fark nedir? Standart Base64, URL'lerde özel karakterler olan + ve / karakterlerini kullanır. URL güvenli Base64, bunları - ve _ ile değiştirir, böylece dize URL'ler ve dosya adlarında yüzde kodlaması olmadan güvenle kullanılabilir.
Neden çözülen çıkışım anlamsız görünüyor? Orijinal veriler ikili ise (örneğin bir görüntü, PDF veya sıkıştırılmış dosya), çözülen çıkış okunabilir metin olmayacaktır. Bu durumda, Base64 dizesi bir metin dizesi değil, ikili bir dosyayı temsil eder.
Base64 bir şifreleme biçimi midir? Hayır. Base64 bir kodlama şeması olup şifreleme değildir. Herkes bir anahtarı olmadan Base64 dizesini çözebilir. Hassas verileri korumak için asla kullanılmamalıdır — bunun için uygun şifreleme kullanın.
Keywords: robots.txt oluşturucu, robots.txt dosyası, tarayıcıları engelle, botları engelle, SEO robotları, sitemap robotları, web tarayıcı kuralları