Robots.txt-generaattori
Mikä on robots.txt?
robots.txt on tekstiedostona verkkosivustosi juuressa (esim. https://example.com/robots.txt), joka kertoo verkkoroboteille, mihin sivuihin tai osioihin ne voivat tai eivät voi päästä. Se on osa Robots Exclusion Protocol -protokollaa. Vaikka hakukonebotit yleensä noudattavat sitä, haitalliset botit voivat jättää sen huomiotta. Käytä sitä estämään kaksoiskappaleet, hallinta-alueet ja yksityiset osiot indeksoinnilta.
Robots.txt-generaattorin käyttöohjeet
-
Valitse esiasetus tai aloita tyhjästä napsauttamalla '+ Lisää sääntö'.
-
Aseta User-agent-kenttä kohdistamaan tiettyyn bottiin (käytä * kaikille boteille).
-
Lisää Disallow-polkuja sivuille, joita et halua indeksoitavan, ja Allow-polkuja poikkeuksille.
-
Aseta valinnaisesti Crawl-delay (sekunteina) aggressiivisten indeksointirobottien hidastamiseksi.
-
Lisää sivustokartasi URL alareunaan.
-
Kopioi tulos ja tallenna se robots.txt-tiedostona verkkosivustosi juurihakemistoon.
Usein kysytyt kysymykset
Onko turvallista purkaa arkaluonteisia tietoja täällä? Kyllä. Kaikki purkaminen tapahtuu selaimessasi JavaScriptin avulla. Mitään tietoa ei lähetetä millekään palvelimelle, joten koodatut merkkijonot pysyvät täysin yksityisinä.
Mikä on ero Base64:n ja URL-turvallisen Base64:n välillä? Standardi Base64 käyttää + ja / -merkkejä, jotka ovat erikoismerkkejä URL-osoitteissa. URL-turvallinen Base64 korvaa ne - ja _ -merkeillä, jotta merkkijonoa voidaan käyttää turvallisesti URL-osoitteissa ja tiedostonimissä ilman prosenttikoodausta.
Miksi purettu tulokseni näyttää sekavalta? Jos alkuperäinen data oli binaarista (kuten kuva, PDF tai pakattu tiedosto), purettu tulos ei ole luettavaa tekstiä. Siinä tapauksessa Base64-merkkijono edustaa binaaritiedostoa, ei tekstimerkkijonoa.
Onko Base64 salauksen muoto? Ei. Base64 on koodausjärjestelmä, ei salaus. Kuka tahansa voi purkaa Base64-merkkijonon ilman avainta. Sitä ei koskaan pidä käyttää arkaluonteisten tietojen suojaamiseen - käytä oikeaa salausta siihen.
Keywords: robots.txt-generaattori, robots.txt-tiedosto, estä robotit, estä botit, SEO-robotit, sitemap-robotit, verkkorobottisäännöt