Robots.txt Generátor
Mi az a robots.txt?
A robots.txt egy szövegfájl, amelyet a webhelye gyökérkönyvtárában kell elhelyezni (pl. https://example.com/robots.txt), és amely tájékoztatja a webrobotokat arról, hogy mely oldalakhoz vagy szakaszokhoz férhetnek hozzá vagy nem. A Robots Exclusion Protocol részét képezi. Bár a keresőmotor-robotok általában betartják, a rosszindulatú robotok figyelmen kívül hagyhatják. Használja az ismétlődő oldalak, az adminisztrációs területek és a privát szakaszok feltérképezésének blokkolásához.
A Robots.txt Generátor használata
-
Válasszon egy előbeállítást, vagy kezdje nulláról a '+ Szabály hozzáadása' gombra kattintva.
-
Állítsa be a User-agent mezőt egy adott bot megcélzásához (használja a * karaktert az összes bothoz).
-
Adjon hozzá Disallow elérési utakat a nem feltérképezni kívánt oldalakhoz, és Allow elérési utakat a kivételekhez.
-
Opcionálisan állítson be Crawl-delay (másodpercekben) az agresszív robotok lelassításához.
-
Adja hozzá oldaltérkép URL-jét alul.
-
Másolja a kimenetet, és mentse el robots.txt fájlként webhelye gyökérkönyvtárában.
Gyakran Feltett Kérdések
Biztonságos-e az érzékeny adatok itt történő dekódolása? Igen. Az összes dekódolás a böngészőjében történik a JavaScript segítségével. Egyetlen adat sem kerül továbbításra semmilyen szerverhez, így a kódolt karakterláncok teljesen magánjellegűek maradnak.
Mi a különbség a Base64 és az URL-biztonságos Base64 között? A standard Base64 a + és / karaktereket használja, amelyek speciális karakterek az URL-ekben. Az URL-biztonságos Base64 helyettesíti őket - és _ karakterekkel, így a karakterlánc biztonságosan használható az URL-ekben és fájlnevekben százalékos kódolás nélkül.
Miért néz ki értelmetlen az én dekódolt kimenetetem? Ha az eredeti adatok binárisak voltak (például egy kép, PDF vagy tömörített fájl), a dekódolt kimenet nem lesz olvasható szöveg. Ebben az esetben a Base64 karakterlánc egy bináris fájlt képvisel, nem pedig egy szöveges karakterláncot.
A Base64 a titkosítás egy formája? Nem. A Base64 egy kódolási séma, nem titkosítás. Bárki dekódolhat egy Base64 karakterláncot kulcs nélkül. Soha nem szabad az érzékeny adatok védelmére használni — erre megfelelő titkosítást kell alkalmazni.
Keywords: robots.txt generátor, robots.txt fájl, robotok blokkolása, botok blokkolása, SEO robotok, sitemap robotok, webrobotok szabályai