Robots.txt Generátor

Sitemap URL (opcionális)

Generált robots.txt

Mi az a robots.txt?

A robots.txt egy szövegfájl, amelyet a webhelye gyökérkönyvtárában kell elhelyezni (pl. https://example.com/robots.txt), és amely tájékoztatja a webrobotokat arról, hogy mely oldalakhoz vagy szakaszokhoz férhetnek hozzá vagy nem. A Robots Exclusion Protocol részét képezi. Bár a keresőmotor-robotok általában betartják, a rosszindulatú robotok figyelmen kívül hagyhatják. Használja az ismétlődő oldalak, az adminisztrációs területek és a privát szakaszok feltérképezésének blokkolásához.

A Robots.txt Generátor használata

Válasszon egy előbeállítást, vagy kezdje nulláról a '+ Szabály hozzáadása' gombra kattintva.
Állítsa be a User-agent mezőt egy adott bot megcélzásához (használja a * karaktert az összes bothoz).
Adjon hozzá Disallow elérési utakat a nem feltérképezni kívánt oldalakhoz, és Allow elérési utakat a kivételekhez.
Opcionálisan állítson be Crawl-delay (másodpercekben) az agresszív robotok lelassításához.
Adja hozzá oldaltérkép URL-jét alul.
Másolja a kimenetet, és mentse el robots.txt fájlként webhelye gyökérkönyvtárában.

Keywords: robots.txt generátor, robots.txt fájl, robotok blokkolása, botok blokkolása, SEO robotok, sitemap robotok, webrobotok szabályai