Generator Robots.txt
Ce este robots.txt?
robots.txt este un fișier text plasat la rădăcina site-ului dvs. (de ex. https://example.com/robots.txt) care informează crawlerele web ce pagini sau secțiuni pot sau nu pot accesa. Face parte din Robots Exclusion Protocol. Deși roboții motoarelor de căutare îl respectă în general, roboții malițioși îl pot ignora. Folosiți-l pentru a bloca crawlarea paginilor duplicate, zonele de administrare și secțiunile private.
Cum să utilizați Generatorul Robots.txt
-
Alegeți o configurație predefinită sau începeți de la zero făcând clic pe '+ Adaugă regulă'.
-
Setați câmpul User-agent pentru a viza un bot specific (folosiți * pentru toți roboții).
-
Adăugați căi Disallow pentru paginile pe care nu doriți să fie crawlate și căi Allow pentru excepții.
-
Opțional, setați un Crawl-delay (în secunde) pentru a încetini crawlerele agresive.
-
Adăugați URL-ul hărții site-ului dvs. în partea de jos.
-
Copiați rezultatul și salvați-l ca robots.txt în directorul rădăcină al site-ului dvs.
Keywords: generator robots.txt, fișier robots.txt, blocare crawlere, blocare roboți, roboți SEO, roboți sitemap, reguli crawler web