Network & DNS🌐 Server YASAPI k dispozíciiintermediate

Prehliadač robots.txt

Zobrazuje a analyzuje súbor robots.txt webových stránok pre kontrolu pravidiel indexovania.

Spracované cez YAS · neukladá sa

Pripravené na použitieOkamžité spracovanie

Všetky nástroje →

Site URL

Loading tool…

Čo tento nástroj robí?

Zobrazuje a analyzuje súbor robots.txt webových stránok pre kontrolu pravidiel indexovania.

Kedy ho použiť?

Overenie, že dôležité stránky nie sú omylom blokované pred indexovaním v Google.
Kontrola správneho umiestnenia odkazov na XML mapy stránok (Sitemaps).
Nastavenie a kontrola pravidiel pre AI robotov a web scraperov.

Reálny príklad

Vstup

https://yas.sh

Výstup

User-agent: *
Allow: /
Disallow: /api/
Sitemap: https://yas.sh/sitemap.xml

Okamžitá analýza prístupových direktív a deklarácií sitemap.

Vstup → Spracovanie → Výstup → Ďalší krok

Vstup: Zadajte webovú adresu na inšpekciu.
Spracovanie: Nástroj stiahne súbor /robots.txt a rozanalyzuje pravidlá pre jednotlivých User-Agentov.
Výstup: Zvýraznený zdrojový text súboru s prehľadom povolených a zakázaných ciest.
Ďalší krok: Upravte konfiguráciu robots.txt na vašom hostingu pre optimálnu indexáciu.

Časté chyby

Pravidlo Disallow: / v koreňovom adresári (zablokuje celý web pred vyhľadávačmi).
Snaha o zabezpečenie tajných stránok cez robots.txt (súbor je verejne čitateľný).
Používanie neštandardných direktív nepodporovaných hlavnými vyhľadávačmi.

Čo znamená výsledok

Poskytuje prehľad inštrukcií, ktorými sa riadia vyhľadávacie roboty pri prechádzaní vášho webu.

Súkromie a bezpečnosť

Your input is sent to YAS infrastructure because the tool requires server-side processing or public network queries. Input is not stored.

API

Endpoint

POST https://yas.sh/api/v1/tools/robots-txt-viewer

Request Header

Content-Type: application/json

cURL

curl -X POST "https://yas.sh/api/v1/tools/robots-txt-viewer" \
  -H "Content-Type: application/json" \
  -d '{"url":"https://example.com"}'

JavaScript

const res = await fetch("https://yas.sh/api/v1/tools/robots-txt-viewer", {
  method: "POST",
  headers: { "Content-Type": "application/json" },
  body: JSON.stringify({
  "url": "https://example.com"
}),
});
const data = await res.json();

Python

import requests

r = requests.post("https://yas.sh/api/v1/tools/robots-txt-viewer", json={"url":"https://example.com"})
data = r.json()

Field	Type	Required	Description
url	string	Yes	Site URL (origin)

Success response

{ "origin": "https://example.com", "status": 200, "rules": [{ "userAgent": "*", "allow":[], "disallow":["/admin"] }], "sitemaps": [...] }

Fetch and parse a site's robots.txt rules.

Error responses

400 VALIDATION_ERROR — invalid input or unsupported option.
413 PAYLOAD_TOO_LARGE — input exceeds the 64 KB limit.
429 RATE_LIMIT_EXCEEDED — rate limit exceeded (60 req/min).

Limits

Maximum input: 64 KB per request.
Rate limit: 60 requests/min per IP address.
Authenticated accounts benefit from higher tier quotas.

Súvisiace nástroje

Kontrola kanonickej adresy Náhľad Open Graph Kontrola odkazov