Network & DNS🌐 سيرفر YASمتاح عبر APIintermediate

عارض robots.txt

يقرأ ويحلل ملف robots.txt لأي موقع ويفحص قواعد السماح والحظر الموجهة لمحركات البحث.

معالجة عبر YAS · لا يتم تخزين المدخلات

جاهز للاستخدام الفوريمعالجة فورية فائقة السرعة

كل الأدوات →

Site URL

Loading tool…

إيه اللي الأداة دي بتعمله؟

يقرأ ويحلل ملف robots.txt لأي موقع ويفحص قواعد السماح والحظر الموجهة لمحركات البحث.

إمتى أستخدمها؟

التأكد من أن الصفحات الهامة غير محظورة بالخطأ من الفهرسة في Google و Bing.
فحص مسارات ملفات خرائط الموقع (Sitemaps) المعلنة في ملف الـ robots.txt.
تدقيق القواعد الموجهة لروبوتات الذكاء الاصطناعي وعناكب الأرشفة.

مثال واقعي

الإدخال

https://yas.sh

الناتج

User-agent: *
Allow: /
Disallow: /api/
Sitemap: https://yas.sh/sitemap.xml

تحليل فوري للمسارات المسموحة والمحظورة وملفات السايت ماب.

إدخال → معالجة → ناتج → الخطوة التالية

الإدخال: أدخل رابط الموقع المراد فحص ملف robots.txt له.
المعالجة: يجلب النظام ملف /robots.txt ويحلل التوجيهات والقواعد الخاصة بكل وكيل مستخدم.
الناتج: عرض منسق للملف الأصلي مع تحليل بصري للقواعد المسموحة والمحظورة.
الخطوة التالية: إذا كانت هناك صفحات محظورة بالخطأ، عدل الملف على سيرفر موقعك فوراً.

أخطاء شائعة

كتابة Disallow: / مما يؤدي لحظر كامل الموقع من الظهور في محركات البحث.
الاعتماد على robots.txt لإخفاء الصفحات السرية (robots.txt ملف عام ويراه الجميع).
نسيان الإشارة إلى رابط خريطة الموقع sitemap.xml داخل الملف.

يعني إيه النتيجة

دليل تعليمات الزحف الذي تقدمه لمحركات البحث لمعرفة كيفية استكشاف موقعك وأرشفته.

الخصوصية والأمان

Your input is sent to YAS infrastructure because the tool requires server-side processing or public network queries. Input is not stored.

API

Endpoint

POST https://yas.sh/api/v1/tools/robots-txt-viewer

Request Header

Content-Type: application/json

cURL

curl -X POST "https://yas.sh/api/v1/tools/robots-txt-viewer" \
  -H "Content-Type: application/json" \
  -d '{"url":"https://example.com"}'

JavaScript

const res = await fetch("https://yas.sh/api/v1/tools/robots-txt-viewer", {
  method: "POST",
  headers: { "Content-Type": "application/json" },
  body: JSON.stringify({
  "url": "https://example.com"
}),
});
const data = await res.json();

Python

import requests

r = requests.post("https://yas.sh/api/v1/tools/robots-txt-viewer", json={"url":"https://example.com"})
data = r.json()

Field	Type	Required	Description
url	string	Yes	Site URL (origin)

Success response

{ "origin": "https://example.com", "status": 200, "rules": [{ "userAgent": "*", "allow":[], "disallow":["/admin"] }], "sitemaps": [...] }

Fetch and parse a site's robots.txt rules.

Error responses

400 VALIDATION_ERROR — invalid input or unsupported option.
413 PAYLOAD_TOO_LARGE — input exceeds the 64 KB limit.
429 RATE_LIMIT_EXCEEDED — rate limit exceeded (60 req/min).

Limits

Maximum input: 64 KB per request.
Rate limit: 60 requests/min per IP address.
Authenticated accounts benefit from higher tier quotas.

أدوات مرتبطة

فاحص Canonical معاينة Open Graph فاحص الروابط