Перевірка robots.txt
Завантаження та аналіз robots.txt будь-якого сайту. Правила обходу, директиви user-agent, карти сайту та SEO-проблеми.
Запустіть перевірку для перегляду результатів
API
POST /api/v1/web/robots5(1 vote)
Що таке Перевірка robots.txt?
Аналізатор robots.txt завантажує та перевіряє файл robots.txt будь-якого сайту. Інструмент показує правила обходу для пошукових роботів, директиви user-agent, посилання на карти сайту та виявляє потенційні SEO-проблеми з індексацією.