Регулярное обновление данных
Инструмент хранит историю robots.txt сайта с даты создания. Вы можете отследить изменения в файле, сравнив последнюю и ранее полученные версии.
Инструмент для контроля изменений в файле robots.txt своего сайта и сайтов конкурентов
Инструмент хранит историю robots.txt сайта с даты создания. Вы можете отследить изменения в файле, сравнив последнюю и ранее полученные версии.
При сравнении файлов все удаления и добавления выделяются в коде. Это позволяет наглядно увидеть возможные ошибки, запреты на индексацию и прочие директивы для управления поисковыми роботами.
Доступно быстрое копирование и выгрузка в формате TXT.
Зарегистрируйтесь в сервисе. Для работы понадобится учётная запись.
Введите домен для анализа истории robots.txt. По умолчанию отобразится текущая версия файла.
Выберите дату изменения для сравнения.
Скачайте интересующую версию файла в формате TXT и используйте при доработке своего проекта.
Данные в истории обновляются при изменении robots.txt сайтов. Обход всех известных сайтов из базы Keys.so проходит в течение месяца.
Это означает, что сайта нет в базе Keys.so. Как только ваш сайт попадёт в топ-50 хотя бы по одному запросу, он появится в базе.
В бесплатной версии доступно сравнение только с предыдущей версией файла robots.txt относительно текущей.
Сэкономьте до 25% при оплате на год