0.00 (0)

Robots.txt

29 Февраля 2016 | Принципы продвижения сайтов

Robots.txt является файлом, с помощью которого можно отрегулировать индексацию своего сайта ведущими поисковыми системами. Данный файл необходимо размещать в главной директории своего веб-ресурса.

Главная информация и особенности работы

В первую очередь поисковой бот после того, как попадает на сайт, обращается к Robots.txt, с помощью которого ему удается узнать, какая страница, раздел или другая категория должна быть проигнорирована. Здесь же поисковая система узнает о том, каким образом устроена карта ресурса в формате XML, получает информацию о динамических настройках в адресе URL.

При помощи файла Robots.txt удается исключать из поиска дубликат страницы, или страницу с ошибками. Таким образом удается достичь улучшения ранжирования сайта, подняв его на более качественный уровень. Пользователи смогут более комфортно чувствовать себя на таком сайте.

Сам файл может быть создан с помощью любого текстового редактора. Просто задайте файлу указанное имя. Но файл должен быть создан с учетом всех требований и правил. Файл, который разработан с учетом каждой особенности и тонкости, загружают в корень ресурса на хостинг или сервер.

Список важных директив:

  1. User-agent. При помощи данного файла можно обеспечить управление доступом к ресурсу поисковых систем по отдельности. Если речь идет о Яндексе, то здесь могут быть заданы следующие значения - Yandex, YandexBot или *. Если значение соответствует первому случаю, то файл будет прочитан всеми системами поиска. Второй случай предусматривает индексирование только Яндексом. Третий вариант блокирует индексацию для поисковых роботов.
  2. Disallow. Данная директива определяет запрет доступа к сайту полностью или только к его отдельным частям. "/" - полностью запрещает доступ, "/cgi-bin" запрещает индексацию страницы, начинающейся с соответствующей отметки.
  3. Host. При помощи данной директивы удается прописать имя основного зеркала, если сайт обладает дополнительными зеркалами. Чтобы сделать это, напротив Host прописывают необходимый адрес. В случае доступа через защищенный канал следует задавать HTTPS с номером порта.

RSS

RSS является особым форматом, с помощью которого осуществляется передача данных с ресурса с кратким отображением содержимого.

Транслируется контент в новостной ленте. Для ресурса это приятный бонус к карме, поскольку новая информация удобна для ознакомления пользователям.

 0.00 (0)
62Оставить комментарий

Тарифы на услуги

    • Продвижение сайтов

      Работы рассчитаны на стратегию долгосрочных продаж, являются приоритетным направлением специалистов Yeella
      • Продвижение и развитие
      • Продвинуть молодой сайт
      • Продвинуть интернет-магазин
      • Продвинуть за рубежом
      • SEO и UI Аудит

      от $490

    • Разработка сайтов и систем

      Стратегии присутствия в сети. Интернет- маркетинг для брендов и открытых товарно-продуктовых сегментов.
      • Рзработка магазинов
      • Продающих страниц / визиток
      • Корпоративных сайтов
      • Порталов
      • Оптимизация сайта

      от $490

    • Сопровождение проектов

      Услуги опытных интернет- маркетологов, дизайнеров и копирайтеров для решения локальных задач бизнеса
      • Сопровождение сайта
      • Доработка сайта
      • Привлечение аудитории
      • Повышение конверсии
      • Продвижение бренда

      от $490

 

 

 

 

Консультация

5 лет
практики

сертификат
A-rate

Топ
кейсы

быстрый
результат

 

Присоединяйтесь к нам в соц. сетях