Механизм индексации сайтов и каким образом возможно её улучшить

Перед теми, кто создает сайт самостоятельно, встает, кажется, разумеющийся вопрос: как добавить свой ресурс в поисковую выдачу той или иной системы по заданному запросу? Ответ прост: владельцу просто необходимо ждать момента, когда робот поисковой системы зайдет и проиндексирует страницу вашего сайта.

Как только страницы вашего ресурса окажутся в индексе поисковика, они будут выводиться при поисковой выдаче.

Для большинства веб-мастеров эта проблема не является серьезной. Объемы их сайтов не превышают сотни страниц, и поисковый робот зачастую правильно индексирует содержимое. Тем не менее, стоит обратить внимание на несколько важных факторов при seo-оптимизации.

Поисковые системы обычно используют один из двух способов индексации:
Первый состоит в том, что владелец сам добавляет адрес сайта в специальное поле, которое отображается в панели веб-мастеров поисковой системы. В данном случае поисковая система оповещается о том, что появился новый еще не проиндексированный сайт. В порядке очереди робот заходит на каждый такой ресурс и индексирует.

Для правильной индексации достаточно указать только главную страницу, остальные робот найдет сам благодаря карте сайта. Карту сайта вы тоже загружаете самостоятельно. В интернете есть множество сайтов и программ, которые бесплатно генерируют вам карту в форматах .xml или .html

Второй способ заключается в том, что робот сам ищет ваш сайт. Вы поинтересуетесь: каким образом он делает это? Дело в том, что при индексации того или иного ресурса, робот проверяет ссылки размещенные на них. То есть если на ваш сайт уже есть ссылка на каком-либо ресурсе, проиндексированном, для примера Яндексом, то поисковой робот за короткое время сам посетит ваш ресурс и проиндексирует его. Опытные веб-мастеры полагают, что этот вариант гораздо более благоприятно сказывается на поисковой выдаче сайта. Для этого необходимо получить (или закупить) несколько ссылок и ждать прихода робота.

Конечно же, хочется как можно скорее увидеть свой сайт на страницах поисковика! Обычно робот индексирует страницы в сроки, не превышающие двух недель. Все зависит от загруженности поисковика. В плане индексации самый быстрый робот от Google. Через несколько часов после ручного ввода робот начинает его сканировать.

Робот, как и разработчики сайтов не любит сложные коды. Для наиболее удачной индексации я советую упростить его как можно сильнее и придерживаться следующих правил:

1. Во-первых, доступ ко всем страницам должен быть не больше 3-х кликов, считая от главной страницы. В случае, когда это невозможно, создайте карту сайта. Она поможет роботу ориентироваться в ваших «джунглях».
2. Во-вторых, будьте аккуратны при работе со скриптами. Поисковые роботы не умеют распознавать их. При использовании навигации, работающей на скриптах, обязательно дублируйте ссылки!
3. В-третьих, не исключайте из внимания то, что поисковые роботы индексируют до 200 кб текста. Если вам важно, чтобы была проиндексирована вся страница, не делайте ее больше 100 кб.

Для поисковых роботов существует специальный файл, хранящийся в корне вашего хостинга. Он называется robots.txt. При помощи него можно управлять поисковым роботом, например, запретить или разрешить индексацию различных страниц.
В отличие от зарубежных поисковых роботов, российские понимают тег

<NOINDEX>

, который позволяет скрывать от робота отдельные части страницы. Для того чтобы полностью исключить возможность индексации, необходимо поместить данный тег в HEAD страницы.

Для того чтобы исключить из поисковой выдачи устаревшие ресурсы взамен свежим, поисковые системы осуществляют постоянную переиндексацию сайтов. Записи в базе данных постоянно обновляются. Не стоит бить тревогу если количество проиндексированных страниц внезапно изменилось.

Внимательно подходите к выбору хостинга. Если ваш сайт часто «падает», это ухудшает процесс его индексации. Робот просто не имеет доступа к ресурсу! Именно поэтому стоит трепетно подходить к выбору хостинга. Не стоит пренебрегать внешними ссылками. Они благотворно влияют на переиндексацию вашего сайта.

Проанализировав лог-файлы сервера, вы получите информацию о процессе индексации.