Индексация сайта

Индексация – это процесс обхода поисковой машиной страниц сайта и помещения их в базу.

Только после индексации страница может быть найдена в поисковой машине. Таким образом, если сайт плохо индексируется поисковой машиной либо не индексируется вовсе, шансы на получение посетителей через поисковую машину стремятся к нулю.

Что же необходимо для хорошей индексации?

Во-первых, качественный хостинг. Сайт должен быть доступен поисковым роботам в любой момент времени. Если робот приходит на сайт, а сайт недоступен несколько раз подряд, его могут просто выбросить из индекса как несуществующий.

Во-вторых, карта сайта со ссылками на все его страницы (в идеале). Минимальным требованием является возможность добраться до любой страницы сайта не более чем за 3 прохода по ссылкам. Иначе часть страниц такого сайта рискует остаться непроиндексированной.

В-третьих, регулярное обновление информации. Если сайт обновляется редко, то и роботы будут заходить на него нечасто, а значит, посетители будут редким явлением на таком сайте.

В то же время существует множество вещей, мешающих хорошей индексации сайта.

Во-первых, это использование различных конструкций, затрудняющих корректное индексирование документа. К ним относятся:

• Java-script. Поисковые системы не исполняют скрипты, выполняемые на стороне клиента. Их исполнение резко повысило бы нагрузку на сервера роботов. Роботы не проиндексируют текст и не найдут ссылки, выполненные на Java-script.
• Flash. До недавнего времени Flash, как и Java-script, поисковиками не индексировался. Однако некоторое время назад ряд поисковых систем – Яндекс, Рамблер – объявили о начале индексации Flash. Тем не менее, чрезмерное использование Flash не рекомендуется, поскольку значительно затрудняет индексацию.
• Тег NOINDEX. С его помощью легко скрыть текст и ссылки от отечественных поисковиков Яндекс и Рамблер. Код, расположенный внутри этого тега, названными поисковиками не индексируется. Соответственно, если вы хотите проиндексировать содержимое страницы полностью, логично этот тег не использовать.
• Фреймы. Любые фреймовые структуры индексируются медленнее. При работе с фреймами многие используют тег NOFRAMES, который все же позволяет проиндексировать и текст, и ссылки, размещенные на странице. Однако поисковые системы этот тег не любят (как и любые другие изобретения, созданные для сокрытия контента от пользователя) и могут расценить как спам.
• Редиректы. Т.е. перенаправление пользователя без его активных действий на другую страницу. За использование редиректа на стороне клиента можно попасть в бан-лист поисковиков, поскольку такая схема используется для спама поисковых систем с помощью дорвеев. Робот индексирует страницу как обычную, а пользователь при обращении к странице перенаправляется на другую. Редирект, исполняемый со стороны сервера, не влечет за собой бана, однако качества индексации не улучшает.