Продвижение и оптимизация сайта (основные принципы и понятия)

1.1. История поисковых систем.

В начале существования сети Интернет количество пользователей было довольно мало, и доступ к сети имели в основном сотрудники университетов, научных учреждений, лабораторий. На первом этапе существования Интернета поисковые машины заменялись списком всех существующих серверов. Первым полноценным поисковиком стал Wandex, появившийся в 1993 году. В 1994 году появился сайт Yahoo!, который группировал сайты по тематике в специальном каталоге. Затем была добавлена возможность поиска по этому каталогу. Конечно, в каталоге была представлена только небольшая часть реально существующих сайтов.

Сейчас эта разновидность поисковых систем почти не используется. Даже современные каталоги фактически покрывают очень малую часть сети. Так, каталог сети DMOZ содержит 5 миллионов ресурсов, в то время как, например, база системы Google состоит из 8 млрд. документов. В 1995 году появились такие системы, как Lycos и AltaVista, которая долго сохраняла своё значение. В 1997 году в Стэнфордском университете была создана система Google, которая до сих пор является самой популярной в мире. В России главной поисковой системой является Yandex. Она открылась 23 сентября 1997 года.

В настоящий момент основных поисковых системы 3 – Google, Yahoo и MSN Search. Именно их поисковые алгоритмы являются образцами для всех остальных систем, в том числе отечественных. Они также имеют собственные базы поиска, которые используются прочими поисковиками. Например, поиск на Mail.ru использует базу Google. AltaVista – базу Yahoo, и так далее. В России в данный момент главной поисковой системой является Яндекс, затем идут Рамблер, Google, Aport и Mail.ru.

Принципы работы поисковых систем.

Алгоритм работы поисковой системы включает следующие компоненты:

Spider (паук) – программа типа браузера, которая закачивает страницы из Интернета.
Crawler (краулер) – программа, автоматически проходящая все существующие на странице ссылки.
Indexer – программа, анализирующая скачанные «пауком» страницы.
Database (база данных) – здесь скачанные и обработанные страницы хранятся.
Search engine result engine (система выдачи результатов) – извлекает информацию из базы.
Web server (веб-сервер) – сам сайт, осуществляющий взаимодействие между пользователем и поисковой системой.

Хотя детальная реализация поисковой системы может быть различной, например, первые три части могут на практике быть представлены единой программой, которая скачивает веб-страницы, обрабатывает их и автоматически переходит по ссылкам, этот общий алгоритм характерен для всех поисковых систем.

Spider. Эта программа скачивает страницы на сайте также, как и обычный браузер. Однако он не отображает страницу, а работает только с её кодом, не выдавая никакой визуальной информации (в браузерах функция просмотра кода тоже существует).

Crawler. Выделяет все имеющиеся на странице ссылки и определяет, куда дальше пойдёт паук. При этом он может опираться на ссылки или на заранее существующий список адресов. Краулер находит новые страницы, которые ещё не учтены поисковой системой.

Indexer. Он автоматически разбирает код страницы на части и анализирует их – в том числе теги, заголовки, текст и особенности структуры.

Database. В ней хранятся все скачанные поисковой системой страницы. Также она называется индексом поисковой системы.

Search Engine Results Engine. Именно от этой системы зависит ранг страницы в выдаче. Она выбирает страницы, удовлетворяющие запросу, и сортирует их по определённому алгоритму. Для оптимизатора, конечно, этот алгоритм является самым важным, так как в конечном счёте именно под него должно быть настроено продвижение сайта. Ниже мы рассмотрим факторы, от которых зависит позиция сайта.

Web server. На сервере присутствует интерфейс, с помощью которого пользователь осуществляет поиск. На сайте присутствует поле ввода для запросов. Сервер также показывает результаты в виде отдельной страницы.

2. Основные факторы ранжирования.

Под внутренними факторами ранжирования подразумеваются те, которые зависят от самого владельца сайта: от структуры сайта, его наполнения и т. п.

2. 1. Текстовое содержание страниц.

2. 1. 1. Объёмы текстов.

Поисковики выше ранжируют страницы со значительным текстовым наполнением. Поэтому вообще стоит увеличивать количество текстов на сайте. Оптимиальный для поисковика размер текста – 500 – 3000 слов (2 – 20 кб.) Страница из нескольких предложений вряд ли займёт высокие позиции в поисковике. Большое количество текста также увеличивает видимость сайта, так как есть вероятность, что случайный посетитель зайдёт на страницу, найдя на сайте какую-либо редкую фразу или словосочетание.

2.1.2. Число ключевых слов.

Ключевые слова, то есть те, по которым ведётся продвижение, должны встречаться 3-4 раза. Общее количество повторений зависит от объёма страницы. Если поисковое выражение – это целая фраза, тогда она должна несколько раз встречаться в неизменном виде, а также встречаться в виде своих элементов или в искажённом виде. Так, если поисковое выражение «вентилятор Samsung», то в тексте может 10 раз встретиться фраза «вентилятор Samsung», 7 раз – слово «вентилятор» и 5 раз – «Samsung».

2.1.3. Плотность ключевых слов.

Плотность ключевого слова – это отношение количества упоминаний слова на странице к общему числу слов. Оно измеряется в процентах. Очевидно, что при низкой плотности поисковик «не заметит» это слово, а высокая плотность, скорее всего, включит спам-фильтр, то есть результаты в выдаче будут искусственно занижены. Предпочтительная плотность ключевых слов – около 5-7%. При этом для фраз, которые состоят из нескольких слов, этим пределам должна удовлетворять суммарная плотность всех отдельных слов, составляющих фразу. При этом плотность текста 7-8% тоже не включает спам-фильтры, но и не оказывает существенного влияния на результат.

2.1.4. Расположение ключевых слов.

Действует правило: ключевое слово или фраза должно быть употреблено как можно ближе к началу страницы.

2.1.5. Стилистическое оформление.

Различные виды выделения учитываются поисковой системой, поэтому важно правильно оформить страницу. Во-первых, ключевые слова следует использовать в заголовках (выделаются тегом h1, h2 и особенно h). Сейчас использование css позволяет переопределить вид текста, который задаётся этими тегами, тем не менее пренебрегать ими не стоит. Ключевые слова можно выделить жирным шрифтом (не везде, но можно сделать это 2-3 раза). При этом лучше использовать для этого тег «strong».

2.1.6. Тег «TITLE»

Это один из важнейших тегов, который имеет большое значение для ранжирования страницы. В нём нужно обязательно упомянуть ключевые слова. Кроме того, текст оттуда будет содержаться в ссылке на сайт, поэтому это как бы «визитка» страницы для пользователя. Он должен не только содержать нужные выражения, но и быть привлекательным. От него зависит, захочет ли пользователь перейти на сайт. В выдачу поисковой системы обычно попадает 50-80 символов, поэтому содержимое тега «TITLE» должно быть не больше.

2.1.7. Ключевые слова в тексте ссылок.

Ключевые слова также следует использовать в тексте ссылок на внешние страницы или на другие страницы сайта, это даёт некоторые плюсы при ранжировании.

2.1.8. Теги «ALT» у изображений.

Все изображения на странице имеют атрибут «ALT», который содержит текст, отображаемый, если картинка не загрузилась или если в браузере заблокированы изображения. Хотя поисковые системы запоминают значение этого тега, при ранжировании он не используется. Известно, что Google учитывает текст в теге «ALT» для изображений, служащих ссылками на другие страницы. Остальные теги игнорируются. Другие системы, вероятно, действуют по похожему алгоритму. Таким образом, использовать ключевые слова в этих тегах можно, но ключевого значения это не имеет.

2.1.9. Тег Decsription

Это тег, который задаёт описание страницы. Он не влияет на ранжирование, но очень важен, поскольку отображается в результатах поисковой выдачи (например, в системе Google). Отображается он, если вообще присутствует и если текст в нём соответствует запросу. Тем не менее, он очень важен, поскольку даже первые позиции в результатах поисковой выдачи не всегда автоматически способны обеспечить высокий приток посетителей. Описание, которое выводит поисковик, должно быть более привлекательным, чем у конкурентов, в этом случае посетители зайдут именно на Ваш сайт и останутся на нём. Грамотное написание данного тега имеет большое значение. Он должен быть достаточно кратким, но в то же время давать информацию о Вашем бизнесе и содержать основные ключевые слова для данной страницы.

2.1.10. Тег Keywords

Изначально этот тег был предназначен для перечисления ключевых слов данной страницы. Однако сейчас поисковики его практически не используют. Его заполняют «на всякий случай», употребляя в нём только действительно находящиеся на странице ключевые слова.

2.2.1. Количество страниц.

Вообще, чем больше на сайте страниц, тем это лучше для его продвижения, так как поисковые системы воспринимают сайт с большим количеством страниц как информативный и значительный. Большое количество страниц автоматически улучшает видимость сайта в поисковиках. Добавление новых материалов на сайт для поисковой системы означает развитие сайта, а это также даёт некоторые выгоды для его продвижения. Следует выкладывать на сайт новости, статьи, релизы и другую информацию, имеющую отношение к деятельности Вашей компании.

2.2.2. Меню сайта.

Каждый сайт имеет основное меню, предназначенное для навигации по разделам сайта. В названиях пунктов меню следует использовать ключевые слова, это повышает позиции страниц, на которые эти пункты ссылаются.

2.2.3. Название страницы.

Некоторые считают, что ключевые слова следует использовать в названии файла страницы может повлиять на её позиции в поисковой выдаче. Но это, очевидно, может относиться только к англоязычным запросам.

Большинство сайтов имеет количество страниц не выше нескольки десятков. Лучше, чтобы все они были помещены в корневую директорию. Поисковики считают, что такие сайты являются более значительными.

2.2.5. Одна ключевая фраза на страницу.

Общее правило – каждая страница должна оптимизироваться под одну фразу, иногда под две-три. Как показывает опыт, использование 5 и более ключевых фраз на одной странице никогда не приводит к положительным результатам.

2.2.6. Главная страница.

Главная страница сайта (её адрес – имя домена/index.html) – всегда должна быть оптимизирована под наиболее важные слова, характеризующие Ваш бизнес. Эта страница является лицом всего сайта и должна попасть в топ поисковой выдачи в первую очередь. На эту страницу, как правило, приходится значительная доля (30-40%) всего поискового трафика.

2.3. Частые ошибки при оформлении сайта.

Часто важнейшим элементом дизайна главной страницы является графическая «шапка», представляющая собой большую картинку с названием и логотипом компании. Однако это является ошибкой с точки зрения продвижения сайта. В верхней части страницы можно разместить важные ключевые слова, это наиболее удачное место для них. Тем более что часто заголовок представляет собой текст, размещённый на картинке (и, таким образом, остающийся вообще без внимания поисковиков). Обычно используется компромиссный вариант: логотип компании занимает не весь верх страницы, и остаётся место также для текста, в котором можно разместить ключевые слова.

2.3.2 Навигационное меню.

Аналогично, очень часто для улучшения привлекательности сайта используется графическое меню (например, сделанное во Flash). Но внутренние ссылки на сайте в идеале также должны содержать ключевые слова, поэтому для продвижения это невыгодно. В случае графического меню поисковики не смогут учесть названия его пунктов. В случае, если ссылками на пункты меню служат картинки, следует снабдить их тегами ALT.

2.3.3. Навигация через скрипты.

Часто навигация на сайте также реализуется через скрипты. Но поисковая машина не может выполнять скрипты, и ссылка, заданная через скрипт, будет просто недоступна для робота, он может вообще не учесть страницу, на которую она ведёт. Поэтому если основная навигация осуществлена через скрипты, для робота её следует продублировать обычными ссылками.

2.3.4. Идентификатор сессии.

На многих сайтах (особенно на форумах, Интернет-магазинах и т. п.) используется так называемый идентификатор сессии. Каждому посетителю сайта приписывается уникальный параметр &session_id=…., автоматически добавляющийся к адресу каждой посещённой страницы. Использование этого параметра очень облегчает сбор статистики о посещаемости страниц сайта и используется для ряда других целей. Но робот рассматривает каждую страницу с отдельным адресом как новую. Поэтому каждый раз при поисковой индексации робот будет заново учитывать одни и те же страницы. Конечно, эту проблему решают существующие алгоритмы «склейки» сайтов-зеркал и повторяющихся страниц. Но использование идентификаторов может серьёзно затруднить правильный учёт всех страниц сайта. Поэтому оно, конечно, не рекомендуется.>

2.3.5. Редиректы.

Редиректы без значительных оснований не следует использовать, так как они также затрудняют поисковую индексацию сайта.

2.3.6. Скрытый текст.

Скрытый текст ранее был довольно популярным методом «обмана» поисковиков. Использование текста, который по цвету совпадает с фоном (и, значит, не виден обычному пользователю), позволяет наполнить страницу ключевыми словами без какого-то ущерба для предназначенного для людей текста. В настоящее время использование скрытого текста может привести к бану сайта, то есть к принудительному его исключению из индекса.

2.3.7. Однопиксельные изображения.

Однопиксельные изображения, которые не видны обычному пользователю, используются в качестве ссылок для целей продвижения. Это тоже может привести к бану сайта.

3. Внешние факторы продвижения.

В предыдущем разделе были рассмотрены те методы, которые могут прямо применяться автором сайта и зависят только от него. Фактически поисковая система неспособна отличить интересную пользователям страницу от страницы, которая создана исключительно с целью продвижения, оптимизирована по определённому ключевому выражению или даже полностью сгенерирована роботом. Поэтому поисковик анализирует также внешние ссылки на страницу. Этот фактор, разумеется, не может полностью контролироваться автором сайта. Очевидно, что чем больше внешних ссылок на сайт было поставлено, тем больше он привлекает конкретных пользователей. Если люди ставят ссылки на сайт на своих сайтах или иных ресурсах, значит, они его достаточно высоко оценивают, считают его материалы достаточно профессиональными. Итак, все факторы, влияющие на позицию сайта в поисковике, делятся на релевантность (то есть насколько сайт соответствует своей теме, критерии этого были описаны выше) и число и качество ссылок на других ресурсах. Последнее обычно называется ссылочной цитируемостью, ссылочной популярностью или индексом цитирования.

3.2. О важности ссылок.

Понятно, что ссылка, например, с сайта Microsoft.com гораздо значительнее, чем ссылка с чьей-либо домашней страницы. Поэтому сравнивать сайты просто по количеству внешних ссылок нельзя, должна быть учтена также и важность каждой ссылки. Это достигается с помощью введения так называемого индекса цитирования. Это, на самом деле, общее обозначение показателей, характеризующих популярность в Интернете того или иного ресурса. Каждая поисковая система рассчитывает его по своим собственным методикам, которые негде не публикуются. Помимо обычного ИЦ, существует также понятие «взвешенного индекса цитирования», который представляет собой не некий конкретный показатель, а значение популярности той или иной страницы относительно других страниц сети Интернет. Как правило, о «взвешенном индексе цитирования» (ВИЦ) говорят применительно к системе Яндекс. Далее алгоритмы вычисления индекса цитирования будут рассмотрены более подробно.

3.3. Текст ссылки.

Поисковый робот учитывает текст ссылки на сайт (то есть тот текст, по которому кликает пользователь для перехода на страницу), и если текст этот содержит ключевые слова, то поисковая система воспринимает это как дополнительный плюс в пользу того, что сайт достаточно хорошо отвечает тематике запроса.

3.4. Релевантность страниц, на которых помещены ссылки.

Поисковая система учитывает, какие именно страницы ссылаются на оцениваемую страницу. Так, ссылка на сайт, посвящённый продаже автомобилей, с автомобильного сайта оценивается выше, чем с сайта, посвящённого строительству.

3.5. О Google PageRank

Первой запатентованной системой учёта ссылок на страницу стала >GooglePageRank от компании Google. Поскольку этот алгоритм используется в самых популярных поисковых системах, его мы рассмотрим подробнее. PageRank определяется отдельно для каждой страницы и зависит от PageRank тех страниц, которые на неё ссылаются. Понятно, что это порождает некий логический замкнутый круг.

В качестве абсолютного критерия, который определяет важность страницы, выбирается теоретическая посещаемость страницы.  Пользователь ходит по Сети, переходя по ссылкам. Он начинает просмотр с некой случайной страницы и переходит с неё на другие сайты. При этом существует возможность, что он закроет окно браузера и начнёт просмотр с другой страницы. Вероятность этого в PageRank принята за 0.15 на каждом шаге. С вероятностью 0.85, следовательно, пользователь переходит по одной из ссылок на странице, которые считаются системой равноправными. Продолжая переходы до бесконечности, пользователь, по статистике, посетит популярные страницы с большей вероятностью, а непопулярные – с меньшей.

Итак, PageRank на самом деле показывает вероятность нахождения пользователя на данной странице. Сумма вероятностей по всем вообще страницам Интернета равна единице.

На практике PageRank получается с помощью логарифмического преобразования (т. е. показывает порядок дроби, выражающей эту вероятность нахождения на странице). В Google PageRank – это число от 0 до 10.

Итак, получается, что:
- любая страница в сети, даже если на неё не ссылается ни одна внешняя страница, имеет ненулевой PageRank
- каждая страница передаёт часть своего PageRank страницам, на которые на ней есть ссылки, причём его количество на одну ссылку обратно пропорционально общему числу ссылок;
- при этом PageRank передаётся не полностью, с каждым шагом он «уменьшается» - за это уменьшение отвечает предполагаемая вероятность 15%.

Теперь рассмотрим, как PageRank используется в формировании результатов поисковой выдачи. В чистом виде PageRank в Google уже давно не используется, о чём будет сказано ниже. После того, как поисковая система составила список релевантных документов, они сортируются именно согласно PageRank. Поисковая система предполагает, что те документы, которые являются наиболее популярными, на которые стоит больше всего ссылок, и являются самыми полезными. Задача PageRank, таким образом – просто «вытеснить» документы, которые популярны и без участия поисковика.

3.6. Практическое использование Google PageRank

Сейчас этот алгоритм напрямую не используется, поскольку, как очевидно, он абсолютно не учитывает особенности текста по ссылке и его содержание, также как не учитывает и ссылочный текст. Именно эти факторы являются (как и должно быть по логике) определяющими для ранжирования страницы. Сейчас считается, что существует ещё и отдельный, используемый Google, «тематический» PageRank, но детали его подсчёта известны только самим сотрудникам Google.

Значение Google PageRank для каждой страницы можно, воспользовавшись Google Toolbar, в котором можно увидеть этот показатель (в диапазоне от 1 до 10). Это значение не является точным, оно показывает только приблизительный диапазон. Номер от 0 до 10, как уже было сказано, определяется с помощью логарифмического преобразования абсолютной вероятности. Так, пусть PageRank равен 100. Тогда порядок равен 2, и в Google Toolbar мы увидим показатель, равный 2. Исходное, точное значение известно только Google. Отсюда понятно, что на самом деле, например, промежутки между «1» и «2» не равнозначны промежуткам от «6» до «7», т. е. реально поднять страницу от 6 до 7 намного сложнее.

Обычно PageRank используется следующим образом.

1) Он позволяет быстро оценить уровень популярности сайта. Точной информации о страницах, которые на сайт ссылаются, PageRank, конечно, дать не может, но оценить общий уровень популярности (и посещаемости) страницы с его помощью можно. Так, большинство корпоративных страниц, сайтов компаний имеет PageRank на уровне 4-5. PR 6 означает большие усилия, специально приложенные к раскрутке. PR 7 – практически недостижим для обычного владельца сайта, а более высокие показатели бывают в основном у сайтов крупных компаний типа Microsoft, Google и пр. Также PageRank используется при обмене ссылками, чтобы оценить целесообразность такого обмена, качество сайта, который предлагает партнёрство и т. п.

2) Для оценки конкурентности того или иного запроса. Опять же, PageRank не участвует непосредственно в ранжировании и позволяет дать только начальную оценку. Так, если сайты конкурентов имеют высокий PageRank – 6-7, то их не сможет обогнать сайт с PageRank 4.

Нужно помнить, что значения PageRank, которые показываются в Google ToolBar, обновляются достаточно редко, и часто информация эта оказывается на самом деле устаревшей. Сам поисковик учитывает изменения во внешних ссылках на странице быстрее, чем они отражаются в поисковой выдаче системы Google.

3.7. ТИЦ и ВИЦ системы Яндекс

ВИЦ (взвешенный индекс цитирования) – аналог PageRank, который применяется системой Яндекс для оценки популярности того или иного сайта. Его значения также нигде не публикуются и остаются в пределах компании Яндекс. Так как узнать их мы не можем, для нас важным здесь является то, что Яндекс для оценки страниц пользуется собственным алгоритмом.

ТИЦ (тематический индекс цитирования) рассчитывается не для отдельной страницы, а для всего ресурса в целом, причём сравнение ведётся не со всеми сайтами вообще, а только с тематическими ресурсами. ТИЦ применяется Яндексом для ранжирования сайтов в яндексовском списке. Значения ТИЦ можно увидеть в Яндекс.Баре, однако нужно всегда учитывать, что ТИЦ оценивает весь сайт в целом, не отдельные страницы.

В практике ТИЦ можно использовать приблизительно для того же, для чего используется и >PageRank – для приблизительной оценки раскрученности сайта, а также оценки конкурентности данного поискового запроса, при этом ТИЦ очень хорошо использовать именно для оценки сайтов в русскоязычной зоне, так как Яндекс наиболее полно охватывает её.

3. 8. Как повысить ссылочную популярность

3. 8. 1. Сабмит в каталоги общего назначения.