Придумать наказание, равное проступку, — та ещё задача. «На ура» с этим справлялись средневековые инквизиторы. Сегодня же изобретение новых санкций и карательных мер — удел разве что поисковых систем. О том, что должен знать и уметь современный SEO-специалист, рассказывает старший специалист по поисковому продвижению Ingate Полина Старостина.
Истоки поисковых фильтров
Что было вначале? Представьте, если бы для выхода в топ было достаточно употребить заветное ключевое слово на пару раз больше, чем конкурент. Примерно к этому и сводилось SEO в конце 90-х. Со временем документов в индексе поисковиков становилось всё больше. Пользуясь простотой формулы ранжирования, владельцы сайтов и веб-мастера захламляли посадочные страницы множеством ключевых слов и выводили ресурсы в топ. Как результат — выдача теряла в качестве. Стало ясно, что правила игры нужно менять.
1999−2003
В 1999 году Яндекс запустил тИЦ — тематический индекс цитирования, определяющий авторитетность сайтов с учётом тематичности ссылок на них с других ресурсов.
В 2000 году Google представил первый алгоритм ссылочного ранжирования — PageRank, рассчитывающий вес страниц и на основе этого определяющий авторитетность ресурса.
Именно поэтому в этот период большую роль стала играть ссылочная масса сайта. Логика проста: если на страницу ссылаются другие источники, вероятно, она содержит ценный контент. Тогда вес страницы,
- общего числа ссылок на сайт;
- авторитетности доноров (сайтов, передающих свой статический вес другим ресурсам);
- наличия в тексте ссылок ключевых слов (динамический вес).
Как результат — чем больше ссылочный вес страницы, тем выше она в топе. Это было новостью в мире продвижения, так как раньше сайт не оценивался по таким внешним показателям. Однако вскоре размещение ссылок на разных ресурсах стало обычным инструментом продвижения: создавали даже целые сетки сайтов, чтобы выставить с них бэклинки (обратные ссылки) на продвигаемый ресурс.
Реакция поисковых систем
В 2003 году появились алгоритмы Google Cassandra и Florida, призванные пессимизировать в выдаче страницы с переспамом — множеством ключевых слов в тексте, большим количеством ссылок с сайтов одного владельца, а также скрытым текстом и скрытыми ссылками.
Такие нововведения заставили SEO-специалистов изрядно попотеть в попытках вернуть былые позиции своим заспамленным ключевыми словами сайтам. Это стало закатом стратегий продвижения ресурсов из конца 90-х.
2004−2005
Алгоритмы, вводимые поисковыми системами, заставили корректировать подход к продвижению, однако изменения шли медленно. Веб-мастера по-прежнему пользовались системами обмена и покупки некачественных ссылок и размещали тексты, перенасыщенные ключевыми словами, балансируя между попаданием под фильтр и позициями в топе.
Качество выдачи оставляло желать лучшего. По запросу «купить окна» в топе могли находиться, например, страницы зоомагазина, пиццерии и газового оборудования. Почему? Просто они закупали огромное количество ссылок.
Реакция поисковых систем
В 2004 году Google выпустил дополнение к алгоритму Florida — Austin, ужесточающий борьбу с переспамленными и невидимыми текстами. Повысились требования к релевантности контента. Следом появился алгоритм Google Brandy, который открыл новую страницу в истории ранжирования. Поисковик стал наказывать сайты не только за переспам текстов, но и за переоптимизацию метатегов. Теперь нельзя написать в title «купить деревянные двери, деревянные двери цена, двери от производителя купить Москва» — поисковик отправит страницу на задворки выдачи.
Кроме того, Google научился распознавать синонимы ключевых слов, похожие фразы. За счёт того, что семантика поисковика стала богаче, начала формироваться более релевантная и качественная выдача.
В 2005 году Google запустил фильтры Allegra и Jagger, наказывающие за низкокачественные и цикличные ссылки и бэклинки со ссылочных ферм (линкопомоек) — сайтов, ссылающихся друг на друга для увеличения авторитетности в глазах поисковых систем и дальнейшей продажи ссылок на третьи ресурсы.
В этом же году Яндекс запустил «Непот-фильтр», обнуляющий (или сводящий к минимуму) вес ссылок с сайтов, которые занимаются их продажей для более быстрого выхода в топ.
2006−2008
Чтобы обойти новые требования поисковых систем, SEO-специалисты стали искать альтернативные способы продвижения. Тогда и появились ссылочные биржи — системы для купли/продажи ссылок на сайты, организованные по принципу товарной биржи. SEO-специалисты закупали ссылки для наращивания ссылочной массы ресурсов, а веб-мастера получали доход от размещения арендных или вечных ссылок на своих площадках. К 2007 году ссылки уже можно было купить, как в магазине, просто выбрав подходящее соотношение цены и качества.
Реакция поисковых систем
В 2008 Яндекс анонсировал фильтр «8 SP1», с которым рождается понятие trust rank (трастовость) сайта — уровень доверия к ресурсу со стороны поисковых систем. При формировании топа стал учитываться возраст сайта и ссылок. По различным данным, из-за этого фильтра в выдаче значительно просело 1,5 миллиарда страниц.
За «8 SP1» последовали фильтры «Магадан» и «Находка», наказывающие за использование неуникального контента и клоакинга — одного из способов «чёрной» оптимизации, при которой информация на одной и той же странице для поисковика и пользователя различается.
2009−2011
В этот период дальновидные владельцы ресурсов уже не просто закупали ссылки, постоянно увеличивая их количество, но и работали над их разнообразием и качеством. Кроме того, веб-мастера не только продолжили оптимизировать тексты, но и начали думать, как угодить пользователям. В результате тексты перестали быть просто набором ключей. Они приобрели структуру и стали полезными для пользователей.
В это время Яндекс начал учитывать регион посетителей, появился классификатор геозависимых и геонезависимых запросов, значительно улучшилась региональная формула подбора ответов (алгоритм «Арзамас»). Также появились поведенческие факторы ранжирования. Это стало своего рода революцией в области продвижения. Владельцы сайтов задумывались над удобством ресурсов, но всё больше грешили накруткой поведенческих факторов. Например, с помощью ботов, которые заходили на страницы сайтов из поиска и совершали определенные действия.
Реакция поисковых систем
Все алгоритмы, которые появлялись с 2009 года, были призваны сместить фокус веб-мастеров на качественное развитие ресурсов.
В 2009 году Яндекс запустил фильтр «АГС 17», направленный на борьбу с некачественными сайтами, использующими, например, автогенерацию контента и создаваемыми в основном для продажи с них ссылок.
В этом же году появился алгоритм «Снежинск», в основе которого — MatrixNet (методы машинного обучения, цель которых — повысить качество выдачи). Число факторов ранжирования увеличилось в разы, результаты стали ещё более релевантными запросам пользователей. Яндекс активно пессимизировал в выдаче сайты с длинными неструктурированными текстами.
Google запустил алгоритм Caffeine, благодаря чему поисковик начал намного чаще индексировать сайты. К 2010 году частые изменения в выдаче стали обычным делом.
В 2011 году Google запустил фильтр Panda, пессимизирующий в выдаче сайты с низкокачественным контентом:
- дорвеи — автоматически сгенерированные ресурсы, предназначенные для получения трафика из поисковых систем по низкочастотным запросам;
- сателлиты — сайты, созданные для раскрутки других ресурсов;
- сайты, содержание которых представляет собой рекламу и ссылки;
- ресурсы с неуникальными текстами.
2012−2015
В 2012 году Яндекс запустил алгоритм «Калининград», учитывающий персональные предпочтения пользователей и предоставляющий быстрый доступ к любимым сайтам. Однако это не значит, что теперь в выдаче только те ресурсы, которые связаны с интересами посетителей, так как есть ещё один фактор — спонтанность. В среднем персональный поиск работает для 75−80% запросов пользователя.
Веб-мастера по-прежнему использовали ссылочные биржи и системы накруток поведенческих показателей, хоть и со значительной аккуратностью. Возросла роль соцсигналов: упоминаний в социальных сетях, лайков, репостов. Особенно благодаря быстрой индексации твиттов и отображению профилей соцсетей в сниппете.
Наблюдалось негативное влияние pop-up элементов на ранжирование в поиске. Пользователям приходилось делать много дополнительных действий, чтобы добраться до интересующего контента: закрывать всплывающую рекламу, окна регистрации, оповещения.
Реакция поисковых систем
В этом же году Google запустил фильтр EMD (*Exact Match Domain), наказывающий за точное вхождение запроса в доменное имя. Чтобы выйти из-под фильтра или избежать его, некоторые веб-мастера даже переезжали на новый домен. Использование ключевых слов в домене все ещё положительно влияло на позиции, но точного вхождения запроса уже быть не должно.
Также для борьбы с накруткой поведенческих факторов Google запустил технологию Page Layout, позволяющую определять структуру страницы и количество полезного контента на экране: чем меньше площадь интересной информации, тем ниже сайт выдаётся в поиске. Затем появился алгоритм Google «Пингвин», призванный бороться с неестественными обратными ссылками. Кроме того, в результаты поиска добавляются профили социальных сетей.
В 2013 году Google запустил алгоритм «Колибри», чтобы лучше понимать запросы пользователей. Теперь, когда человек вводит запрос «в каких местах поесть в москве», поисковая система понимает, что под словом «места» подразумеваются рестораны и кафе.
В 2014 году ужесточились наказания поисковиков не только за некачественную ссылочную массу, но и за накрутку поведенческих показателей и использование агрессивной рекламы. Для успешного продвижения было недостаточно работать с биржами ссылок. Важна золотая середина между количеством ссылок на сайт, структурированным «человеческим» контентом и удобством ресурса.
В 2015 году выдачу Яндекса потряс алгоритм «Минусинск», значительно понизивший в выдаче ресурсы, использующие нетематичные SEO-ссылки. В конце года выдачу также изменил фильтр Яндекса «Кликджекинг», наказывающий сайты с невидимыми элементами, с которыми сам того не подозревая взаимодействует пользователь. Например, хитрые SEO-специалисты размещали невидимую кнопку подписки поверх видео. В результате вместо того, чтобы, например, посмотреть ролик с енотами, пользователь подписывался на рассылку интернет-магазина стройматериалов.
Кроме того, с выходом Google Mobile Friendly большое значение приобрело удобство пользования сайтом с мобильных устройств.
2016−2017
С появлением технологий искусственно интеллекта фильтры и санкции отошли на второй план. За качество выдачи стали отвечать алгоритмы, способные подчас полностью перетрясти топ.
Реакция поисковых систем
В 2016 году Google внедрил систему искусственного интеллекта RankBrain, анализирующую общий смысл контента, а не отдельные слова. В результате выдача по запросам пользователей стала более точной.
В этом же году Яндекс анонсировал алгоритм «Палех», использующий нейронные сети. Такие нововведения были вызваны использованием голосового поиска и ростом количества многословных запросов. Дальновидные SEO-специалисты стали обращать внимание на общую релевантность страницы в целом и «человечность» как контента, так и метатегов. Подсчёт количества вхождений запроса на странице отошёл на второй план.
В 2017 году Яндекс выпустил алгоритм «Баден-Баден», который перетряхнул выдачу и полностью изменил представление SEO-специалистов о переоптимизации страниц. Весомые изменения выдачи и страх попадания под фильтр заставили веб-мастеров и оптимизаторов пересмотреть тексты: исключить неестественные словосочетания и сократить процент точных вхождений.
В августе этого же года Яндекс анонсировал алгоритм «Королёв». Он призван формировать выдачу для многословных запросов на основе семантического анализа всей страницы, а не только её метаданных (как это делал алгоритм «Палех»). Владельцы сайтов всё больше стали интересоваться контент-маркетингом и LSI-копирайтингом (методом написания текстов, в которых главное — информативность, полезность и актуальность для читателя, а не количество ключевых слов).
Алгоритмы и фильтры в наши дни
Развитие алгоритмов и фильтров поисковых систем стимулировало развитие SEO. От манипуляций с количеством ссылок на страницу SEO-специалисты выросли до настоящих профессионалов, работающих с сотнями факторами ранжирования. Сегодня для выхода в топ недостаточно просто жонглировать ключевиками, объёмом текста и ссылками. Необходимо «приручить» пользователя, заслужить его доверие и любовь, заинтересовать контентом и функциональностью сайта.
Поисковики ценят ресурсы, которые нравятся людям и которые удобны для просмотра с современных устройств. Что касается санкций и фильтров, они больше не существуют в той форме, в какой существовали ещё пять лет назад. «Баден-Баден» и «Панда» сегодня являются частью поискового алгоритма. Однако вопрос, что готовят нам алгоритмы будущего, всегда остаётся открытым.