Как показывает практика, красивый дизайн сайта, качественные тексты и партнерские ссылки в самых авторитетных медиа еще не гарантируют успеха в поисковой оптимизации. Поисковый робот — независимый алгоритм, который учитывает только все характеристики веб-ресурса в комплексе. Поэтому если у красивого сайта проблемы с навигацией или редиректом, то он не сможет попасть в ТОП-5.
Чтобы гарантировать эффективное SEO продвижение, перед использованием других инструментов необходимо провести техническую оптимизацию проекта. Такая доработка поможет исправить критические ошибки, сделает сайт удобным и полезным для посетителя. Это, в свою очередь, высоко оценят поисковые алгоритмы Яндекса и Google, определив сайт как релевантный.
Но многие владельцы сайтов считают, что оптимизация технической части проекта — сложная работа, требующая глубокого понимания принципов кода и функционирования поисковых роботов. Постараемся разрушить этот миф, разобрав ключевые направления и инструменты технической доработки веб-ресурса.
Почему важно дорабатывать сайт технически
Техническая оптимизация — один из пяти столпов поискового продвижения, наряду с внешними ссылками, ключевыми запросами, оптимизацией контента и поведенческими факторами. Она затрагивает внутреннюю структуру сайта, его функционирование и частично код. Техническая оптимизация призвана сделать сайт более удобным для пользователя, ускорить его работу.
В общих чертах техническая доработка сайта позволяет устранить следующие проблемы:
- отсутствие перелинковки и некачественные URL;
- неправильное индексирование и взаимодействие с поисковиками;
- поисковые фильтры из-за отсутствия адаптации веб-ресурса и ошибок;
- нерелевантное расположение блоков с контентом и смысловых разделов;
Чаще всего наличие технических ошибок приводит к наложению фильтров поисковых систем. Фильтры — специальные алгоритмы Яндекса и Google, которые понижают сайт в выдаче иногда на 30-50 позиций. В таких условиях невозможно продолжать SEO-продвижение, а устранение фильтров может занять продолжительное время.
Чтобы избежать подобных проблем, проведите техническую оптимизацию до применения других инструментов SEO. Это позволит создать готовую релевантную базу для формирования большого веб-ресурса. Преимущества доработки структуры сайта заключаются в том, что она не нуждается в повторном исполнении.
Если вы не знаете, с чего начать оптимизацию структуры, закажите техническую SEO-аудит вашего сайта. Компания Dvsites поможет выявить основные проблемы каждой страницы и составит подробный отчет о дальнейшей стратегии продвижения.
Основные направления оптимизации
Техническая доработка сайта для поисковиков — обширная сфера, которая имеет множество тонкостей и подструктур. Чтобы полностью проработать это направление необходимо потратить несколько месяцев — доработка будет включать в себя процесс индексирования каждой страницы.
Между тем, существует несколько ключевых направлений, которые должны соблюдаться на каждом сайте, если он стремится попасть на верхние позиции SERP. К этим направлениям относятся:
- оптимизация файла robots.txt;
- редактирование sitemap и создание структуры сайта;
- настройка редиректа с разных доменов и устранение дублей;
- редактирование или изменение внешнего вида URL страницы.
Также к ключевым направлениям можно отнести устранение ошибок на сайте. Например, если вы создали страницу, но при ее загрузке с сервера появляется ошибка 404 или 503. В таком случае конкретная часть или весь сайт вовсе не будут проиндексированы и не попадут в поиск Гугла или Яндекса.
В первую очередь SEO-специалист проводит проверку именно по указанным направлениям. Если все соответствует факторам ранжирования, то оптимизатор переходит к более тонкой и глубокой настройке. Приведенного списка достаточно для корректной работы веб-ресурса и его попадания в SERP, но, если тематика сайта конкурентная, необходимо проводить дополнительную техническую оптимизацию.
Проработка внутренней структуры веб-ресурса требует аккуратности и опыта работы с поисковиками. Но при этом нет необходимости в серьезном погружении в код или работу с API Яндекса и Google. Для понимания принципов технической оптимизации рассмотрим приведенные направления доработки сайта более подробно.
Настройка robots.txt
Оптимизация этого файла во многом связана с процессом индексации страницы. После того как сайт появляется в общем доступе (в сети интернет), каждую его страницу посещает робот. Он индексирует отдельный URL, если тот будет соответствовать параметрам поисковиков. После этого страница ранжируется, а значит ее можно найти по определенному запросу в поиске.
Перед тем как проиндексировать страницу робот загружает файл robots.txt. Он представляет собой обычный текстовый файл, в котором хранятся параметры индексирования сайта для поисковых роботов. Проанализировав этот файл, робот может изменить алгоритм индексирования страницы. Это позволяет не ставить в индексацию ненужные файлы и сделать ранжирования более гибким и выборочным.
Файл robots.txt находится в корневой директиве сайта и определяет содержимое всех страниц. Поисковый робот разных систем неодинаково интерпретируют данные в текстовом файле. При этом в одном файле могут содержаться указания сразу для алгоритмов Яндекса и Гугла.
Рассматривая функционирование поискового робота Яндекса, стоит отметить, что он не будет учитывать файл в трех случаях:
- если его размер превышает 32 Кб;
- если файл robots.txt не существует;
- если робот по какой-либо причине не может получить доступ к файлу.
Если файл не будет учтен, то страница будет индексироваться в свободной форме, «как есть». В общих случаях файл robots.txt нужен для следующих целей оптимизации:
- для указания, к какому роботу относятся параметры из файла;
- чтобы робот не учитывал параметры URL сайта при индексировании;
- указание роботу на файл sitemap для правильного анализа навигации;
- чтобы алгоритм не учитывал внутренние или внешние ссылки на страницу.
При обращении к определенным URL, стоит учесть, что роботы Яндекса и Google не учитывают кириллицу в названии. Чтобы правильно интерпретировать домен нужно конвертировать название страницы или сайта в универсальный Punycode. При грамотном проведении SEO владелец сайта должен вообще отказаться от кириллицы в URL, о чем будет сказано чуть ниже.
Введение некоторых параметров может заставить робота индексировать только нужные страницы, в обход нерелевантных. Современные алгоритмы отслеживают подобные манипуляции и накладывают на сайт дополнительные санкции.
Корректировка sitemap.xml
Поисковый робот в идеале анализирует и индексирует каждую страницу сайта. Но из-за глубокой вложенности, большого количества URL-ов и размещения страниц сайта отдельно алгоритмы может не затрагивать некоторые страницы. Хуже, когда из-за отсутствия навигации страницы ранжируются неправильно или на них накладывается фильтр.
Чтобы не попасть под действие санкций, был создан файл sitemap. Это файл в формате XML или TXT, который содержит ссылки на странице сайта и сообщает о навигации поисковому роботу. Таким образом алгоритмы Яндекса или Google индексируют все страницы веб-ресурса. Выбор формата XML позволит передавать дополнительную информацию, например о видео, изображениях, локализованности или приоритете страницы.
Чтобы робот успешно прочитал sitemap, файл должен иметь следующие характеристики:
- размер не более 50 Мб без сжатия;
- в файле используется кодировка UTF-8;
- при обращении к файлу сервер возвращает код 200;
- ссылки принадлежат одному домену, где располагается файл;
- sitemap должен размещаться в директиве того домена, для которого он создан;
- не более 50 000 ссылок на файл (можно разделять sitemap на несколько файлов).
Редирект или перелинковка
Перенаправление предназначено для того, чтобы пользователь (а также поисковый робот) всегда попадал на нужный сайт. В основном редирект применяется в двух ситуациях:
- когда сайт переезжает на новый домен;
- когда нужно настроить перелинковку на сайт с URL, содержащего домен «www», и наоборот.
Чтобы создать редирект, нужно просто указать соответствующую информацию в файле .htaccess. Если этого не сделать в поиске будут образовываться дубли и сайт рискует попасть под фильтр из-за аффилированности.
Настройка URL
Внешний вид URL — отдельный вид технической оптимизации. Важно, чтобы страницы имели полезное для пользователя название и не содержали запросы. Также необходимо, чтобы слова и фразы на русском переносились по принципу транслитерации. В противном случае страница или весь веб-ресурс могут попасть под фильтры поисковиков.
Каждый сайт страницы должен иметь закрывающийся слэш в конце. Страницы без слэша необходимо перенаправлять на правильный URL с помощью редиректа. Также лучше всего отказаться от использования символов, обозначающих псевдостатические адреса.
Чтобы не настраивать сайт самостоятельно и не искать важные файлы директивы, обратитесь за помощью к профессионалам. Компания Dvsites проведет технический аудит сайта и поможет доработать внутреннюю структуру вашего проекта.