Все о технической оптимизации сайта

Все об оптимизации сайтов

Как показывает практика, красивый дизайн сайта, качественные тексты и партнерские ссылки в самых авторитетных медиа еще не гарантируют успеха в поисковой оптимизации. Поисковый робот — независимый алгоритм, который учитывает только все характеристики веб-ресурса в комплексе. Поэтому если у красивого сайта проблемы с навигацией или редиректом, то он не сможет попасть в ТОП-5.

Чтобы гарантировать эффективное SEO продвижение, перед использованием других инструментов необходимо провести техническую оптимизацию проекта. Такая доработка поможет исправить критические ошибки, сделает сайт удобным и полезным для посетителя. Это, в свою очередь, высоко оценят поисковые алгоритмы Яндекса и Google, определив сайт как релевантный.

Но многие владельцы сайтов считают, что оптимизация технической части проекта — сложная работа, требующая глубокого понимания принципов кода и функционирования поисковых роботов. Постараемся разрушить этот миф, разобрав ключевые направления и инструменты технической доработки веб-ресурса.

Почему важно дорабатывать сайт технически

Техническая оптимизация — один из пяти столпов поискового продвижения, наряду с внешними ссылками, ключевыми запросами, оптимизацией контента и поведенческими факторами. Она затрагивает внутреннюю структуру сайта, его функционирование и частично код. Техническая оптимизация призвана сделать сайт более удобным для пользователя, ускорить его работу.

В общих чертах техническая доработка сайта позволяет устранить следующие проблемы:

  • отсутствие перелинковки и некачественные URL;
  • неправильное индексирование и взаимодействие с поисковиками;
  • поисковые фильтры из-за отсутствия адаптации веб-ресурса и ошибок;
  • нерелевантное расположение блоков с контентом и смысловых разделов;

Чаще всего наличие технических ошибок приводит к наложению фильтров поисковых систем. Фильтры — специальные алгоритмы Яндекса и Google, которые понижают сайт в выдаче иногда на 30-50 позиций. В таких условиях невозможно продолжать SEO-продвижение, а устранение фильтров может занять продолжительное время.

Чтобы избежать подобных проблем, проведите техническую оптимизацию до применения других инструментов SEO. Это позволит создать готовую релевантную базу для формирования большого веб-ресурса. Преимущества доработки структуры сайта заключаются в том, что она не нуждается в повторном исполнении.

Если вы не знаете, с чего начать оптимизацию структуры, закажите техническую SEO-аудит вашего сайта. Компания Dvsites поможет выявить основные проблемы каждой страницы и составит подробный отчет о дальнейшей стратегии продвижения.

Основные направления оптимизации

Техническая доработка сайта для поисковиков — обширная сфера, которая имеет множество тонкостей и подструктур. Чтобы полностью проработать это направление необходимо потратить несколько месяцев — доработка будет включать в себя процесс индексирования каждой страницы.

Между тем, существует несколько ключевых направлений, которые должны соблюдаться на каждом сайте, если он стремится попасть на верхние позиции SERP. К этим направлениям относятся:

  • оптимизация файла robots.txt;
  • редактирование sitemap и создание структуры сайта;
  • настройка редиректа с разных доменов и устранение дублей;
  • редактирование или изменение внешнего вида URL страницы.

Также к ключевым направлениям можно отнести устранение ошибок на сайте. Например, если вы создали страницу, но при ее загрузке с сервера появляется ошибка 404 или 503. В таком случае конкретная часть или весь сайт вовсе не будут проиндексированы и не попадут в поиск Гугла или Яндекса.

В первую очередь SEO-специалист проводит проверку именно по указанным направлениям. Если все соответствует факторам ранжирования, то оптимизатор переходит к более тонкой и глубокой настройке. Приведенного списка достаточно для корректной работы веб-ресурса и его попадания в SERP, но, если тематика сайта конкурентная, необходимо проводить дополнительную техническую оптимизацию.

Проработка внутренней структуры веб-ресурса требует аккуратности и опыта работы с поисковиками. Но при этом нет необходимости в серьезном погружении в код или работу с API Яндекса и Google. Для понимания принципов технической оптимизации рассмотрим приведенные направления доработки сайта более подробно.

Настройка robots.txt

Оптимизация этого файла во многом связана с процессом индексации страницы. После того как сайт появляется в общем доступе (в сети интернет), каждую его страницу посещает робот. Он индексирует отдельный URL, если тот будет соответствовать параметрам поисковиков. После этого страница ранжируется, а значит ее можно найти по определенному запросу в поиске.

Перед тем как проиндексировать страницу робот загружает файл robots.txt. Он представляет собой обычный текстовый файл, в котором хранятся параметры индексирования сайта для поисковых роботов. Проанализировав этот файл, робот может изменить алгоритм индексирования страницы. Это позволяет не ставить в индексацию ненужные файлы и сделать ранжирования более гибким и выборочным.

Файл robots.txt находится в корневой директиве сайта и определяет содержимое всех страниц. Поисковый робот разных систем неодинаково интерпретируют данные в текстовом файле. При этом в одном файле могут содержаться указания сразу для алгоритмов Яндекса и Гугла.

Рассматривая функционирование поискового робота Яндекса, стоит отметить, что он не будет учитывать файл в трех случаях:

  • если его размер превышает 32 Кб;
  • если файл robots.txt не существует;
  • если робот по какой-либо причине не может получить доступ к файлу.

Если файл не будет учтен, то страница будет индексироваться в свободной форме, «как есть». В общих случаях файл robots.txt нужен для следующих целей оптимизации:

  • для указания, к какому роботу относятся параметры из файла;
  • чтобы робот не учитывал параметры URL сайта при индексировании;
  • указание роботу на файл sitemap для правильного анализа навигации;
  • чтобы алгоритм не учитывал внутренние или внешние ссылки на страницу.

При обращении к определенным URL, стоит учесть, что роботы Яндекса и Google не учитывают кириллицу в названии. Чтобы правильно интерпретировать домен нужно конвертировать название страницы или сайта в универсальный Punycode. При грамотном проведении SEO владелец сайта должен вообще отказаться от кириллицы в URL, о чем будет сказано чуть ниже.

Введение некоторых параметров может заставить робота индексировать только нужные страницы, в обход нерелевантных. Современные алгоритмы отслеживают подобные манипуляции и накладывают на сайт дополнительные санкции.

Как оптимизировать сайты технически

Корректировка sitemap.xml

Поисковый робот в идеале анализирует и индексирует каждую страницу сайта. Но из-за глубокой вложенности, большого количества URL-ов и размещения страниц сайта отдельно алгоритмы может не затрагивать некоторые страницы. Хуже, когда из-за отсутствия навигации страницы ранжируются неправильно или на них накладывается фильтр.

Чтобы не попасть под действие санкций, был создан файл sitemap. Это файл в формате XML или TXT, который содержит ссылки на странице сайта и сообщает о навигации поисковому роботу. Таким образом алгоритмы Яндекса или Google индексируют все страницы веб-ресурса. Выбор формата XML позволит передавать дополнительную информацию, например о видео, изображениях, локализованности или приоритете страницы.

Чтобы робот успешно прочитал sitemap, файл должен иметь следующие характеристики:

  • размер не более 50 Мб без сжатия;
  • в файле используется кодировка UTF-8;
  • при обращении к файлу сервер возвращает код 200;
  • ссылки принадлежат одному домену, где располагается файл;
  • sitemap должен размещаться в директиве того домена, для которого он создан;
  • не более 50 000 ссылок на файл (можно разделять sitemap на несколько файлов).

Редирект или перелинковка

Перенаправление предназначено для того, чтобы пользователь (а также поисковый робот) всегда попадал на нужный сайт. В основном редирект применяется в двух ситуациях:

  • когда сайт переезжает на новый домен;
  • когда нужно настроить перелинковку на сайт с URL, содержащего домен «www», и наоборот.

Чтобы создать редирект, нужно просто указать соответствующую информацию в файле .htaccess. Если этого не сделать в поиске будут образовываться дубли и сайт рискует попасть под фильтр из-за аффилированности.

Настройка URL

Внешний вид URL — отдельный вид технической оптимизации. Важно, чтобы страницы имели полезное для пользователя название и не содержали запросы. Также необходимо, чтобы слова и фразы на русском переносились по принципу транслитерации. В противном случае страница или весь веб-ресурс могут попасть под фильтры поисковиков.

Каждый сайт страницы должен иметь закрывающийся слэш в конце. Страницы без слэша необходимо перенаправлять на правильный URL с помощью редиректа. Также лучше всего отказаться от использования символов, обозначающих псевдостатические адреса.

Чтобы не настраивать сайт самостоятельно и не искать важные файлы директивы, обратитесь за помощью к профессионалам. Компания Dvsites проведет технический аудит сайта и поможет доработать внутреннюю структуру вашего проекта.