← Все статьи

Что должно быть на сайте при запуске, чтобы его нашли Яндекс и Google: техническая SEO-база

Короткий ответ: к запуску у сайта должны быть открытая для роботов главная версия адреса (https, с www или без — одна, остальные склеены 301-редиректом), файлы robots.txt и sitemap.xml, уникальные title и description на каждой странице, адаптивная и быстрая вёрстка и подтверждённые права в Яндекс Вебмастере и Google Search Console. Остальное — canonical, микроразметка, IndexNow — усиливает эту базу, но не заменяет её. Ниже — по пунктам и со ссылками на официальную документацию (на сентябрь 2026).

Что такое техническая SEO-база и чем она отличается от продвижения?

Техническая SEO-база — это набор настроек, которые позволяют поисковику найти, обойти и правильно понять страницы сайта. Продвижение — это уже работа со спросом: семантика, контент, ссылки. Без базы продвижение буксует, но сама база позиций не гарантирует.

Хорошая новость в том, что база делается один раз при запуске и почти не требует бюджета сверху — если о ней подумали до вёрстки, а не после.

Нужен ли robots.txt и что в нём писать?

Да. robots.txt лежит в корне сайта и говорит роботам, какие разделы обходить не нужно (служебные страницы, корзина, результаты поиска по сайту), и где лежит sitemap.

• По справке Яндекса файл должен лежать в корневом каталоге, отвечать кодом 200 OK и весить не больше 500 КБ.
• Яндекс поддерживает директиву Clean-param — ею отсекают параметры вроде UTM-меток, чтобы одна страница не индексировалась в десятке вариантов адреса.
• Директиву Host для выбора главного зеркала Яндекс больше не использует: её полностью заменил 301-редирект.
• Главное ограничение: по документации Google robots.txt — это не способ убрать страницу из поиска. Для этого нужен noindex, пароль или удаление страницы.

Типичная ошибка при запуске — перенести на боевой домен robots.txt с тестовой копии, где индексация закрыта целиком. Проверяйте это первым делом.

Зачем sitemap.xml, если страниц немного?

Sitemap — это список адресов, которые вы хотите видеть в поиске. Даже на небольшом сайте он ускоряет первый обход и помогает заметить новые страницы.

• В sitemap — только полные абсолютные адреса вида https://example.ru/page/, в кодировке UTF-8.
• Один файл — не больше 50 000 адресов или 50 МБ без сжатия; больше — делят на несколько файлов с индексным sitemap. Так указано в справке Google.
• Путь к sitemap указывают в robots.txt строкой Sitemap и отдельно отправляют в Вебмастер и Search Console.
• В sitemap не должно быть закрытых от индексации, неканонических и перенаправляющих адресов.

Как склеить www, без www, http и https?

Нужно выбрать один главный адрес и настроить на сервере 301-редирект со всех остальных вариантов на него — постранично, а не только с главной.

Для сайта это четыре варианта одного и того же: с http и https, с www и без. Если все четыре открываются, поисковик видит дубли. Решение — постоянный редирект на выбранную версию (как правило, https) и одинаковый вариант адреса во всех внутренних ссылках, canonical и sitemap. Если адрес уже менялся, в Яндекс Вебмастере для этого есть инструмент «Переезд сайта»; по справке Яндекса смена главного адреса занимает от нескольких недель до месяцев.

Что такое canonical и когда он нужен?

Canonical — тег, которым страница указывает свою основную версию, если один и тот же контент доступен по нескольким адресам (фильтры, сортировки, параметры).

Google описывает три сигнала: редирект и rel="canonical" — сильные, попадание адреса в sitemap — слабый, и советует сочетать их. При этом canonical — подсказка, а не приказ: поисковик может выбрать другую версию, если сигналы на сайте противоречат друг другу. Поэтому canonical, редиректы и sitemap должны указывать на одни и те же адреса.

Какими должны быть title и description?

Уникальными для каждой страницы и описывающими именно её содержание. Шаблонный title «Главная» или одинаковый на всех страницах — частая причина слабой видимости молодого сайта.

• По документации Google жёсткого лимита длины у title нет, но в выдаче он обрезается по ширине экрана — главное ставьте в начало.
• Google может показать вместо title другой текст со страницы — например, заголовок h1 или og:title. Чем точнее title совпадает с содержанием и h1, тем реже это происходит.
• Description пишут как короткий ответ на вопрос, с которым человек пришёл: это кандидат в сниппет, хотя поисковик может собрать сниппет и из текста страницы.
• Open Graph (og:title, og:image) в первую очередь отвечает за вид ссылки в мессенджерах и соцсетях, но Google называет og:title среди возможных источников заголовка в выдаче — поэтому его заполняют вместе с мета-тегами и согласуют с title.

Насколько важна скорость и мобильная версия?

Важна: Google прямо пишет, что хорошие показатели Core Web Vitals соответствуют тому, что его основные системы ранжирования стремятся вознаграждать.

Ориентиры Google: LCP (загрузка основного контента) — до 2,5 секунды, INP (отклик на действия) — меньше 200 мс, CLS (сдвиги вёрстки) — меньше 0,1. Проверять можно в PageSpeed Insights и в отчёте Core Web Vitals в Search Console. Практически это значит: сжатые изображения, никаких тяжёлых слайдеров на первом экране, фиксированные размеры картинок и блоков, чтобы вёрстка не прыгала.

Нужна ли микроразметка на старте?

Желательна для ключевых сущностей — организации, контактов, товаров, вопросов и ответов, — но результата она не гарантирует.

По документации Google разметка со всеми обязательными свойствами лишь делает страницу пригодной для расширенного показа. Рекомендуемый формат — JSON-LD, проверка — Rich Results Test.

Что сделать в Яндекс Вебмастере и Search Console в день запуска?

Добавить сайт и подтвердить права, отправить sitemap и проверить, что главная страница отдаёт код 200 и открыта для индексации.

1. Добавить главную версию адреса в Вебмастер и Search Console, подтвердить права.
2. Отправить sitemap в обоих сервисах.
3. Проверить ответ сервера и robots.txt встроенными инструментами.
4. Подключить IndexNow — протокол, которым сайт сам сообщает Яндексу о новых, изменённых и удалённых страницах. Справка Яндекса оговаривает: индексацию он не гарантирует.
5. Через пару недель посмотреть отчёты об индексации и ошибках обхода.

Какие ошибки при запуске чаще всего мешают индексации?

Чаще всего мешают не сложные вещи, а забытые настройки с этапа разработки и дубли адресов.

• Закрытая индексация. Запрет в robots.txt или тег noindex, оставшиеся с тестовой копии.
• Несколько открытых версий адреса. Сайт доступен и по http, и по https, с www и без, со слешем на конце и без — а редиректа нет.
• Одинаковые title и description на всех страницах, потому что их не заполнили в шаблоне.
• Sitemap со старыми адресами или с адресами тестового домена.
• Важный текст только на картинках или внутри слайдера, который подгружается после действий пользователя.
• Тяжёлый первый экран: видео и несжатые фото, из-за которых страница долго загружается на телефоне.

Каждый из этих пунктов проверяется за минуты — в Вебмастере, Search Console и PageSpeed Insights. Их стоит пройти в день запуска и повторить через две-три недели, когда поисковики успеют обойти сайт.

Что из этого входит в тарифы Roboweb?

SEO-база входит в сайты по прайсу, но её состав зависит от тарифа, — ниже дословно по странице цен.

• Лендинг (от 24 000 ₽, 2 дня): «Базовое SEO: title, description, Open Graph, favicon», подключение Яндекс Метрики или Google Analytics, публикация на вашем домене с SSL (https), адаптив.
• Корпоративный сайт (от 56 000 ₽, 3–4 дня): «SEO-база: мета-теги, заголовки, ЧПУ-ссылки, sitemap, robots», метрика; на странице услуги также указаны семантика, микроразметка Schema.org, скорость и адаптив.
• Не входит: наполнение блога статьями на постоянной основе для SEO-продвижения — это отдельная работа.

Подключение IndexNow и добавление сайта в Вебмастер и Search Console отдельной строкой в прайсе не указаны — если это нужно, фиксируем в ТЗ на брифе. Почему сайт на шаблоне бывает сложнее довести до этой базы, разобрали в статье о шаблонных сайтах.

Короткие ответы на частые вопросы

Что обязательно сделать для SEO перед запуском сайта?

Открыть сайт для индексации, выложить robots.txt и sitemap.xml, настроить один главный адрес (https, с www или без) с 301-редиректами с остальных, прописать уникальные title и description и добавить сайт в Яндекс Вебмастер и Google Search Console.

Можно ли скрыть страницу из поиска через robots.txt?

Нет, по документации Google robots.txt управляет обходом, а не показом в поиске: заблокированная страница может попасть в выдачу, если на неё ссылаются. Чтобы убрать страницу из поиска, используют noindex, пароль или удаление страницы.

Что такое IndexNow и нужен ли он?

Это протокол, которым сайт сам сообщает поисковой системе о новых, изменённых и удалённых страницах; Яндекс его поддерживает. Он ускоряет обход, но, как прямо пишет справка Яндекса, не гарантирует индексацию.

Гарантирует ли микроразметка расширенный сниппет?

Нет. По документации Google разметка со всеми обязательными свойствами делает страницу лишь пригодной для расширенного показа, но не гарантирует его.

Техническая SEO-база и SEO-продвижение — это одно и то же?

Нет. SEO-база — это настройки, без которых сайт хуже индексируется; продвижение — постоянная работа с контентом и спросом. В тарифах Roboweb SEO-база входит в сайты, а регулярное наполнение блога для продвижения — отдельная работа.

Услуги и кейсы по теме: лендинги · корпоративные сайты · интернет-магазины