Как оптимизировать бюджет сканирования Google для SEO

1. Что такое бюджет сканирования и что он означает для цифровых маркетологов?
2. Подробнее о пределе скорости сканирования
3. Подробнее о требовании сканирования
4. Оптимизация бюджета сканирования
5. Вот пять способов оптимизировать бюджет сканирования сегодня:
6. 1. Ускорьте свой сайт
7. 2. Уменьшить количество ошибок на сайте
8. 3. Заблокируйте части вашего сайта
9. 4. Очистите ваши перенаправления
10. 5. Держите ваш контент свежим

За последние несколько лет мы получали от клиентов все больше и больше вопросов относительно их бюджета сканирования. Вопросы варьировались от базового «Что такое бюджет на сканирование?» До «Как вы максимизируете наш бюджет на сканирование?» До «Должны ли мы купить продукт x, чтобы отслеживать наш бюджет на сканирование?» Это не просто тенденция для наших клиентов; Из приведенной ниже диаграммы видно, что количество запросов в США по термину «бюджет сканирования» постоянно увеличивается.


Поиски в Google термина «бюджет сканирования» с 2015 года. Источник: Google Trends.

Несмотря на эту недавнюю тенденцию, концепция бюджета обхода не нова. Бывший глава Google по веб-спаму Мэтт Каттс дал интервью на эту тему еще в 2010 году. В то время он соотносил бюджет сканирования как пропорциональный PageRank веб-сайта. Хотя PageRank больше не несет того значения, к которому он привык, предположение о том, что лучший контент на самых авторитетных сайтах чаще всего сканируется все-таки реальность. Это имеет смысл в концепции, но что может сделать цифровой маркетолог, чтобы оптимизировать бюджет сканирования?

Прежде чем мы углубимся в это, давайте более четко определим, что означает «бюджет сканирования».

Что такое бюджет сканирования и что он означает для цифровых маркетологов?

Google говорит, что бюджет сканирования вашего сайта состоит из двух конкретных переменных: спроса и скорости сканирования . Они также повторяют, что крупные сайты с большим количеством страниц и продуктов должны быть в наибольшей степени заинтересованы в максимизации своего бюджета сканирования.

По словам Гэри Иллиса, аналитика тенденций в Google Webmaster: «Приоритет того, что сканировать, когда и сколько ресурсов сервер, на котором размещается сайт, можно выделить для сканирования, важнее для крупных сайтов или тех, которые автоматически генерируют страницы на основе параметров URL «.

Итак, на высшем уровне:

• Ограничение скорости сканирования предназначено для того, чтобы Google не сканировал ваши страницы слишком быстро и слишком быстро до такой степени, что это снижает производительность вашего сервера.
• Потребность в сканировании - это то, сколько Google хочет сканировать ваши страницы. Это зависит от того, насколько популярны ваши страницы и насколько устаревшим является содержание в индексе Google.
• Бюджет сканирования - это «объединение скорости сканирования и спроса на сканирование». Google определяет бюджет сканирования как «количество URL-адресов, которые робот Googlebot может и хочет сканировать».

Подробнее о пределе скорости сканирования

Google хочет быть хорошим гражданином сети. Сканирование и индексация высококачественного контента, который может соответствовать намерениям пользователя, является их главным приоритетом. Они должны делать это, при этом следя за тем, чтобы их усилия по сканированию не ухудшали впечатления пользователей, посещающих эти сайты. Google называет это «пределом скорости сканирования», который ограничивает максимальную скорость выборки для данного сайта.

Проще говоря, это число одновременных параллельных подключений, которые Googlebot может использовать для сканирования сайта, а также время ожидания между выборками. Скорость сканирования может увеличиваться и уменьшаться в зависимости от нескольких факторов:

Состояние сканирования: если сайт постоянно реагирует очень быстро, ограничение увеличивается, а это означает, что для сканирования может использоваться больше соединений. Если сайт замедляется или отвечает ошибками сервера, ограничение уменьшается, и робот Googlebot сканирует меньше.
В консоли поиска маркетологи могут вручную уменьшить лимит сканирования роботом Googlebot для своего веб-сайта. Но важно отметить, что установка более высоких лимитов не увеличивает скорость сканирования автоматически.

Скорость сканирования по данным Google Search Console

Подробнее о требовании сканирования

Даже если ограничение скорости сканирования не достигнуто, если нет спроса на индексацию, активность робота Googlebot будет низкой. Два фактора, которые играют важную роль в определении вашего спроса на сканирование:

• Популярность: URL-адреса, которые пользуются большей популярностью в Интернете, как правило, сканируются чаще, чтобы поддерживать их актуальность в индексе Google.
• Стабильность: системы Google пытаются предотвратить устаревание URL-адресов в индексе.
• События всего сайта, такие как миграция сайтов, могут временно вызвать увеличение спроса на сканирование, чтобы повторно проиндексировать контент по новым URL-адресам.

Как указывалось ранее, объединяя частоту сканирования и спрос на сканирование, мы можем определить бюджет сканирования как количество URL-адресов, которые робот Googlebot может и хочет сканировать.

Оптимизация бюджета сканирования

Интернет действительно большое место, и новый контент создается постоянно. Google имеет ограниченное количество ресурсов, поэтому, сталкиваясь с почти бесконечным количеством контента, доступного в Интернете, робот Googlebot может только находить и сканировать процент существующего контента. Итак, что вы можете сделать, чтобы увеличить бюджет сканирования и обеспечить максимальный бюджет сканирования, чтобы нужные страницы сканировались часто?

Вот пять способов оптимизировать бюджет сканирования сегодня:

1. Ускорьте свой сайт

Вы уже знаете, что скорость сайта имеет решающее значение для SEO, особенно если учесть рост мобильного поиска и более высокие ожидания от ваших клиентов. Скорость также важна для вашего бюджета сканирования.

Имеет смысл, что если ваш сайт работает быстрее и в целом работает лучше, он сможет обрабатывать больше запросов от робота Googlebot и пользователей одновременно. Это позволяет Google увеличить скорость сканирования вашего сайта без высокого риска для пользователей ваших клиентов. Особенно важно здесь Время до первого байта (TTFB).

TTFB - время, потраченное на ожидание первоначального ответа сервера. Это время отражает задержку прохождения сигнала в оба конца на сервер в дополнение к времени, потраченному на ожидание доставки ответа сервером.
Убедитесь, что вы даете Google сигнал о том, что у вас есть возможности сервера для обработки дополнительных запросов на сканирование.

2. Уменьшить количество ошибок на сайте

Это еще один большой. Мы уже заявляли, что у Google ограниченные ресурсы, и ему необходимо сканировать и индексировать практически бесконечное количество контента. Это означает, что эффективность имеет решающее значение. Время и ресурсы, которые они выделили роботу Google, должны обеспечить максимально возможное количество просканированных страниц. Поэтому все, что замедляет работу робота Googlebot, например ошибки веб-сайта, отрицательно скажется на вашем требовании к сканированию.

Распространенные ошибки веб-сайта включают в себя ошибки «страница не найдена» (404 ошибки), ошибки сервера (500 ошибок) и дублированный контент. Вы можете использовать отчеты в консоли поиска Google или с помощью таких комплексных инструментов, как BrightEdge провести анализ вашего сайта. Найдите эти ошибки и исправьте их.

Отличным местом для начала является анализ карты вашего сайта. Это список страниц, которые вы предварительно просите Google сканировать и индексировать. Есть ли ошибки на любой из этих страниц? Многочисленные ошибки на карте сайта - это быстрый способ заставить Google отказаться от сканирования. Мы наблюдали более чем 100-процентное увеличение числа просканированных страниц, просто удалив 404 ошибки из карт сайта.
Дублированный контент - еще одна большая проблема. Убедитесь, что каждая страница на вашем сайте предлагает уникальный и конкретный контент, отвечающий целям ваших клиентов. Если у вас есть страницы с очень похожим содержанием, нужны ли они оба? Вы можете удалить один? Кроме того, убедитесь, что вы используете канонические теги в своем коде и даете Google знать, какую конкретную страницу следует считать авторитетной, если нельзя избежать дублирования контента.

3. Заблокируйте части вашего сайта

Другой способ обеспечить эффективное использование бюджета обхода - убедиться, что робот Googlebot не сканирует страницы сайта, которые вы не хотите индексировать. Используйте файл Robots.txt, чтобы запретить Google сканировать административные разделы вашего сайта или области, которые закрыты и требуют входа пользователя. Это позволит избежать ошибки сервера при попытке сканирования этих страниц, а также позволит сосредоточить ваш бюджет сканирования на страницах, которые вы хотите видеть.

4. Очистите ваши перенаправления

Это ошибка, которую мы видим постоянно, особенно с веб-сайтами, которые уже давно работают или были перенесены с HTTP на HTTPS. Перенаправление 301 - это отличный инструмент, позволяющий Google знать, что страница перемещена в новое место. Используя эту технику, вы можете перенести часть авторитета, полученного на предыдущей странице, на новую. Сложность заключается в том, что страница перенаправляется несколько раз перед приземлением на текущую страницу. Давайте посмотрим на пример:

http://www.domain.com/page-1> http://www.domain.com/page-2>; https: www.domain.com/page-2

В приведенном выше примере вы можете видеть, что страница 1 на сайте HTTP переместилась на страницу 2. Позже компания запустила HTTPS (безопасную) версию сайта. Вместо того, чтобы обновлять свое первоначальное перенаправление, чтобы перейти прямо к новой версии HTTPS на странице 2, они все еще перенаправляют на версию HTTP на странице 2, а затем перенаправляют эту страницу на версию HTTPS на странице 2. Таким образом, вы рискуете отказаться от Google. сканирование или, в лучшем случае, вы ослабили полномочия, передаваемые новой странице. Просто не делай этого. Мы видели сайты с дюжиной или более переадресаций, соединенных вместе для одной страницы.

5. Держите ваш контент свежим

Хотя большая часть процесса оптимизации бюджета сканирования направлена ​​на повышение скорости сканирования, вы также можете увеличить свою потребность в сканировании. Обновите существующий контент по заданному расписанию, чтобы показать Google, что этот контент не является статичным, и на самом деле его следует часто сканировать. Это можно сделать, запустив ежемесячный отчет о самых популярных целевых страницах и убедившись, что контент по-прежнему актуален и актуален для вашей аудитории. Вы можете искать способы расширить и / или улучшить этот контент. Вы также можете продвигать этот контент в социальных сетях или создать официальную программу по созданию ссылок для получения более качественных ссылок на определенную страницу. Это все сигналы о том, что ваш сайт имеет высокий спрос на сканирование.

Мы хотим повторить, что оптимизация бюджета обхода не произойдет в одночасье и не должна рассматриваться как разовый проект. Эти усилия должны быть частью вашей общей стратегии SEO и включаться в ваши ежедневные / еженедельные / ежемесячные усилия. Отличное место для начала - это включить данные о вашем бюджете сканирования в свою панель инструментов SEO и ежемесячно просматривать их с вашей командой. Таким образом, вы гарантируете, что это постоянный фокус.

Хотите узнать больше о бюджете сканирования? Смотреть этот вебинар организованный BrightEdge с участием нашего вице-президента по эффективному маркетингу Чэда Халлерта!

Похожие

Комментарии