Процесс визуализации: обновление алгоритмов поискового краулера

Поисковая система Google внесла существенные изменения в алгоритмы сканирования краулера (так называемого Googlebot). Внедренные обновления тесно связаны с работой браузеров и таким процессом, как рендеринг – визуализация страниц по установленному алгоритму. До момента внедрения обновлений поисковый краулер работал на устаревшей версии Chromium-41. 

Читать позже

Предполагается, что процесс отображения страниц для Googlebot уже происходит вместе с последней интерпретацией движка рендеринга (на данный момент – 74). Для владельцев сайтов такие изменения предвещают, пересмотр взгляда на происходящее со страницами проекта. Теперь краулер охватывает любые записи в документе и выражает к ним свое отношение ранжированием сайта вообще. Мы не первые, кто взялся за освещение темы и сразу хотим ответить скептикам: да, ранее сканирование страниц происходило иначе.

Изменений много, функционал последней версии Chromium насчитывает более 1000 нововведений. Но прежде, чем перейти к их рассмотрению, необходимо подробнее ознакомиться с принципами рендеринга или того, как вообще набор символов в HTML превращается в страницы интернета.

Процесс визуализации: зачем его оптимизировать?

Перефразируем вопрос, заданный в подзаголовке. Зачем вообще знать о рендеринге? Специалистам понимание того, как мобильные или десктопные браузеры подгружают страницы, поможет оптимизировать проект с целью ускорения его отображения и дальнейшей работы. Владельцы сайтов, изучив материалы о принципах загрузки сайтов, станут корректнее и точнее выражать пожелания относительно услуг по улучшению качества проекта.

Когда разработчики создают проект, им периодически надо смотреть, как страница выглядит в различных форматах при загрузке. Но пока еще не придумали идеальный тренажер, который имитирует работу браузера (тем более разных аналогов). В результате оптимизаторы знают лишь приблизительно, как стили, скрипты, прочие рабочие элементы преобразуются в итоговую страницу интернета.

Цель оптимизаторов, используя знания о рендеринге (визуализации), разместить объекты страницы так, чтобы они загружались в порядке приоритетности для пользователей. Более значимые элементы должны появляться первыми, чтобы посетитель точно знал: ему есть что ожидать. Акцентируемся на этом моменте. Оптимизированная под загрузку в браузере страница имеет более высокую юзабилити. Как следствие, документ быстрее индексируется и лучше ранжируется.

Дополнительно, есть маленькие хитрости, которые позволяют манипулировать загрузкой в интересах сайта. Например, эффективно влиять на счетчики Гугл и Яндекс. На изображении ниже представлены примеры страницы оптимизированной под процесс визуализации и нет.

Дополнительным бонусом для оптимизаторов, владеющих секретами рендеринга, считается возможность настройки приложений для скоростной загрузки.

Как преобразуются HTML и CSS коды: прорисовка на экране

Алгоритм отображения страницы браузером начинается с создания двух независимых моделей DOM и CSSOM. Процесс подобен преобразованию одного вида энергии в другой. Подготовленные коды HTML и CSS не воспринимаются браузерами идентично во всех случаях. Но общие принципы интеграции между системами соблюдаются. Понять их поможет рисунок ниже:

Создание DOM и CSSOM моделей обязательно для каждой пары: сайт – браузер. Цель оптимизаторов - облегчить процесс формирования своеобразного DOM-дерева и получения таблицы стилей (CSSOM). Для этого предоставляют легкий доступ к уже указанным кодам страниц. То, как быстро сформируются нужные модели, повлияет на скорость загрузки всего документа. Дополнительно по этой теме проводились исследования: влияние различных параметров на скорость, например, наличие семантики в коде или объем объектов, попадающих в DOM. Соответственно, кроме доступа к кодам потребуется их корректное заполнение. Время создания DOM отслеживают через панель инструментов для разработчиков, используя функционал Timeline.

Упростить понимание процесса преобразования HTML-кода в Модель DOM поможет рассмотрение простейшего случая. Веб-страница отвечает таким требованиям:

  • наличие текста;
  • отсутствие форматирования;
  • добавление одной картинки.

Обработка такой страницы происходит по следующей схеме:

Процесс преобразования байтов в символы и далее по схеме, приведенной в левой части картинки, выполняется каждый раз при обработке HTML-кода. Длительность процедуры зависит от числа объектов (или узлов), входящих в структуру разметки.

Модель DOM готова, что дальше?

При создании дерева визуализации участвуют обработанные данные не только из HTML-кода. На стадии формирования DOM браузер получает доступ к таблице стилей (style.css).

Обнаруженный объект требуется для создания визуализации, поэтому отправляется запрос к источнику информации (серверу). В ответ приходит код, как на картинке выше. Наличие потребности в модели CSS и знании о текущем выборе пользователей, влияют на формирование дерева визуализации (Render Tree). Этот факт объясняет отсутствие идентичности между двумя очень схожими моделями (DOM и Render Tree).

Информация в CSSOM модели строится поэтапно: от правил браузера, применяемых по умолчанию, до стилей, используемых в атрибутах HTML-тегов (см. рисунок).

Схема обработки данных страницы содержит образец CSS-селектора – BodyBody - тегМетатег или Meta-tag - html-тег, применяемый для передачи важнейших структурированных данных о веб-страничке. Они указываются преимущественно в верхней части файла.…Перейти к словарю терминов HTML-верстки, который в переводе с английского означает "тело" документа. Тут заключается основной контент веб-страницы, который предлагаетсяПерейти к словарю терминов . Теги внутри него определяют свойства объектов, которыми элементы обладают при появлении на экране. При усложнении примера селектор <body> может иметь несколько тегов внутри. Каждый будет определять иные правила для появления элементов на странице.

Исходя из сказанного и приведенной выше схемы, получают символическую формулу для времени визуализации страницы (Т-отрисовки): 

где:

  • V – объем;
  • N – числовое значение;
  • D – сложность;
  • Т – время.

CSS-код иногда содержит расширения непонятные браузеру, например, -moz, -webkit. Оптимизаторы прячут блочный элемент <div>, выполняющий выделение <head>, <title> и прочие с помощью команды display: none. Но в такой ситуации теги, к которым применено действие, а также вложенные в них элементы, останутся невидимыми при визуализации. Ситуация распространяется на все аналогичные объекты кода.

Каждая строка <р>, заключенная в тег BodyBody - тегМетатег или Meta-tag - html-тег, применяемый для передачи важнейших структурированных данных о веб-страничке. Они указываются преимущественно в верхней части файла.…Перейти к словарю терминов HTML-верстки, который в переводе с английского означает "тело" документа. Тут заключается основной контент веб-страницы, который предлагаетсяПерейти к словарю терминов , требует создания отдельного места для визуализации, чаще называемого узел. Тогда анонсированное древо состоит из кадров или блоков, соответственно frame/box. Элементы, заключенные в этих объектах, обладают присвоенными свойствами: шириной, высотой, величиной отступа от краев страницы. На inline объекты, прописанные непосредственно в коде, также распространяются правила, хотя бы установленные браузером по умолчанию. Поэтому они аналогично представляются на древе визуализации отдельными блоками. Когда формирование модели успешно завершается, документ прорисовывается на экране.

Подробнее о получении модели визуализации и появлении страницы на экране

Модель CSSOM создается, когда места между объектами страницы распределены для вывода на экране. То есть, после формирования DOM браузер знает, где располагаются определенные элементы, но еще не идентифицировал их стили. С целью визуального распознавания объектов и создается модель CSSOM, описывающая размеры картинок, шрифтов, их величины.

Поскольку мы преследуем цель ознакомительного, но не обучающего характера, максимально упростим процесс визуализации (опуская некоторые профессиональные подробности).

Модель визуализации сопоставляет видимые элементы из DOM и наборы стилей в CSS. Объекты для вывода на экран получают значения, указанные селекторами. Типы элементов, игнорируемые браузером (невидимые):

В рамках макета, описывающего расположение и размер каждого объекта, браузер инициирует повторное сканирование страницы. Анализу подвергаются геометрические контуры объектов. Они также задаются с помощью тегов и текстов внутри них. Получаются блоки, имеющие не только точные размеры, но также пространственные «координаты» на общем макете страницы. Визуально это выглядит, как на первом изображении статьи (оптимизированная под работу браузеров страница). Страница загружается блоками, оптимизаторы контролируют последовательность их появления на экране.

С помощью инструментов для разработчиков, а точнее Timeline, узнают времена для создания каждой из моделей. Далее вносят изменения, которые оптимизируют временные затраты.

Вернемся к обновлениям Google

Поисковый краулер имеет собственный движок рендеринга (визуализации или отрисовки). Долгое время инструмент не обновлялся. Фактически, это может означать следующее: сайты с лучшей оптимизацией недооценивались поисковой системой. Быстро загружающие и на самом деле удобные проекты не могли быть распознанными краулерами из-за собственного ограниченного функционала. Некоторые специалисты видят в этом факте причины псевдо эффективности поисковой оптимизации, достигнутой за счет улучшения текстовой составляющей и исключительно удачно подобранной семантики.

Сегодня разработчики говорят о новых перспективах. В Chromium 75 появятся функции, допускающие использование ленивой загрузки посредством атрибута loading. Что это значит? Владельцев сайтов избавят от необходимости загружать некоторые «тяжелые» объекты (аудио и видео) сразу со всей страницей. Документ, например, ролик добавится в плеер онлайн только по специальному клику пользователя.

Но главное, для посетителей страницы сохранят прежний вид, как они были видны через различные браузеры. Однако поисковый краулер получит иное представление о визуализации проекта, нежели имелось до внедрения обновленной версии алгоритмов визуализации.

Google наконец-то учел общий тренд: все больше страниц создаются при помощи JavaScript Факт подтверждается графиком, выводящим данные за 9 лет.

Какие обновления произошли?

Из всей 1000 изменений есть наиболее значимые. Далее о них.

  • Появление поддержки веб-компонентов.
  • Открытие доступа к поисковой оптимизации для объектов ленивой загрузки.
  • Получение возможности индексировать СРА-сайты (одностраничные веб-приложения).

Перечисленные инструменты/элементы уже существовали и работали в сети, но не получали должного отношения со стороны поисковой системы. Таким образом, пользователи наслаждались удобствами+ тогда, как сайт недополучил баллов в рейтинге.

Ограничения особенно ощутимы были для проектов, использующих web components. Сейчас не будем углубляться в разбор понятия «веб компонентов». Достаточно знать, что это элементы, отвечающие такому описанию:

  • многократно используемые объекты в масштабах проекта (например, кнопки «перейти» или «купить»);
  • стиль, дизайн и расположение этих элементов подчиняется каким-то общим правилам не только для сайта, но и его дочерних приложений, страниц, сервисов;
  • формирование происходит при помощи JavaScript APIAPI - совокупность компонентов, которые предлагаются сервисом или приложением для создания внешних программных элементов. Чем же ониПерейти к словарю терминов (формы ввода/вывода каталогов, галерей, прочего, в том числе стандарты для навигации);
  • ранее для их использования требовалось создание отдельной библиотеки стилей, в современной интерпретации это не нужно.

В условиях борьбы за сокращение числа элементов модели DOM – веб компоненты считаются лучшим из альтернативных решений. До обновления в алгоритмах Гугл некоторые сайты, достигшие максимальных скоростей загрузки, могли ощущать одобрение системы. Но тут же наказывались, поскольку объекты (например, кнопки «купить») не учитывались при сканировании страниц поисковыми краулерами. Оптимизаторам приходилось лавировать между существующими ограничениями и предпочтениями пользователей.

Аналогично, ленивая загрузка или IntersectionObserver for lazy-loading существовала и использовалась до внедрения обсуждаемых обновлений Гугл. Данный функционал также способствует ускорению загрузки страниц, но только там, где он поддерживается браузером. Соответственно обычный пользователь получил искомый продукт (загрузку нужной страницы) быстро. Но с позиций поискового бота загрузка видео или аудио выглядела долгой или отсутствовала вовсе.

Поддержка ленивой загрузки распространяется на любые изображения, визуализируемые на странице. Понять, зачем вообще использовать этот функционал, поможет картинка ниже.

Краткое резюме по обновлениям Гугл, связанным с изображениями. Краулер Googlebot находит на странице все оригинальные файлы картинок, видео, прочего, в том числе, загружающиеся принудительно (то есть не сразу). Для желающих получать трафик от изображений открываются дополнительные возможности.

Поддержка ECMAScript 6 (ES6) касается обновленного функционала JavaScript. Обозначенная технология ES6 способствует созданию single page application или так называемых SPA сайтов, главная их особенность – наличие единственной страницы приложения. Документ обладает следующими свойствами:

  • визуализируемые по умолчанию элементы загружаются единожды;
  • остальные объекты появляются только по требованию.

Проще говоря на одном шаблоне работают все страницы сайта. Полезный тип веб проектов, а точнее приложения, хорошо подходит для мобильных устройств. Считается, что за CPA-технологиями будущее интернета.

Кое-что сохранилось без изменений

Процесс сканирования страниц происходит в два этапа, как и ранее. Сложность и объем скриптов, употребленных при создании документа, влияют на скорость индексации. Понять почему так происходит, поможет схема ниже, а также упомянутая ранее формула для времени визуализации или Т-отрисовки и приведшие к ней рассуждения.

Martin Splitt @ в своем Твите поделился впечатлениями от произошедших изменений. В таблице собраны наиболее важные для оптимизаторов параметры.

Для желающих ознакомиться с более детальной информацией сравнительная таблица изменений в Googlebot ниже.

Осталось несколько вопросов

В поисковой системе действует алгоритм приоритетности mobile-first index. Поэтому многих оптимизаторов уже сейчас интересует, как распространяются обновления Гугл на мобильные версии и приложения. Информация особенно важна для тех, кто работает в сервисе тестирования Google Mobile Friendly Test. О внедрениях новых алгоритмов стало известно только в мае 2019. Поэтому функционал улучшенного Googlebot работает пока не для всех ресурсов. Некоторые даже отмечают фактические сбои в работе краулера. Например, есть сообщение, что применяется Googlebot Chrome 41 версия. Но есть факты, подтверждающие сканирование с помощью 74 интерпретации поискового визуализатора. Это действительно так, название бота пока не изменилось.

Следующий важный пункт – это расход краулингового бюджета. Очевидно, что большие возможности в области визуализации ведет к повышению энерго- и ресурсо-затрат. Все же разработчики утверждают, что роста краулингового бюджета для владельцев сайтов пока не предвидится.

Обновление версии Googlebot было презентовано на традиционной ежегодной конференции Google IO. Мероприятие состоялось в первой декаде мая 2019. В нашем блоге уже есть статьи по материалам конференции, но в большей степени они касаются изменений в работе мобильных сайтов и приложений. Итоговое и общее изменение формата поисковой выдачи анонсировано на 2020.

Главный вывод

Обновления не улучшают работу уже существующих инструментов и механизмов, предназначенных для удобного использования сайтов. Но они расширяют собственные возможности в области индексирования страниц. Теперь при ранжировании будет учитываться больше контента, чем когда-либо ранее. Более того, визуализатор Гугл планирует производить обновления с выходом следующих версий Chromium.
 

Оцените статью: 5.0 (2)
Следующая статья: Рост трафика за счет оптимизации изображений – не миф, а реальность
Предыдущая статья: Азбука работы с рекламными объявлениями – эффективен каждый элемент
Написать статью для вас?
Отправьте заявку на статью: если проблема окажется актуальной и массовой – мы опишем ее решение и разместим статью на сайте.
Хочу статью
При заказе
продвижения
Скидка на
разработку
сайта
Заказать
Приведи
друга
получи
скидку
Подробнее
Специальное
предложение
против
вируса
Получить кп
SEO на экспорт

Эта книга о том, для чего, кому и как именно нужно выходить за рамки Рунета. В книге мы рассмотрели практические аспекты продвижения сайта в Буржунете, раскрыли характерные отличия от «раскрутки» сайта в России.

SEO на экспорт
SEO на экспорт

Эта книга о том, для чего, кому и как именно нужно выходить за рамки Рунета. В книге мы рассмотрели практические аспекты продвижения сайта в Буржунете, раскрыли характерные отличия от «раскрутки» сайта в России.

В книге вы найдете развенчание некоторых распространенных мифов, ответы на основные вопросы о том, где брать англоязычный контент, как работает Google за рубежом, тонкости работы с инструментарием продвижения, будущее ссылочного ранжирования и многое другое.

Читать дальше
Последний SEO-чеклист

Эта книга - самый обширный и затрагивающий ключевые аспекты работы сеошника чек-лист. С одной стороны - это пособие для обучения и проверки собственных знаний в сфере SEO-оптимизации и продвижения. С другой - это должностная инструкция и инструмент контроля для руководителя, который легко поймет, что нужно требовать от квалифицированного SEO-специалиста.

Последний SEO-чеклист
Последний SEO-чеклист

Эта книга - самый обширный и затрагивающий ключевые аспекты работы сеошника чек-лист. С одной стороны - это пособие для обучения и проверки собственных знаний в сфере SEO-оптимизации и продвижения. С другой - это должностная инструкция и инструмент контроля для руководителя, который легко поймет, что нужно требовать от квалифицированного SEO-специалиста.

В книге предложены чек-листы по основным видам работ в сфере поискового продвижения, включая подготовительную работу, формирование семантики, техническую оптимизацию, наращивание ссылочной массы, проверку коммерческих факторов, контент-маркетинг и базовые моменты SMM.

Читать дальше
Черная книга про белый PR

Это книга об управлении репутацией в интернете, в которой рассмотрены главные технологии этого направления деятельности, затронуты этические и глобальные аспекты современного информационного общества. В ней рассмотрена работа с основными сервисами мониторинга, раскрыты правила отработки негатива и создания позитива о бренде, главные инструменты SERM, предложен чек-лист для самостоятельной работы и многое другое.

Черная книга про белый PR
Черная книга про белый PR

Это книга об управлении репутацией в интернете, в которой рассмотрены главные технологии этого направления деятельности, затронуты этические и глобальные аспекты современного информационного общества. В ней рассмотрена работа с основными сервисами мониторинга, раскрыты правила отработки негатива и создания позитива о бренде, главные инструменты SERM, предложен чек-лист для самостоятельной работы и многое другое.

Книга будет интересна владельцам бизнеса и публичным людям, пиарщикам, маркетологам, SEO-специалистам и всем пользователям сети, которые задумываются о вопросах имиджа и репутации.

Читать дальше
Обучение основам копирайтинга

Об эре контента в интернете не рассказывают только ленивые. Без адекватных текстов сегодня не станут успешны как информационные порталы, так и интернет-магазины в большинстве ниш.

Обучение основам копирайтинга
Обучение основам копирайтинга

Об эре контента в интернете не рассказывают только ленивые. Без адекватных текстов сегодня не станут успешны как информационные порталы, так и интернет-магазины в большинстве ниш.

Вместе с тем большой спрос на копирайтеров и перспективы солидных заработков настолько велики, что обучаться профессии хотят чуть ли не все от мала (старшеклассников и выпускников школ) до велика (пенсионеров и пожилых людей, освоивших азы владения ПК).

Читать дальше
Как подготовить сайт к эффективному продвижению

В книге рассмотрены главные нюансы подготовки сайта к раскрутке в поиске. Это сборник практических рекомендаций и советов, который позволит достичь ожидаемых результатов от интернет-продвижения и окупить все вложения.

Как подготовить сайт к эффективному продвижению
Как подготовить сайт к эффективному продвижению

В книге рассмотрены главные нюансы подготовки сайта к раскрутке в поиске. Это сборник практических рекомендаций и советов, который позволит достичь ожидаемых результатов от интернет-продвижения и окупить все вложения.

Вы узнаете, как практически за день подготовить ресурс к SEO, каким образом находить и устранять ошибки, снижающие эффективность любых последующих маркетинговых действий, что нужно исправлять и менять в первую очередь и обязательно, а какие моменты - не столь критичны и важны. Книга ориентирована на представителей бизнеса, владельцев сайтов и начинающих оптимизаторов.

Читать дальше
Комментарии
Пока нет комментариев
Написать комментарий
captcha

Новые исследования

2020-01-20 21:00:00

Колдунщики и специальные элементы: польза или «польза» для сайта

Главная задача оптимизации сайта – занять лучшее место на первой странице поиска из всех возможных. Причем в конкретном случае мы не имеем в виду ТОП-1 или ТОП-10.
Читать 64

2019-12-14 21:00:00

Google отбирает трафик у сайтов: подтверждения и как сохранить посещаемость

Поисковая система Гугл регулярно вносит изменения в работу собственных алгоритмов. Еще на майской конференции  Google I/O 2019 анонсировали изменения для мобильных версий сайтов, которые предположительно приведут к монополизации трафика этой компанией. Но, как говорится, чем дальше в лес, тем больше дров. Оптимизаторы на многочисленных публичных мероприятиях высказывают опасения, находящие подтверждения, по поводу концентрации трафика на поисковой выдаче. Поскольку угроза для работы сайтов кажется вполне реальной, стоит разобраться в вопросах допустимости монополизации трафика, а также возможностях противостоять этому факту.

Читать 56
Больше исследований

Интервью и мнения SEO-гуру

Для глубокого погружения в профессию оптимизатора, мы настоятельно рекомендуем совмещать чтение с просмотром видео.

Евгений Аралов: главные прогнозы на 2020 (сервисы и методы)

Далеко не каждый специалист может быстро и качественно продвинуть сайт в непростой тематике. Например, букмекерская площадка для ставок в спорте, где SEO чуть ли не ед...

Анализ SEO для СМИ: ведущий эксперт отрасли Галина Бакушева

Для одних Галина Бакушева ассоциируется с каналом Телеграм «Сеошница», для других, она создатель собственного ТВ на фейсбук. Однако такая популярность не г...

Ксения Пескова: качественный продукт приятно рассматривать даже краулерам

Всего два года потребовалось, чтобы стажер SiteClinic, Ксения Пескова, стала не просто тимлидом компании, но и трастовым экспертом в области SEO. Все началось почти ср...

Кирилл Рамирас: лучшие рекомендации по ведению блога для ИМ

Кирилл Рамирас интересен владельцам бизнеса в сети своими успешными проектами, опытом работы в SEO с 2007 года. Регулярное обновление публикаций на Altblog.ru &nd...

Алексей Алексеич: рост и боль в продвижении 2020 - какие прогнозы сбылись?

Сам о себе говорит, что он точно не Андрей, любит котов и смотрит «Битву Престолов». Если серьезно, эксперту 25 лет и с 2011 года основательно занимается с...

Андрей Буйлов: проблемы seo клиента не волнуют!

Андрей Буйлов – известный в сети эксперт по SEO продвижению сайтов. Свою карьеру начинал в конце 90-х. Тогда будущий спикер разнообразных конференций, семинаров ...

Все интервью
Нам доверяют крупные международные компании