Разработка дашбордов: Yandex DataLens и Looker Studio

1. Введение в BI-системы: обзор Yandex DataLens и Looker Studio

Введение в BI-системы: обзор Yandex DataLens и Looker Studio

Представьте руководителя сети розничных магазинов, который каждое утро тратит два часа на сведение электронных таблиц из разных кассовых аппаратов. Его цель — понять, какой товар принес наибольшую выручку за прошлый день. К моменту, когда сводный отчет наконец готов, утренний пик продаж уже прошел, конкуренты запустили новые акции, а принимать оперативные управленческие решения становится слишком поздно. Эту классическую проблему бизнеса решают BI-системы (Business Intelligence).

> BI-системы — это класс программного обеспечения, предназначенный для сбора сырых данных из различных источников, их автоматической обработки и визуализации в виде понятных интерактивных отчетов.

Главный элемент любой аналитической платформы — это дашборд (dashboard), или информационная панель. Подобно приборной панели автомобиля, которая показывает скорость, уровень топлива и температуру двигателя, бизнес-дашборд отображает ключевые показатели здоровья компании: выручку, количество новых клиентов, расходы на рекламу и остатки на складах.

Доход = Количество продаж × Средний чек. Если за день магазин совершил 1 500 продаж, а средний чек составил 1 200 руб., дневной доход будет равен 1 800 000 руб. BI-система не просто посчитает эту сумму, но и автоматически сравнит ее с показателями прошлой недели, подсветив зеленым цветом рост или красным — падение.

Эволюция аналитики: почему таблиц больше недостаточно

Исторически основным инструментом аналитика был табличный процессор. Однако по мере роста бизнеса компании сталкиваются с жесткими техническими ограничениями.

Если количество строк в базе данных , стандартные офисные программы начинают зависать, долго пересчитывать формулы или вовсе отказываются открывать файл. Кроме того, ручной перенос информации неизбежно приводит к человеческим ошибкам: случайно удаленная ячейка может исказить финансовый результат на миллионы рублей.

Современная аналитика работает по принципу прямого подключения. Инструмент визуализации связывается с хранилищем информации напрямую. Как только клиент оплачивает заказ на сайте, транзакция попадает в базу данных, и график на экране руководителя мгновенно обновляется.

Преимущества внедрения профессиональных аналитических платформ: * Автоматизация рутины: отчеты обновляются в реальном времени без участия человека. * Единый источник истины: все отделы компании смотрят на одни и те же проверенные цифры, а не на разные версии пересылаемых файлов. * Интерактивность: пользователь может кликнуть на столбец диаграммы, обозначающий продажи за май, и система автоматически отфильтрует все остальные графики, показав данные только за этот месяц.

Yandex DataLens: мощь облачной экосистемы

Как быстро можно развернуть корпоративную аналитику, если серверы компании физически находятся в России, а требования безопасности запрещают передачу информации за рубеж? В таких сценариях на первый план выходит Yandex DataLens — облачный сервис визуализации данных, входящий в инфраструктуру Yandex Cloud.

Ключевая архитектурная особенность этого решения заключается в том, что платформа не хранит пользовательские данные внутри себя (за исключением небольших загружаемых файлов). Система работает как умный переводчик: она генерирует запросы к вашей базе данных, дожидается ответа и отрисовывает результат.

Например, логистическая компания хранит историю перемещения грузов в базе данных PostgreSQL. Общий объем архива составляет 500 гигабайт. При открытии дашборда DataLens отправляет точечный запрос к серверу. База данных проводит вычисления на своей стороне и возвращает в аналитическую систему только короткий ответ: "Среднее время доставки в апреле составило 4 дня". Это позволяет экономить ресурсы и работать с колоссальными массивами информации без задержек.

Сильные стороны платформы от Яндекса:

Отсутствие лицензионных платежей: базовый функционал предоставляется бесплатно, стоимость составит 0 руб./мес., что идеально для стартапов и малого бизнеса.

Бесшовная интеграция с локальными сервисами: система в пару кликов подключается к Яндекс Метрике и базам данных ClickHouse.

Соответствие законодательству: серверы расположены в локальных дата-центрах, что удовлетворяет строгим корпоративным стандартам безопасности.

Для расширенных корпоративных задач существует платный тариф Business, который позволяет брендировать интерфейс отчетов и интегрировать внутренние системы управления доступом сотрудников.

Looker Studio: универсальный инструмент маркетолога

Где удобнее всего анализировать эффективность рекламных кампаний, запущенных в поисковых сетях и на видеохостингах? Looker Studio (ранее известный на рынке как Google Data Studio) исторически создавался для глубокой интеграции с маркетинговыми и веб-аналитическими инструментами.

Главное преимущество этой платформы — огромная библиотека готовых коннекторов. Коннектор — это программный мост, который позволяет без написания кода связать аналитическую систему с внешним сервисом.

Рассмотрим работу маркетингового агентства. Агентство ведет рекламные кампании для 15 разных клиентов. Бюджет каждого клиента составляет 300 000 руб. в месяц. Вместо того чтобы каждую неделю вручную собирать 15 презентаций со скриншотами из разных кабинетов, аналитик создает один универсальный шаблон в Looker Studio. Система автоматически подтягивает расходы, показы и клики. В результате клиент "А" видит по своей уникальной ссылке, что стоимость привлечения одного покупателя составила 850 руб., а клиент "Б" видит свои показатели — 1 100 руб.

Особенности платформы от Google: Глубокая связь с экосистемой: идеальная совместимость с Google Analytics 4, Google Ads и Google Sheets*. * Кэширование: система может временно сохранять результаты частых запросов, чтобы ускорить загрузку графиков при повторном открытии. * Низкий порог входа: интуитивно понятный интерфейс позволяет собрать первый отчет за считанные часы без знания языков программирования.

Сравнение платформ: архитектура и применение

Какая система лучше подойдет для промышленного предприятия, а какая — для небольшого интернет-магазина? Выбор инструмента всегда диктуется текущей инфраструктурой компании и профилем специалистов, которые будут с ним работать.

Если компания тратит 100 000 руб. в месяц на аренду облачных серверов Яндекса и хранит там всю корпоративную информацию, логично использовать DataLens. Это обеспечит максимальную скорость передачи пакетов внутри одного дата-центра и снизит риски утечки.

Если же основа бизнеса — это привлечение трафика на сайт, а главные инструменты команды — это сервисы веб-аналитики от Google, то Looker Studio сэкономит десятки часов на настройке интеграций. Маркетологу не придется просить программистов выгружать статистику просмотров страниц в отдельную базу данных — коннектор сделает это автоматически.

Итоги

* BI-системы трансформируют сырые массивы цифр в интерактивные дашборды, позволяя бизнесу принимать решения на основе актуальной информации, а не интуиции. * Использование профессиональной аналитики исключает человеческий фактор и снимает ограничения табличных процессоров при работе с миллионами строк. Yandex DataLens* оптимален для построения серьезной корпоративной аналитики поверх тяжелых баз данных с соблюдением строгих требований к локализации серверов. Looker Studio* является стандартом де-факто для маркетинговой отчетности благодаря бесшовной интеграции с рекламными кабинетами и простоте освоения. * Обе платформы предоставляют мощный базовый функционал бесплатно, что позволяет компаниям начать внедрение аналитической культуры без стартовых инвестиций в лицензии.

2. Подключение источников данных и создание датасетов в Yandex DataLens

Подключение источников данных и создание датасетов в Yandex DataLens

В прошлой лекции мы выяснили, что главная архитектурная особенность Yandex DataLens заключается в режиме прямого запроса. Система не скачивает гигабайты корпоративной информации на свои серверы, а работает как умный переводчик, отправляя команды к вашему хранилищу. Но как именно аналитическая платформа понимает, куда стучаться, какие пароли использовать и как правильно объединять разрозненные таблицы?

Процесс подготовки фундамента для любого дашборда в DataLens всегда состоит из двух последовательных шагов: настройки подключения и формирования датасета.

Подключения: прокладываем мост к информации

Представьте, что вы купили современный телевизор с разрешением 4K. Сам по себе он не показывает фильмы — для этого нужно вставить антенный кабель, подключить приставку или ввести пароль от домашней сети Wi-Fi. В мире BI-систем роль такого кабеля играет подключение.

Подключение — это набор технических параметров и учетных данных, которые позволяют Yandex DataLens безопасно связаться с источником информации. В нем хранятся адреса серверов, логины, пароли и специальные токены доступа.

Платформа поддерживает десятки различных коннекторов, которые можно разделить на три большие группы:

Рассмотрим реальный пример бизнеса. Компания использует CRM-систему Битрикс24 для ведения клиентов. В базе накопилось 50 000 сделок. Чтобы визуализировать воронку продаж, аналитику не нужно выгружать данные в Excel. Он заходит в интерфейс DataLens, нажимает «Создать подключение», выбирает плитку «Битрикс24» и вставляет секретный ключ (токен), скопированный из настроек CRM. С этого момента между облаком Яндекса и порталом компании установлен защищенный мост.

> Данные — это новая нефть, но без системы переработки они остаются лишь бесполезным сырьем. > > Клайв Хамби

Важно понимать, что создание подключения само по себе не выводит графики на экран. Это лишь разрешение системе смотреть в вашу базу. Чтобы объяснить платформе, какие именно данные нам нужны, создается следующий элемент архитектуры.

Датасеты: от сырых таблиц к бизнес-модели

Вы получили доступ к огромному складу супермаркета (это наше подключение). Но для приготовления ужина вам не нужен весь склад — требуются только макароны, сыр и томаты.

Датасет (Dataset, набор данных) — это логическая модель, которая описывает, какие конкретно таблицы из источника мы берем, как они связаны между собой и какие правила расчетов к ним применяются.

В одной базе данных может храниться 200 таблиц: логины пользователей, история паролей, системные ошибки серверов. Для дашборда по продажам аналитику нужны только две таблицы: Orders (Заказы) и Products (Товары). В интерфейсе создания датасета пользователь просто перетаскивает эти две таблицы на рабочую область.

Система автоматически предложит связать их. Связь (Join) настраивается по общему полю. Например, в таблице заказов есть колонка ProductID со значением 105, и в таблице товаров есть колонка ID со значением 105, где указано, что это «Ноутбук». DataLens соединит их, и в итоговом датасете аналитик увидит единую плоскую таблицу, где рядом с датой заказа написано понятное название товара.

При настройке связей важно учитывать объем обрабатываемой информации. Если таблица заказов содержит 1 000 000 строк, а таблица товаров — 5 000 строк, их объединение потребует вычислительных ресурсов на стороне базы данных.

Визуальный конструктор или SQL-запросы

DataLens предлагает два пути формирования датасета из баз данных: визуальный и программный.

Визуальный конструктор. Вы перетаскиваете таблицы мышкой, а система сама генерирует код для базы данных. Это идеально подходит для простых структур и аналитиков, не владеющих языками программирования.

SQL-подзапросы. Если логика расчетов сложная, данные нужно предварительно отфильтровать или сгруппировать хитрым образом, инженер может написать прямой запрос к базе.

Рассмотрим пример SQL-запроса, который можно использовать в качестве источника для датасета:

В этом примере мы не тянем в датасет всю историю за 10 лет. Мы сразу просим базу данных отфильтровать продажи с 2023 года, сгруппировать их по именам менеджеров и выдать готовые суммы. Если исходная таблица содержала 5 000 000 строк, а менеджеров в компании всего 15, то благодаря SQL-запросу в датасет DataLens вернется таблица всего из 15 строк. Это колоссально ускоряет загрузку дашбордов.

Анатомия датасета: измерения и показатели

Когда таблицы выбраны, DataLens сканирует их столбцы и формирует список полей. Это ключевой момент настройки датасета. Все поля автоматически делятся на две категории, которые в интерфейсе обозначаются разными цветами.

Измерения (зеленые поля) — это качественные характеристики данных. То, в каких разрезах мы хотим анализировать бизнес. К измерениям относятся: * Текстовые значения: Город, Категория товара, ФИО клиента. * Даты и время: Год покупки, Месяц регистрации. * Геоточки и полигоны: координаты магазинов для отображения на карте.

Показатели (синие поля) — это количественные метрики, которые можно посчитать или агрегировать. К ним относятся: * Выручка, Количество штук, Скидка в рублях.

Главное отличие показателя от измерения — наличие функции агрегации. Агрегация — это математическое правило, по которому система сжимает множество строк в одно число.

Выручка рассчитывается по классической экономической формуле:

где — общая выручка, — количество транзакций, — цена товара в конкретной транзакции, — количество проданного товара.

В DataLens вам не нужно писать эту формулу вручную для каждого графика. Достаточно в настройках датасета найти поле «Сумма продаж» и в столбце «Агрегация» выбрать значение «Сумма». Теперь, если вы вынесете на график измерение «Город» и показатель «Сумма продаж», система сама сложит все транзакции для Москвы, Санкт-Петербурга и Казани по отдельности.

Примеры других агрегаций: Количество уникальных* (Count Distinct): позволяет узнать, сколько уникальных клиентов совершили покупки, даже если один человек сделал 10 заказов. Среднее* (Average): автоматически вычисляет средний чек. Максимум/Минимум*: находит самую крупную сделку в выбранном периоде.

Грамотно настроенный датасет — это 80% успеха при создании дашборда. Если вы правильно задали типы полей, прописали агрегации и скрыли технические столбцы (например, внутренние ID системы, которые не нужны директору), то сборка самих графиков превратится в простое и быстрое перетаскивание элементов на холст.

Итоги

* Подключение — это технический шлюз, хранящий доступы к источнику данных (базе, файлу или API-сервису). * Датасет — это логическая надстройка над подключением, определяющая, какие таблицы используются и как они связаны. * Для оптимизации производительности при работе с большими базами данных рекомендуется использовать SQL-подзапросы на этапе создания датасета. * Все поля в датасете делятся на измерения (разрезы для анализа, например, даты и категории) и показатели (числа, к которым применяются математические функции агрегации). * Настройка правильных агрегаций (сумма, среднее, количество уникальных) на уровне датасета избавляет от необходимости прописывать формулы для каждого отдельного графика на дашборде.