[Документация Yandex Cloud](../../../index.md) > [Yandex DataLens](../../index.md) > [Yandex DataLens Platform](../index.md) > Обзор сервиса

# О Yandex DataLens Platform

Yandex DataLens Platform — аналитическая платформа для полного цикла работы с данными: от подключения источников и загрузки до хранения, обработки, анализа и визуализации. В ней можно подготовить данные, выполнить SQL-запрос, разработать код загрузки и обработки данных на Python или Scala, построить дашборд и предоставить команде доступ к результатам.

Платформа реализует подход _Lakehouse_, который позволяет разделить хранение и обработку данных. Она предоставляет инструменты загрузки данных, визуализации на базе DataLens, разработки и оркестрации на базе Apache Airflow™. Нейроаналитик, внешние агенты, единый интерфейс, поиск, метаданные и управление доступом помогают работать с данными на разных этапах.

## Кому подходит платформа {#audience}

Инженеры данных могут настраивать загрузку из источников, готовить таблицы для анализа и автоматизировать их обновление. Аналитики — исследовать данные с помощью SQL и Python, анализировать результаты A/B-тестов, рассчитывать статистики, подготавливать данные для машинного обучения, создавать датасеты, чарты и дашборды. Бизнес-пользователи — отслеживать показатели, изучать отчеты и задавать вопросы Нейроаналитику. Все участники работают с данными в одной платформе с учетом предоставленных им прав доступа.

## Устройство платформы {#architecture}

Основной поток работы с данными проходит через три компонента: загрузку, Lakehouse и визуализацию. Поставки переносят данные из источников в хранилище, вычислительные движки обрабатывают их, а инструменты визуализации помогают представить результаты пользователям. Инструменты разработки позволяют исследовать данные и автоматизировать их обработку. Сквозные возможности объединяют компоненты платформы.

![dlp-architecture](../../../_assets/datalens/platform-architecture.svg)

### Загрузка данных {#data-ingestion}

_Поставка данных_ переносит данные из внешнего источника в REST-каталог. Вы можете загрузить данные разово или настроить регулярное копирование по расписанию. Подробнее в разделе [Поставки данных](data-transfer/index.md).

Если источник пока не поддерживается поставками данных, загрузку можно организовать с помощью кода в Apache Spark™ или подключения к источнику в Trino. Возможность подключения зависит от доступных для источника библиотек и коннекторов.

### Lakehouse {#lakehouse}

В основе DataLens Platform — Lakehouse, который позволяет хранить данные отдельно от вычислительных ресурсов и обрабатывать их разными движками. На схеме хранение представлено S3, Apache Iceberg™ и REST-каталогом, а обработка — Trino и Apache Spark™.

#### Хранение {#data-storage}

Данные хранятся в бакете объектного хранилища S3 в формате Apache Iceberg™. _REST-каталог_ хранит метаданные таблиц и представлений и предоставляет к ним единый интерфейс доступа для вычислительных движков. Таблицы и представления можно объединять в пространства имен, например по проектам или направлениям бизнеса, и предоставлять доступ к ним для определенных пользователей. Подробнее в разделе [REST-каталог](rest-catalog/index.md).

#### Обработка {#data-processing}

Обработка данных выполняется в _кластерах_ Trino и Apache Spark™. Кластер Trino выполняет SQL-запросы, а кластер Apache Spark™ позволяет распределенно обрабатывать данные на Python, Scala и SQL. Размер ресурсов и пределы масштабирования можно настроить под задачу.

_Окружение_ определяет облако, сеть и подсеть, в которых создаются ресурсы платформы. При его создании сеть используется для выбора подсети. Связанные REST-каталоги и кластеры должны находиться в одном облаке и в одном окружении.

При [активации DataLens Platform](../quickstart.md#activate-service) платформа автоматически создает облако, сеть, подсеть, окружение, REST-каталог и кластеры Trino и Apache Spark™, а затем предлагает настроить кластер Apache Airflow™. Если вы пропустили этот этап, к настройке можно вернуться с главной страницы. Подробнее об окружениях в разделе [Кластеры и окружения](clusters/index.md).

### Визуализация {#visualization}

Для визуализации используются инструменты DataLens. _Датасет_ описывает данные для построения визуализаций: поля, связи и вычисления. На его основе можно создавать _чарты_ — графики и таблицы, а затем объединять их на _дашбордах_ или в _отчетах_. Подготовленные результаты можно использовать для совместной работы и обсуждения показателей с командой.

[Рассылки](../../concepts/maillists.md) и уведомления помогают доставлять результаты анализа пользователям. Встраиваемая аналитика позволяет размещать чарты и дашборды на сайтах и в приложениях.

Подробнее о [датасетах](../../dataset/index.md), [чартах](../../concepts/chart/index.md), [дашбордах](../../concepts/dashboard.md), [отчетах](../../reports/index.md) и [встраивании визуализаций](../../concepts/publishing-and-embedding.md).

## Инструменты разработки {#development-tools}

Для разработки и автоматизации обработки данных доступны оркестрация на базе Apache Airflow™, встроенный редактор SQL и рабочие пространства.

### Оркестрация {#pipelines}

_Пайплайн_ описывает последовательность обработки данных и зависимости между задачами. Пайплайнами управляет Apache Airflow™: запускает задачи по расписанию или по запросу пользователя и отслеживает их выполнение. Задачи могут использовать вычисления в кластерах Trino и Apache Spark™.

Например, с помощью пайплайна можно проверить загруженные данные, преобразовать их и обновить итоговую таблицу для анализа. Для работы с пайплайнами [создайте в окружении кластер Apache Airflow™](../operations/airflow/manage-airflow.md#create-cluster). Подробнее в разделе [Пайплайны](airflow/index.md).

### Редактор SQL {#development-environment}

Для исследования данных используйте [редактор SQL](sql/index.md): пишите запросы и просматривайте результаты в браузере. Нейроаналитик помогает составлять SQL-запросы по описанию задачи на естественном языке.

### Рабочие пространства {#workspaces}

_Рабочие пространства_ (workspaces) предоставляют среду для разработки кода загрузки и обработки данных в IDE. Они позволяют работать с кодом на Python и Scala и использовать вычисления Apache Spark™.

## Сквозные возможности {#shared-capabilities}

Сквозные возможности обеспечивают работу с данными и объектами в разных компонентах платформы.

### Нейроаналитик {#neuroanalyst}

_Нейроаналитик_ — AI-агент платформы. Он отвечает на вопросы о данных на естественном языке, помогает составлять SQL-запросы, создавать чарты и дашборды. Его можно использовать при исследовании данных и подготовке визуализаций. Нейроаналитику доступны только те данные и объекты, к которым есть доступ у текущего пользователя. Подробнее в разделе [AI-инструменты](ai-tools/index.md).

### Внешние агенты {#external-agents}

Для работы с платформой можно подключать внешних AI-агентов через публичный API, MCP и Python SDK, а также использовать готовые скиллы (Skills). Это позволяет включать работу с данными и объектами платформы в сценарии внешних агентов.

### Единый интерфейс {#unified-interface}

Инженеры данных, аналитики и бизнес-пользователи работают в одном интерфейсе. В нем можно переходить от загрузки и обработки данных к исследованию, визуализации и управлению объектами платформы.

### Метаданные {#metadata}

_Метаданные_ — это информация о данных платформы Yandex DataLens Platform: какие есть таблицы и дашборды, что в них лежит, откуда поставляется, кто за это отвечает и насколько этому можно доверять. В _каталоге метаданных_ можно изучать структуру данных, добавлять описания, распределять объекты по доменам, назначать им теги классификаций и термины глоссариев. Подробнее в разделе [Метаданные](data-catalog/index.md).

Информация об объектах REST-каталога автоматически добавляется в каталог метаданных. При обработке таблиц REST-каталога в Trino и Apache Spark™ формируются сведения о связях между исходными и результирующими данными.

### Единый поиск {#search}

Единый поиск помогает находить данные и объекты платформы. Он доступен с главной страницы и в отдельном разделе **Поиск**.

### Управление доступом {#access-management}

Единая модель управления доступом применяется к двум иерархиям: REST-каталогам с их пространствами имен, таблицами и представлениями, а также коллекциям с размещенными в них объектами платформы. Навигация по объектам учитывает предоставленные пользователю права. Для получения недостающих прав можно отправить [запрос доступа](../security/manage-access.md#access-requests). Это помогает организовать совместную работу инженеров, аналитиков и бизнес-пользователей. Подробнее в разделе [Управление доступом](../security/index.md).

## Пример работы с платформой {#workflow}

Например, чтобы подготовить регулярно обновляемый дашборд продаж:

1. Настройте [окружение](../operations/clusters/manage-environment.md#create-environment), [REST-каталог](../operations/rest-catalog/create-rest-catalog.md) и [вычислительные кластеры](../operations/clusters/manage-clusters.md).
1. [Создайте поставку](../operations/data-transfer/regular-copy.md), которая будет регулярно загружать данные о продажах из источника в REST-каталог.
1. Подготовьте таблицу для анализа с помощью Trino или Apache Spark™. Для автоматизации обработки [опишите пайплайн в Apache Airflow™](../operations/airflow/manage-airflow.md#add-pipeline).
1. Создайте датасет и чарты на основе подготовленной таблицы, соберите дашборд с показателями продаж.
1. Предоставьте коллегам доступ к результатам и [используйте метаданные](../operations/data-catalog/metadata-markup.md), чтобы описать назначение данных.

Для настройки сервиса и знакомства с основными компонентами пройдите [быстрый старт](../quickstart.md).