[Документация Yandex Cloud](../../../../index.md) > [Yandex DataLens](../../../index.md) > [Yandex DataLens Platform](../../index.md) > Кластеры и окружения > Обзор

# Кластеры и окружения в Yandex DataLens Platform

В Yandex DataLens Platform запросы и задачи обработки данных выполняются в _кластерах_. _Окружения_ задают параметры облачной инфраструктуры, в которой создаются ресурсы платформы.

Для управления кластерами и окружениями на панели слева откройте раздел ![image](../../../../_assets/datalens/compute.svg) **Кластеры**.

## Окружения {#environments}

Окружение связывает ресурсы DataLens Platform с Yandex Cloud. При создании окружения вы выбираете облако, сеть и подсеть. От выбранного облака зависят [квоты](../limits.md) и платежный аккаунт для создаваемых ресурсов.

В окружении можно создавать [REST-каталоги](../rest-catalog/index.md) и кластеры для обработки данных и выполнения [пайплайнов](../airflow/index.md). Создавайте отдельные окружения для разных задач и групп пользователей.

{% note info %}

Чтобы кластеры, REST-каталоги и другие объекты платформы могли взаимодействовать друг с другом, они должны находиться в одном облаке Yandex Cloud и в одном окружении. При создании связанных объектов выбирайте одно и то же окружение.

{% endnote %}

При [первоначальной настройке сервиса](../../quickstart.md#activate-service) платформа создает облако, сеть и подсеть, окружение, REST-каталог и кластеры Trino и Apache Spark™, а затем предлагает подключить Apache Airflow™. Дополнительные окружения можно [создать вручную](../../operations/clusters/manage-environment.md#create-environment).

### Сеть и подсеть {#environment-network}

При создании окружения вручную выберите [облачную сеть](../../../../vpc/concepts/network.md#network) в выбранном облаке, а затем одну подсеть этой сети. Выбор сети ограничивает список доступных подсетей.

Сеть обеспечивает связь между облачными ресурсами. _Подсеть_ — диапазон внутренних IP-адресов, которые назначаются ресурсам. Подсеть находится в определенной [зоне доступности](../../../../overview/concepts/geo-scope.md).

### Доступ в интернет через NAT {#environment-nat}

При создании окружения вручную необходимо обеспечить доступ в интернет из выбранной подсети через _NAT-шлюз_. Он позволяет ресурсам устанавливать исходящие соединения без назначения им публичных IP-адресов. Подробнее о [NAT-шлюзе](../../../../vpc/concepts/gateways.md#nat-gateway).

NAT-шлюз создается в каталоге, где находится сеть. В этой сети должна быть [таблица маршрутизации](../../../../vpc/concepts/routing.md) с маршрутом `0.0.0.0/0` через шлюз. Таблица привязывается к подсети окружения, чтобы направлять трафик из нее за пределы сети через NAT-шлюз. Подробнее в инструкции [Настроить NAT-шлюз](../../../../vpc/operations/create-nat-gateway.md).

{% note warning %}

Перед созданием окружения вручную проверьте, что таблица маршрутизации привязана именно к выбранной подсети и содержит маршрут через NAT-шлюз. Это обязательно и при использовании существующей подсети.

{% endnote %}

## Кластеры {#clusters}

Кластер — набор вычислительных ресурсов для выполнения запросов или задач обработки данных. При создании кластера вы выбираете окружение, параметры вычислений и [коллекцию](../../../workbooks-collections/collections-operations.md) для размещения объекта в DataLens Platform.

Окружение определяет облачную инфраструктуру кластера, а коллекция — его расположение в навигации платформы. В списке кластеров эти сведения отображаются отдельно, в столбцах **Окружение** и **Расположение**.

### Кластеры Trino {#trino}

Кластер Trino выполняет SQL-запросы к данным. В его состав входят _координатор_ и _воркеры_. Координатор принимает запросы, планирует их выполнение и распределяет задачи между воркерами. Воркеры обрабатывают данные и передают результаты координатору. Подробнее об устройстве кластера в [документации Trino](https://trino.io/docs/current/overview/concepts.html#architecture).

При [создании кластера Trino](../../operations/clusters/manage-clusters.md#create-trino-cluster) можно выбрать REST-каталоги из того же окружения, с которыми он будет работать. Размер воркера определяет количество vCPU и объем оперативной памяти. Количество воркеров задается диапазоном: кластер добавляет и отключает их в зависимости от нагрузки в установленных пределах.


### Кластеры Apache Spark™ {#spark}

Кластер Apache Spark™ предназначен для распределенной обработки данных. _Драйвер_ управляет выполнением приложения, а _исполнители_ выполняют его задачи. Подробнее о компонентах в [документации Apache Spark™](https://spark.apache.org/docs/latest/cluster-overview.html).

Для драйверов и исполнителей отдельно задаются размер, а также минимальное и максимальное количество. При [создании кластера](../../operations/clusters/manage-clusters.md#create-spark-cluster) можно указать дополнительные пакеты Python в поле **Pip-пакеты**.


### Кластеры Apache Airflow™ {#airflow}

Кластер Apache Airflow™ управляет выполнением пайплайнов: учитывает расписание и зависимости между задачами, запускает их и отслеживает состояние. Задачи пайплайна могут использовать вычисления в кластерах Trino и Apache Spark™.

Кластер Apache Airflow™ создается в окружении, а работа с ним описана в разделе [Управление пайплайнами](../../operations/airflow/manage-airflow.md).

## Управление вычислительными ресурсами {#resource-management}

Для кластеров Trino и Apache Spark™ задаются размер вычислительных ресурсов и пределы масштабирования. Отключение простаивающих воркеров и исполнителей платформа выполняет автоматически.

Кластеры Trino и Apache Spark™ можно [останавливать и запускать вручную](../../operations/clusters/manage-clusters.md#stop-start-cluster). При остановке выполнение запросов прерывается, а новые запросы не принимаются. Чтобы возобновить работу, запустите кластер и дождитесь его перехода в статус **Активен**.


На вкладке **Кластер** отображаются сведения о вычислительных ресурсах, идентификатор, окружение и версия движка. Из блока **О кластере** можно перейти в веб-интерфейс движка.

На странице кластера Trino также есть вкладки **REST-каталоги**, **Подключения** и **Настройки**, а на странице кластера Apache Spark™ — **Настройки**.

#### Полезные ссылки {#see-also}

* [Управление окружениями](../../operations/clusters/manage-environment.md).
* [Управление кластерами](../../operations/clusters/manage-clusters.md).