[Документация Yandex Cloud](../../index.md) > [Yandex DataSphere](../index.md) > Как организовать работу в DataSphere > Настроить проект для работы с облаком

# Как настроить проект для работы с облаком Yandex Cloud

Yandex DataSphere обладает всем необходимым для [анализа данных](../../glossary/data-analytics.md) и обучения моделей машинного обучения. Однако если вы хотите использовать все возможности платформы Yandex Cloud, вам понадобится настроить проект DataSphere для работы с облаком Yandex Cloud и интеграции с другими сервисами платформы.

В руководстве описаны принципы организации рабочего пространства в DataSphere для эффективной работы с сервисами Yandex Cloud.

1. [Создайте проект](#create-project).
1. [Создайте облако и каталог](#create-cloud).
1. [Настройте сеть](#set-network).
1. [Создайте сервисный аккаунт](#create-sa).
1. [Примеры интеграции сервисов](#examples).

Подробные инструкции по созданию и настройке ресурсов представлены в разделе Пошаговые инструкции документации соответствующих сервисов.

## Перед началом работы {#before-you-begin}

Перед началом работы нужно зарегистрироваться в Yandex Cloud, настроить [сообщество](../concepts/community.md) и привязать к нему [платежный аккаунт](../../billing/concepts/billing-account.md):
1. [На главной странице DataSphere](https://datasphere.yandex.cloud) нажмите **Попробовать бесплатно** и выберите аккаунт для входа — Яндекс ID или рабочий аккаунт в федерации (SSO).
1. Выберите [организацию Yandex Identity Hub](../../organization/index.md), в которой вы будете работать в Yandex Cloud.
1. [Создайте сообщество](../operations/community/create.md).
1. [Привяжите платежный аккаунт](../operations/community/link-ba.md) к сообществу DataSphere, в котором вы будете работать. Убедитесь, что у вас подключен платежный аккаунт, и он находится в [статусе](../../billing/concepts/billing-account-statuses.md) `ACTIVE` или `TRIAL_ACTIVE`. Если платежного аккаунта нет, создайте его в интерфейсе DataSphere.

## Создайте проект {#create-project}

Сообщества DataSphere объединяют пользователей в команду, позволяют использовать общие ресурсы и [контролировать бюджет](../operations/community/billing-details.md). [Проекты](../concepts/project.md) внутри сообщества — это индивидуальные рабочие места пользователей, которые запускаются на [виртуальных машинах](../../glossary/vm.md) Yandex Cloud. В зависимости от [режима работы](../concepts/project.md#mode) в проекте может быть одна или несколько виртуальных машин, однако каждая ВМ будет закреплена за отдельным ноутбуком внутри проекта.

{% note info %}

DataSphere не предназначена для парного программирования. [В режиме Dedicated](../concepts/project.md#dd) совместная работа нескольких пользователей в одном проекте возможна при условии, что каждый пользователь работает в отдельном ноутбуке.

{% endnote %}

Создайте проект DataSphere, как описано в [инструкции](../operations/projects/create.md).

После этого [на странице редактирования проекта](../operations/projects/update.md) можно указать параметры для интеграции с другими сервисами Yandex Cloud.

## Создайте облако и каталог {#create-cloud}

Большинство сервисов Yandex Cloud работают внутри [каталогов облака](../../resource-manager/concepts/resources-hierarchy.md#rm-resources). Для доступа к облачным ресурсам используется [Yandex Cloud Console](https://console.yandex.cloud/cloud) — консоль управления Yandex Cloud.

Войдите в консоль управления, [создайте свое первое облако](../../resource-manager/operations/cloud/create.md) и [каталог](../../resource-manager/operations/folder/create.md), в котором будут работать сервисы, с которыми вы хотите работать из DataSphere.

[Подробнее о взаимодействии пользователей и ресурсов в Yandex Cloud](../../overview/roles-and-resources.md).

{% note tip %}

Вы можете использовать несколько каталогов, чтобы гибко настраивать права доступа и разделить рабочие окружения и задачи.

{% endnote %}

## Настройте сеть {#set-network}

Чтобы ресурсы сервисов Yandex Cloud могли обмениваться информацией между собой, необходимо [создать облачную сеть и подсеть](../../vpc/operations/network-create.md). По умолчанию сеть изолирована внутри Yandex Cloud без доступа в интернет. Чтобы облачные ресурсы имели доступ в интернет без использования [публичных IP-адресов](../../vpc/concepts/address.md#public-addresses), [создайте и настройте NAT-шлюз](../../vpc/operations/create-nat-gateway.md).

{% note info %}

По умолчанию проекты DataSphere используют сервисную подсеть с доступом в интернет. Если вы укажете в настройках проекта свою подсеть без настроенного NAT-шлюза, обновление установленных пакетов и другие сетевые операции станут недоступны.

{% endnote %}

## Создайте сервисный аккаунт {#create-sa}

В Yandex Cloud существует специальный тип аккаунта для автоматизации действий — [сервисный аккаунт](../../iam/concepts/users/service-accounts.md). Сервисный аккаунт позволяет программам управлять ресурсами сервисов. Чтобы сервисный аккаунт получил разрешение выполнять операции с ресурсами, ему нужно назначить соответствующие [роли](../../iam/concepts/access-control/roles.md). О ролях, действующих в сервисе, можно узнать в разделе Управление доступом документации сервиса.

В DataSphere существует два способа предоставить сервисному аккаунту возможность выполнять операции:
1. Если сервисный аккаунт должен выполнять операции _с ресурсами других сервисов_ от имени DataSphere, добавьте его в настройки проекта.
1. Если сервисный аккаунт должен выполнять операции _с проектом или сообществом DataSphere_ (запускать исполнение ячеек, создавать ресурсы и т.п.), добавьте его в список [участников проекта](../operations/projects/add-user.md) или [сообщества](../operations/community/add-user.md) с соответствующей ролью.

## Примеры интеграции сервисов {#examples}

В этом разделе вы найдете примеры настройки проекта для выполнения различных задач в DataSphere и интеграции с сервисами Yandex Cloud.

### Вычисления на кластерах Apache Spark™ {#data-proc}

DataSphere позволяет проводить вычисления на кластерах Apache Spark™, созданных в сервисе Yandex Data Processing.

Для работы с кластерами Yandex Data Processing:

1. [Укажите в настройках проекта](../operations/projects/update.md) следующие параметры:

   * [Каталог по умолчанию](../../resource-manager/concepts/resources-hierarchy.md#folder) для интеграции с другими сервисами Yandex Cloud. В нем будет развернут кластер Yandex Data Processing в рамках текущих [квот](../../data-proc/concepts/limits.md) облака, а стоимость использования кластера будет списана с платежного аккаунта облака.
   * [Сервисный аккаунт](../../iam/concepts/users/service-accounts.md) с [ролью](../../iam/concepts/access-control/roles.md) `vpc.user`, от имени которого DataSphere будет работать с сетью кластера Yandex Data Processing.
   * [Подсеть](../../vpc/concepts/network.md#subnet) для связи DataSphere с кластером Yandex Data Processing. Указанная подсеть должна находиться в [зоне доступности](../../overview/concepts/geo-scope.md), в которой создано сообщество. Кластеру Yandex Data Processing необходим доступ в интернет, поэтому в подсети должен быть [настроен NAT-шлюз](../../vpc/operations/create-nat-gateway.md). После указания подсети время выделения вычислительных ресурсов может быть увеличено.

1. Создайте [сервисного агента](../../iam/concepts/service-control.md#service-agent):

   1. Чтобы разрешить сервисному агенту работать в DataSphere, попросите администратора или владельца вашего облака выполнить команду в Yandex Cloud CLI:
   
      ```bash
      yc iam service-control enable datasphere --cloud-id <идентификатор_облака>
      ```
   
      Где `--cloud-id` — [идентификатор облака](../../resource-manager/operations/cloud/get-id.md), с которым вы будете работать в сообществе DataSphere.

   1. Создайте сервисный аккаунт с ролями:

      * `dataproc.agent` — для использования кластеров Yandex Data Processing.
      * `dataproc.admin`— для создания кластеров из шаблонов Yandex Data Processing.
      * `vpc.user` — для работы с сетью кластера Yandex Data Processing.
      * `iam.serviceAccounts.user` — для создания ресурсов в каталоге от имени сервисного аккаунта.

   1. В настройках сообщества в блоке **Кластеры Spark** нажмите **Добавить сервисный аккаунт** и выберите созданный сервисный аккаунт.
   
{% note warning %}

Постоянный кластер Yandex Data Processing должен иметь настройку `livy:livy.spark.deploy-mode : client`.

{% endnote %}

Подробнее о работе с кластерами Yandex Data Processing в DataSphere:
* [Способы работы с кластерами Apache Spark™ в DataSphere](../concepts/data-processing.md).
* [Интеграция с сервисом Yandex Data Processing](data-processing-integration.md).

### Развертывание предобученной модели в качестве сервиса {#docker-node}

Если вы хотите развернуть в DataSphere модель в качестве отдельного сервиса, используйте [ноды на основе Docker-образа](../concepts/deploy/index.md#docker-node). В настройках проекта [укажите](../operations/projects/update.md) следующие параметры:

* Каталог по умолчанию для хранения логов ноды.
* Сервисный аккаунт с правами:
    * `container-registry.images.puller` — чтобы разрешить DataSphere скачивать ваш Docker-образ для создания ноды.
    * `vpc.user` — для работы с сетью DataSphere.
    * (опционально) `datasphere.user` — чтобы отправлять запросы в ноду.

Подробнее про развертывание сервисов в DataSphere:
* [DataSphere Inference](../concepts/deploy/index.md).
* [Развертывание сервиса на основе Docker-образа](node-from-docker.md).