[Документация Yandex Cloud](../../index.md) > [Yandex MetaData Hub](../index.md) > Data Catalog > Концепции > Источники данных

# Источники данных

Источник данных — это то подключение к базе данных или сервису, через которое в [каталог](data-catalog.md) загружаются метаданные. Пользовательские данные при этом не загружаются. При включенном профилировании дополнительно выполняются запросы на чтение к данным или выборкам, чтобы рассчитать статистику по колонкам и таблицам.

В каталог загружаются метаданные, которые содержат следующую информацию об источнике:

| Информация об источнике | Описание  |
| ----------------------- | --------- |
| Объекты хранения | Базы данных, схемы, таблицы, представления, индексы |
| Структура данных | Имена колонок/полей, их типы данных и возможность хранения значения `NULL` (nullable), вложенные колонки/поля |
| Комментарии | Описания к таблицам и колонкам |
| Происхождение данных | Связи между таблицами и представлениями |
| Профилирование данных | Статистика по таблицам и колонкам |
| Удаленные объекты | Объекты, которые были удалены из источника после предыдущей выгрузки |


## Метаданные источников

Набор загружаемых метаданных зависит от источника данных:

* [PostgreSQL](#source-pg)
* [MySQL®](#source-my)
* [ClickHouse®](#source-ch)
* [OpenSearch](#source-os)
* [Yandex MPP Analytics for PostgreSQL/Greenplum®](#source-gp)
* [Yandex StoreDoc/MongoDB](#source-mg)
* [Yandex Data Transfer](#source-dt)
* [Yandex WebSQL](#source-websql)
* [Yandex DataLens](#source-datalens)
* Trino
* Apache Airflow™


### PostgreSQL {#source-pg}

В каталог из PostgreSQL загружаются метаданные, которые содержат следующую информацию об источнике:

| Информация об источнике | Описание  |
| ----------------------- | --------- |
| Базы данных и схемы | Базы данных и схемы, доступные в источнике |
| Таблицы | Таблицы, их технические имена и принадлежность к схеме |
| Представления | Представления и их SQL-определения |
| Хранимые процедуры | Хранимые процедуры и их SQL-определения |
| Колонки | Имена, типы данных и принадлежность к схеме |
| Комментарии | Описания таблиц и колонок, заданные через `COMMENT ON` |
| Происхождение данных | Связи между таблицами и представлениями, а также между представлениями |
| Происхождение данных на уровне колонок | Связи между колонками в представлениях |
| Профилирование данных | Статистика по таблицам, строкам и колонкам |
| Удаленные объекты | Объекты, которые были удалены из источника после предыдущей выгрузки |

В каталоге метаданные представлены в виде структуры: база данных → схема → таблица/представление → колонка.

Происхождение данных может определяться:

* На основе разбора SQL-определений представлений.
* На основе анализа SQL-запросов.
  
  Для анализа SQL-запросов требуется PostgreSQL версии не ниже `13` и расширение `pg_stat_statements`.

Для профилирования данных пользователю необходимы права `SELECT` на таблицы.


### MySQL® {#source-my}

В каталог из MySQL® загружаются метаданные, которые содержат следующую информацию об источнике:

| Информация об источнике | Описание  |
| ----------------------- | --------- |
| Базы данных | Базы данных, доступные в источнике |
| Таблицы | Таблицы и их принадлежность к базе данных |
| Представления | Представления и их SQL-определения |
| Хранимые процедуры | Хранимые процедуры и их SQL-определения |
| Колонки | Имена и типы данных |
| Комментарии | Комментарии к таблицам и колонкам |
| Происхождение данных | Связи между таблицами и представлениями, а также между представлениями |
| Происхождение данных на уровне колонок | Связи между колонками источника и колонками представлений |
| Профилирование данных | Статистика по таблицам и колонкам |
| Удаленные объекты | Объекты, которые были удалены из источника после предыдущей выгрузки |

Метаданные загружаются из системных таблиц MySQL®. В каталоге метаданные представлены в виде структуры: база данных → таблица/представление → колонка.

Происхождение данных определяется на основе разбора SQL-определений представлений.

Для сбора метаданных пользователю необходимы следующие привилегии:

* для представлений — `SHOW VIEW`;
* для метрик профилирования данных — `SELECT` на таблицы.

Подробнее о [привилегиях пользователей в MySQL®](../../managed-mysql/concepts/user-rights.md).


### ClickHouse® {#source-ch}

В каталог из ClickHouse® загружаются метаданные, которые содержат следующую информацию об источнике:

| Информация об источнике | Описание  |
| ----------------------- | --------- |
| Базы данных | Базы данных, доступные в источнике |
| Таблицы | Пользовательские таблицы |
| Представления | Представления и их SQL-определения |
| Материализованные представления | Материализованные представления и их SQL-определения |
| [Словари](../../managed-clickhouse/concepts/dictionaries.md) | Словари и их структура |
| Колонки | Имена и типы данных |
| Комментарии | Комментарии к таблицам и колонкам |
| Происхождение данных | Связи между таблицами и представлениями, а также между представлениями |
| Происхождение данных на уровне колонок | Связи между колонками |
| Использование объектов | Статистика обращений к объектам |
| Профилирование данных | Статистика по таблицам и колонкам |
| Удаленные объекты | Объекты, которые были удалены из источника после предыдущей выгрузки |

Метаданные загружаются из системных таблиц ClickHouse® с помощью `SQLAlchemy`. В каталоге метаданные представлены в виде структуры: база данных → таблица/представление → колонка.

Происхождение данных определяется на основе разбора SQL-определений представлений, которые хранятся в `system.tables.create_table_query`.

Для профилирования данных пользователю необходимы права `SELECT` на таблицы.


### OpenSearch {#source-os}

В каталог из OpenSearch загружаются метаданные, которые содержат следующую информацию об источнике:

| Информация об источнике | Описание  |
| ----------------------- | --------- |
| [Индексы](../../managed-opensearch/concepts/indexing.md) | Индексы, доступные в источнике |
| Поля индексов | Поля, входящие в индексы |
| Типы полей | Типы данных полей |
| Шаблоны индексов | Правила, применяемые при создании индексов |
| Профилирование данных | Статистика по индексам и полям |
| Удаленные объекты | Индексы, которые были удалены из источника после предыдущей выгрузки |

Метаданные загружаются из OpenSearch через API. В каталоге каждый индекс представлен как набор данных с полями. Имя и тип поля определяются на основе схемы индекса.

Для профилирования данных пользователю необходимы права на чтение индексов.


### Yandex MPP Analytics for PostgreSQL/Greenplum® {#source-gp}

{% note warning %}

Выгрузка метаданных из Yandex MPP Analytics for PostgreSQL с СУБД Apache Cloudberry™ не поддерживается.

{% endnote %}

В каталог из [Yandex MPP Analytics for PostgreSQL](../../managed-greenplum/index.md) и Greenplum® загружаются метаданные, которые содержат следующую информацию об источнике:

| Информация об источнике | Описание  |
| ----------------------- | --------- |
| Базы данных и схемы | Базы данных и схемы, доступные в источнике |
| Таблицы | Таблицы, их технические имена и принадлежность к схеме |
| Представления | Представления и их SQL-определения |
| Материализованные представления | Материализованные представления и их SQL-определения |
| [Внешние таблицы](../../managed-greenplum/concepts/external-tables.md) | Информация о внешних таблицах |
| Колонки | Имена, типы данных и принадлежность к схеме |
| Ограничения | Правила для поддержания целостности данных |
| Индексы | Индексы таблиц |
| Комментарии | Описания таблиц и колонок, заданные через `COMMENT ON` |
| Происхождение данных | Связи между таблицами, представлениями и материализованными представлениями |
| Профилирование данных | Статистика по таблицам и колонкам |
| Удаленные объекты | Объекты, которые были удалены из источника после предыдущей выгрузки |

В каталоге метаданные представлены в виде структуры: база данных → схема → таблица/представление → колонка.

Происхождение данных может определяться:

* На основе разбора SQL-определений представлений.
* На основе анализа SQL-запросов.

Для профилирования данных пользователю необходимы права `SELECT` на таблицы.


### Yandex StoreDoc/MongoDB {#source-mg}

В каталог из [Yandex StoreDoc](../../storedoc/index.md) и MongoDB загружаются метаданные, которые содержат следующую информацию об источнике:

| Информация об источнике | Описание  |
| ----------------------- | --------- |
| Базы данных | Базы данных, доступные в источнике |
| Коллекции | Имена, принадлежность к базе данных, список полей и их типы, структура документов, технические атрибуты |
| Поля | Имена, вложенные поля, типы, возможность хранения значения `NULL`, смешанные типы |
| Удаленные объекты | Коллекции, которые были удалены из источника после предыдущей выгрузки |

В каталоге метаданные представлены в виде структуры: база данных → коллекция → поле.

В Yandex StoreDoc и MongoDB нет единой схемы коллекции, так как документы могут иметь разную структуру. Если включен вывод схемы, в каталоге формируется объединенная схема коллекции на основе выборки документов. Для построения схемы необходимы права на чтение баз данных, из которых загружаются метаданные.


### Yandex Data Transfer {#source-dt}

В каталог из [Data Transfer](../../data-transfer/index.md) загружаются метаданные о [трансферах](../../data-transfer/concepts/index.md#transfer), которые выполняются в выбранных [каталогах Yandex Cloud](../../resource-manager/concepts/resources-hierarchy.md#folder).

Метаданные содержат следующую информацию о трансфере:

* связи между хранилищами, таблицами и колонками;
* [трансформации данных](../../data-transfer/concepts/data-transformation.md).

Для каждого участника трансфера, для которого в каталоге не [создан источник](../operations/data-catalog/create-source.md), создается хранилище без активного источника. В этом случае в каталоге будут доступны только метаданные, полученные в рамках трансфера. В дальнейшем для каждого хранилища можно создать источник и настроить загрузку метаданных.


### Yandex WebSQL {#source-websql}

В каталог из [WebSQL](../../websql/index.md) загружаются метаданные об SQL-запросах и объектах базы данных, которые используются в запросах. Результаты выполнения запросов не загружаются. При этом запросы загружаются только для баз данных, для которых в каталоге создан источник.

В каталоге пользователю отображаются только его запросы или запросы, на просмотр которых у него есть права.


### Yandex DataLens {#source-datalens}

В каталог из [DataLens](../../datalens/index.md) загружаются метаданные о следующих объектах:

* [датасеты](../../datalens/dataset/index.md);
* [чарты](../../datalens/concepts/chart/index.md);
* [дашборды](../../datalens/concepts/dashboard.md);
* [отчеты](../../datalens/reports/index.md);
* [воркбуки и коллекции](../../datalens/workbooks-collections/index.md).

Метаданные загружаются для выбранных [подключений](../../datalens/concepts/connection/index.md). Если подключения не выбраны, метаданные загружаются для всех доступных подключений.

Для загрузки метаданных [сервисному аккаунту](../../iam/concepts/users/service-accounts.md) необходимы роли `datalens.visitor` и `datalens.admin` на организацию. Вместо роли `datalens.admin` можно выдать роли на доступ к отдельным ресурсам сервиса DataLens (например, `datalens.workbooks.viewer`). В таком случае загружаются только метаданные тех ресурсов, к которым у сервисного аккаунта есть доступ.

[Подробнее о ролях в DataLens](../../datalens/security/roles.md).

_ClickHouse® является зарегистрированным товарным знаком [ClickHouse, Inc](https://clickhouse.com)._

_Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками Broadcom Inc в США и/или других странах._