[Документация Yandex Cloud](../../../../index.md) > [Yandex DataLens](../../../index.md) > [Yandex DataLens Platform](../../index.md) > Метаданные > Структура метаданных

# Метаданные в Yandex DataLens Platform

_Метаданные_ — это информация о данных платформы Yandex DataLens Platform: какие есть таблицы и дашборды, что в них лежит, откуда поставляется, кто за это отвечает и насколько этому можно доверять. Если данные отвечают на вопрос «сколько было продаж в марте», то метаданные — на вопрос «в какой таблице это искать», «актуальна ли она» и «что на самом деле значит поле `revenue_net`».

## Каталог метаданных {#metadata-catalog}

Отсутствие метаданных приводит к тому, что контекст данных сохраняется лишь в памяти сотрудников и их переписках. _Каталог метаданных_ собирает их в одном месте, чтобы:

* находить данные — единый поиск по таблицам, датасетам, чартам и дашбордам;
* понимать данные — описания таблиц и полей, бизнес-термины, домены по отделам и направлениям;
* доверять данным — прозрачность источника, цепочки преобразований и статистики по содержимому;
* отвечать за данные — определение владельца, подписка на изменения, выполнение регуляторных требований по происхождению данных.

Метаданные загружаются из источников автоматически. Сами данные каталог не копирует за исключением семплов при включенном профилирования. Доступ к семплам имеют только пользователи с правами доступа к данным.

![image](../../../../_assets/datalens/metadata/data-catalog.svg)

В каталог загружаются метаданные, которые содержат следующую информацию об источнике:

| Информация об источнике | Описание  |
| ----------------------- | --------- |
| Объекты хранения | Базы данных, схемы, таблицы, представления, индексы |
| Структура данных | Имена колонок/полей, их типы данных и возможность хранения значения `NULL` (nullable), вложенные колонки/поля |
| Комментарии | Описания к таблицам и колонкам |
| Происхождение данных | Связи между таблицами и представлениями |
| Профилирование данных | Статистика по таблицам и колонкам |
| Удаленные объекты | Объекты, которые были удалены из источника после предыдущей выгрузки |

В зависимости от типа источника данных, загружаемые данные могут отличаться.

{% cut "PostgreSQL" %}

| Информация об источнике | Описание  |
| ----------------------- | --------- |
| Базы данных и схемы | Базы данных и схемы, доступные в источнике |
| Таблицы | Таблицы, их технические имена и принадлежность к схеме |
| Представления | Представления и их SQL-определения |
| Хранимые процедуры | Хранимые процедуры и их SQL-определения |
| Колонки | Имена, типы данных и принадлежность к схеме |
| Комментарии | Описания таблиц и колонок, заданные через `COMMENT ON` |
| Происхождение данных | Связи между таблицами и представлениями, а также между представлениями |
| Происхождение данных на уровне колонок | Связи между колонками в представлениях |
| Профилирование данных | Статистика по таблицам, строкам и колонкам |
| Удаленные объекты | Объекты, которые были удалены из источника после предыдущей выгрузки |

В каталоге метаданные представлены в виде структуры: база данных → схема → таблица/представление → колонка.

Происхождение данных может определяться:

* На основе разбора SQL-определений представлений.
* На основе анализа SQL-запросов.
  
  Для анализа SQL-запросов требуется PostgreSQL версии не ниже `13` и расширение `pg_stat_statements`.

Для профилирования данных пользователю необходимы права `SELECT` на таблицы.

{% endcut %}

{% cut "MySQL®" %}

| Информация об источнике | Описание  |
| ----------------------- | --------- |
| Базы данных | Базы данных, доступные в источнике |
| Таблицы | Таблицы и их принадлежность к базе данных |
| Представления | Представления и их SQL-определения |
| Хранимые процедуры | Хранимые процедуры и их SQL-определения |
| Колонки | Имена и типы данных |
| Комментарии | Комментарии к таблицам и колонкам |
| Происхождение данных | Связи между таблицами и представлениями, а также между представлениями |
| Происхождение данных на уровне колонок | Связи между колонками источника и колонками представлений |
| Профилирование данных | Статистика по таблицам и колонкам |
| Удаленные объекты | Объекты, которые были удалены из источника после предыдущей выгрузки |

Метаданные загружаются из системных таблиц MySQL®. В каталоге метаданные представлены в виде структуры: база данных → таблица/представление → колонка.

Происхождение данных определяется на основе разбора SQL-определений представлений.

Для сбора метаданных пользователю необходимы следующие привилегии:

* для представлений — `SHOW VIEW`;
* для метрик профилирования данных — `SELECT` на таблицы.

{% endcut %}

{% cut "ClickHouse®" %}

| Информация об источнике | Описание  |
| ---------------------- | --------- |
| Базы данных | Базы данных, доступные в источнике |
| Таблицы | Пользовательские таблицы |
| Представления | Представления и их SQL-определения |
| Материализованные представления | Материализованные представления и их SQL-определения |
| Словари| Словари и их структура |
| Колонки | Имена и типы данных |
| Комментарии | Комментарии к таблицам и колонкам |
| Происхождение данных | Связи между таблицами и представлениями, а также между представлениями |
| Происхождение данных на уровне колонок | Связи между колонками |
| Использование объектов | Статистика обращений к объектам |
| Профилирование данных | Статистика по таблицам и колонкам |
| Удаленные объекты | Объекты, которые были удалены из источника после предыдущей выгрузки |

Метаданные загружаются из системных таблиц ClickHouse® с помощью `SQLAlchemy`. В каталоге метаданные представлены в виде структуры: база данных → таблица/представление → колонка.

Происхождение данных определяется на основе разбора SQL-определений представлений, которые хранятся в `system.tables.create_table_query`.

Для профилирования данных пользователю необходимы права `SELECT` на таблицы.

{% endcut %}

{% cut "Данные бизнес-аналитики" %}

В каталог загружаются метаданные о датасетах, чартах, дашбордах, отчетах, воркбуках и коллекциях. Метаданные загружаются для выбранных подключений. Если подключения не выбраны, метаданные загружаются для всех доступных подключений.

{% endcut %}

{% cut "SQL" %}

В каталог загружаются метаданные об SQL-запросах и объектах базы данных, которые используются в запросах. Результаты выполнения запросов не загружаются. При этом запросы загружаются только для баз данных, для которых в каталоге создан источник.
В каталоге пользователю отображаются только его запросы или запросы, на просмотр которых у него есть права.

{% endcut %}

Что дальше:

* [Проверьте собранные метаданные](../../operations/data-catalog/work-with-data-catalog.md).
* [Добавьте разметку](../../operations/data-catalog/metadata-markup.md).
* [Определите связи между объектами](../../operations/data-catalog/metadata-linage.md).