[Документация Yandex Cloud](../../index.md) > [Yandex MetaData Hub](../index.md) > О сервисе Yandex MetaData Hub

# О сервисе Yandex MetaData Hub

Yandex MetaData Hub — сервис, который предоставляет возможности по управлению данными в Yandex Cloud:

* автоматическое создание и управление параметрами подключений к базам данных;
* хранение, получение схем и проверка эволюции схем обмена данными;
* создание и управление кластерами Apache Hive™ Metastore;
* поиск и визуализация метаинформации о хранилищах данных и связях между ними.

## Управление подключениями {#connection-manager}


{% note warning %}

Функциональность доступна только в [регионе Россия](../../overview/concepts/region.md).

{% endnote %}


С помощью Yandex Connection Manager вы можете управлять параметрами [подключений](connection-manager.md) к базам данных. Подключения создаются автоматически при создании кластера управляемых баз данных в Yandex Cloud для кластеров PostgreSQL, MySQL®, ClickHouse®, Redis, Valkey™, OpenSearch, MongoDB, Trino, Apache Kafka® и Yandex StoreDoc. Для остальных типов кластеров можно [создать подключение](../operations/create-connection.md) самостоятельно.

Кластеры, созданные до появления возможности интеграции с Connection Manager, будут работать в старом режиме. Для них интеграцию можно включить отдельно в [дополнительных настройках каждого кластера](../quickstart/connection-manager.md#mdb-integration).

Подключения и секреты, которые создаются автоматически при создании кластера, нельзя редактировать и удалять — они изменяются автоматически при редактировании настроек пользователя в кластере управляемой базы данных.

Подключение содержит всю информацию о параметрах соединения с базой данных. Конфиденциальная часть этой информации, такая как пароль пользователя для доступа к базе данных, хранится в сервисе [Yandex Lockbox](../../lockbox/index.md) в виде [секрета](secret.md).


## Управление табличными метаданными {#metastore}

В сервисе Yandex MetaData Hub вы можете [создавать кластеры Apache Hive™ Metastore](../operations/metastore/cluster-create.md).

[Apache Hive™ Metastore](https://cwiki.apache.org/confluence/display/hive/design#Design-Metastore) — это сервер табличных метаданных, который:

* Предоставляет клиентским приложениям информацию о том, где брать данные для обработки и как их интерпретировать.
* Сохраняет метаданные таблиц между запусками вычислительных кластеров с коротким временем жизни.
* Делит пространство данных между одновременно работающими кластерами.
* Связывает разнородные ETL-системы и инструменты для работы с общими данными и упрощает их развертывание.
* Обеспечивает [отказоустойчивость](../../architecture/fault-tolerance.md), масштабирование хранилища и резервное копирование метаданных.
* Упрощает отправку логов и метрик, процессы обновления и миграции.
* Играет ключевую роль в облачных сценариях обработки данных, позволяя различным инструментам (Spark, Trino, Hive) работать с одними и теми же метаданными.

Ряд продуктов Apache®, среди которых [Hive](https://hive.apache.org/), [Spark](https://spark.apache.org/) и [Impala](https://impala.apache.org/overview.html), поддерживает работу с Apache Hive™ Metastore.


### Примеры использования {#examples-metastore}

* [Перенос метаданных между кластерами Yandex Data Processing с помощью Apache Hive™ Metastore](../tutorials/metastore-import.md)
* [Совместная работа с таблицами Yandex Data Processing с использованием Apache Hive™ Metastore](../tutorials/sharing-tables.md)

## Реестр схем данных {#schema-registry}


{% note warning %}

Функциональность доступна только в [регионе Россия](../../overview/concepts/region.md).

{% endnote %}


[Сервис Schema Registry](schema-registry.md) реализует реестр схем — централизованное хранилище для управления и проверки [схем данных](schema-registry.md#schema). Реестр схем позволяет обеспечить безопасную эволюцию схем данных, решить проблемы совместимости данных и повысить производительность систем, сократив объем данных, передаваемых по сети. Кроме того, реестр схем позволит соблюсти требования безопасности по работе с данными и наладить совместную работу между командами. В Schema Registry вы можете добавлять схемы формата [Avro](https://avro.apache.org/), [JSON Schema](https://json-schema.org/) и [Protobuf](https://protobuf.dev/).

Реестр схем позволяет вам определять схемы для ваших форматов и версий данных и регистрировать их в реестре. После регистрации схему можно использовать совместно в различных системах и приложениях. Когда поставщик отправляет данные получателю сообщений, схема данных включается в заголовок сообщения, а реестр схемы гарантирует, что схема действительна и совместима с ожидаемой схемой для субъекта.

### Примеры использования {#examples-schema-registry}

* [Создание реестра схем для поставки данных в формате Debezium CDC из Apache Kafka®](../tutorials/schema-registry-cdc-debezium-kafka.md)


## Сбор и разметка метаданных {#data-catalog}


{% note warning %}

Функциональность доступна только в [регионе Россия](../../overview/concepts/region.md).

{% endnote %}


[Сервис Data Catalog](data-catalog.md) позволяет вам собирать, анализировать и размечать метаданные из различных источников. Вы можете загружать структурные метаданные, например список таблиц в кластере управляемых баз данных, их схемы и связи между таблицами.

Data Catalog можно использовать для:

* Сбора, хранения и систематизации метаданных.
* Поиска дашборда с нужными бизнес-показателями.
* Анализа и интерпретации бизнес-показателей.
* Поиска данных для решения бизнес-задач.
* Поиска источников информации, на основании которых был построен определенный объект.
* Поиска ответственных за данные, в том числе пассивно — через подписку.
* Получения схемы для потребителя данных.


_Apache® и [Apache Hive™](https://hive.apache.org/) являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах._