[Документация Yandex Cloud](../../index.md) > [Monium](../index.md) > [Метрики](../metrics/overview.md) > [Справочник метрик](index.md) > Managed Service for Apache Kafka®
# Метрики Yandex Managed Service for Apache Kafka®
В этом разделе описаны метрики сервиса [Managed Service for Apache Kafka®](../../managed-kafka/index.md), поставляемые в Monium Metrics.
Имя метрики пишется в метку `name`.
Общие метки для всех метрик сервиса Managed Service for Apache Kafka®:
Метка | Значение
----|----
service | Идентификатор сервиса: `managed-kafka`
resource_type | Тип ресурса: `cluster`
resource_id | Идентификатор кластера
host | FQDN хоста
node | Тип брокера: `leader`, `follower`, `replica`
subcluster_name | Тип подкластера: `zookeeper_subcluster`, `kafka_subcluster`
## Метрики CPU {#managed-kafka-cpu-metrics}
Загрузка процессорных ядер.
| Имя
Тип, единицы измерения | Описание |
| ----- | ----- |
| `cpu.fraction`
`DGAUGE`, % | Гарантированная доля vCPU. |
| `cpu.guarantee`
`DGAUGE`, штуки | Гарантированное число ядер. |
| `cpu.limit`
`DGAUGE`, штуки | Предельное число используемых ядер. |
| `cpu.guest`
`DGAUGE`, % | Использование процессорных ядер, тип потребления `guest`. |
| `cpu.idle`
`DGAUGE`, % | Использование процессорных ядер, тип потребления `idle`. |
| `cpu.iowait`
`DGAUGE`, % | Использование процессорных ядер, тип потребления `iowait`. |
| `cpu.irq`
`DGAUGE`, % | Использование процессорных ядер, тип потребления `irq`. |
| `cpu.nice`
`DGAUGE`, % | Использование процессорных ядер, тип потребления `nice`. |
| `cpu.softirq`
`DGAUGE`, % | Использование процессорных ядер, тип потребления `softirq`. |
| `cpu.steal`
`DGAUGE`, % | Использование процессорных ядер, тип потребления `steal`. |
| `cpu.system`
`DGAUGE`, % | Использование процессорных ядер, тип потребления `system`. |
| `cpu.user`
`DGAUGE`, % | Использование процессорных ядер, тип потребления `user`. |
| `load.avg_15min`
`DGAUGE`, % | Средняя нагрузка за 15 минут. |
| `load.avg_1min`
`DGAUGE`, % | Средняя нагрузка за 1 минуту. |
| `load.avg_5min`
`DGAUGE`, % | Средняя нагрузка за 5 минут. |
## Метрики диска {#managed-kafka-disk-metrics}
| Имя
Тип, единицы измерения | Описание |
| ----- | ----- |
| `disk.free_bytes`
`DGAUGE`, байты | Свободное место. |
| `disk.free_inodes`
`DGAUGE`, штуки | Свободное количество inodes. |
| `disk.total_bytes`
`DGAUGE`, байты | Доступное место. |
| `disk.total_inodes`
`DGAUGE`, штуки | Доступное количество inodes. |
| `disk.used_bytes`
`DGAUGE`, байты | Занятое место. |
| `disk.used_inodes`
`DGAUGE`, штуки | Занятое количество inodes. |
## Метрики дисковых операций {#managed-kafka-diskio-metrics}
| Имя
Тип, единицы измерения | Описание |
| ----- | ----- |
| `io.avg_read_time`
`DGAUGE`, миллисекунды | Среднее время чтения с дисков. |
| `io.avg_write_time`
`DGAUGE`, миллисекунды | Среднее время записи на диски. |
| `io.disk*.avg_read_time`
`DGAUGE`, миллисекунды | Среднее время чтения с конкретного диска. |
| `io.disk*.avg_write_time`
`DGAUGE`, миллисекунды | Среднее время записи на конкретный диск. |
| `io.disk*.read_bytes`
`DGAUGE`, байт/с | Скорость чтения с конкретного диска. |
| `io.disk*.read_count`
`DGAUGE`, операций/с | Количество операций чтения с конкретного диска в секунду. |
| `io.disk*.read_merged_count`
`DGAUGE`, операций/с | Количество слитых операций чтения с конкретного диска в секунду. |
| `io.disk*.utilization`
`DGAUGE`, % | Использование конкретного диска. Не работает для сетевых дисков. |
| `io.disk*.write_bytes`
`DGAUGE`, байт/с | Скорость записи на конкретный диск. |
| `io.disk*.write_count`
`DGAUGE`, операций/с | Количество операций записи на конкретный диск в секунду. |
| `io.disk*.write_merged_count`
`DGAUGE`, операций/с | Количество слитых операций записи на конкретный диск в секунду. |
| `io.read_bytes`
`DGAUGE`, байт/с | Скорость чтения с дисков. |
| `io.read_count`
`DGAUGE`, операций/с | Количество операций чтения в секунду. |
| `io.read_merged_count`
`DGAUGE`, операций/с | Количество слитых операций чтения в секунду. |
| `io.utilization`
`DGAUGE`, % | Использование дисков. Не работает для сетевых дисков. |
| `io.write_bytes`
`DGAUGE`, байт/с | Скорость записи на диски. |
| `io.write_count`
`DGAUGE`, операций/с | Количество операций записи в секунду. |
| `io.write_merged_count`
`DGAUGE`, операций/с | Количество слитых операций записи в секунду. |
| `io_quota_utilization_percentage`
`DGAUGE`, % | Средний процент используемой квоты диска. |
| `io_quota_utilization_percentage_burst`
`DGAUGE`, % | Максимальный процент используемой квоты диска. |
| `read_bytes`
`DGAUGE`, байты/с | Среднее количество байт, прочитанных с диска. |
| `read_bytes_burst`
`DGAUGE`, байты/с | Максимальное количество байт, прочитанных с диска. |
| `read_latency`
`DGAUGE`, миллисекунды | Гистограмма распределения времени обработки запросов на чтение с диска. |
| `read_ops`
`DGAUGE`, операции/с | Среднее количество операций чтения с диска. |
| `read_ops_burst`
`DGAUGE`, операции/с | Максимальное количество операций чтения с диска. |
| `read_throttler_delay`
`DGAUGE`, миллисекунды | Гистограмма задержки, вносимой в длительность выполнения операций чтения при превышении квоты диска. |
| `write_bytes`
`DGAUGE`, байты/с | Среднее количество байт, записанных на диск. |
| `write_bytes_burst`
`DGAUGE`, байты/с | Максимальное количество байт, записанных на диск. |
| `write_latency`
`DGAUGE`, миллисекунды | Гистограмма распределения времени обработки запросов на запись на диск. |
| `write_ops`
`DGAUGE`, операции/с | Среднее количество операций записи на диск. |
| `write_ops_burst`
`DGAUGE`, операции/с | Максимальное количество операций записи на диск. |
| `write_throttler_delay`
`DGAUGE`, миллисекунды | Гистограмма задержки, вносимой в длительность выполнения операций записи при превышении квоты диска. |
## Метрики RAM {#managed-kafka-ram-metrics}
| Имя
Тип, единицы измерения | Описание |
| ----- | ----- |
| `mem.guarantee_bytes`
`DGAUGE`, байты | Гарантированный размер оперативной памяти. |
| `mem.limit_bytes`
`DGAUGE`, байты | Предельный размер оперативной памяти. |
| `mem.active_bytes`
`DGAUGE`, байты | Объем оперативной памяти, которая используется наиболее часто и освобождается только в крайнем случае. |
| `mem.available_bytes`
`DGAUGE`, байты | Использование оперативной памяти, тип потребления `available`. |
| `mem.buffers_bytes`
`DGAUGE`, байты | Использование оперативной памяти, тип потребления `buffers`. |
| `mem.cached_bytes`
`DGAUGE`, байты | Использование оперативной памяти, тип потребления `cached`. |
| `mem.free_bytes`
`DGAUGE`, байты | Объем свободной оперативной памяти, доступной для использования, без учета `mem.buffers_bytes` и `mem.cached_bytes`. |
| `mem.shared_bytes`
`DGAUGE`, байты | Использование оперативной памяти, тип потребления `shared`. |
| `mem.total_bytes`
`DGAUGE`, байты | Использование оперативной памяти, тип потребления `total`. |
| `mem.used_bytes`
`DGAUGE`, байты | Объем оперативной памяти, которую в данный момент используют запущенные процессы. |
## Метрики сети {#managed-kafka-net-metrics}
| Имя
Тип, единицы измерения | Описание |
| ----- | ----- |
| `net.bytes_recv`
`DGAUGE`, байт/с | Скорость получения данных по сети. |
| `net.bytes_sent`
`DGAUGE`, байт/с | Скорость отправки данных по сети. |
| `net.dropin`
`DGAUGE`, штуки | Количество пакетов, отброшенных при получении. |
| `net.dropout`
`DGAUGE`, штуки | Количество пакетов, отброшенных при отправке. |
| `net.errin`
`DGAUGE`, штуки | Количество ошибок при получении. |
| `net.errout`
`DGAUGE`, штуки | Количество ошибок при отправке. |
| `net.packets_recv`
`DGAUGE`, пакетов/с | Интенсивность получения данных по сети. |
| `net.packets_sent`
`DGAUGE`, пакетов/с | Интенсивность отправки данных по сети. |
## Метрики сервиса {#managed-kafka-metrics}
#|
|| **Имя**
**Тип, единицы измерения** | **Описание** ||
|| `kafka_controller_ControllerStats_LeaderElectionRateAndTimeMs`
`DGAUGE`, миллисекунды | Смена брокера-лидера за единицу времени, в норме показывает `0`. При проведении технического обслуживания может расти, что не является тревожным сигналом.
Дополнительные метки: `quantile` ||
|| `kafka_controller_KafkaController_ActiveControllerCount`
`DGAUGE`, штуки | Число активных контроллеров. ||
|| `kafka_controller_KafkaController_GlobalTopicCount`
`DGAUGE`, штуки | Количество топиков. ||
|| `kafka_controller_KafkaController_OfflinePartitionsCount`
`DGAUGE`, штуки | Число offline-разделов. ||
|| `kafka_controller_KafkaController_PreferredReplicaImbalanceCount`
`DGAUGE`, штуки | Показатель дисбаланса в желаемом распределении реплик, в норме показывает `0`. ||
|| `kafka_group_topic_partition_lag`
`DGAUGE`, штуки | Отставание сообщений: разница между смещением и общим числом сообщений раздела. ||
|| `kafka_group_topic_partition_offset`
`DGAUGE`, штуки | Текущее смещение группы потребителей в разделе. ||
|| `kafka_log_Log_LogStartOffset`
`DGAUGE`, штуки | Первое смещение в разделе. ||
|| `kafka_log_Log_LogEndOffset`
`DGAUGE`, штуки | Последнее смещение в разделе. ||
|| `kafka_log_Log_Size`
`DGAUGE`, байты | Размер раздела на диске. ||
|| `kafka_host_count`
`DGAUGE`, штуки | Количество хостов в кластере. ||
|| `kafka_is_alive`
`DGAUGE`, `0`/`1` | Показатель работоспособности брокера. Алгоритм вычисления метрики зависит от наличия [высокодоступных топиков (далее HA-топиков)](../../managed-kafka/concepts/ha-cluster.md#three-or-more-hosts) и состояния их лидеров партиций:
* Если на брокере есть хотя бы один HA-топик, алгоритм проверяет только HA-топики. У каждого HA-топика количество реплик должно быть равно или больше значения `Minimum number of in-sync replicas`.
* Если на брокере отсутствуют HA-топики, алгоритм проверяет все топики. У каждого топика количество реплик должно быть равно или больше значения `Minimum number of in-sync replicas`.
Подробнее о `Minimum number of in-sync replicas` в разделе [Настройки Apache Kafka®](../../managed-kafka/concepts/settings-list.md#topic-settings).
Принимает значение `1`, если брокер работает, `0`, если нет. ||
|| `kafka_network_RequestChannel_RequestQueueSize`
`DGAUGE`, штуки | Число запросов в очереди. ||
|| `kafka_network_RequestMetrics_Errors`
`DGAUGE`, штуки | Число ошибок.
Дополнительные метки: `request` ||
|| `kafka_network_RequestMetrics_LocalTimeMs`
`DGAUGE`, миллисекунды | Время обработки запроса брокером-лидером.
Дополнительные метки: `request`, `quantile` ||
|| `kafka_network_RequestMetrics_MessageConversionsTimeMs`
`DGAUGE`, миллисекунды | Время преобразования формата сообщения.
Дополнительные метки: `request`, `quantile` ||
|| `kafka_network_RequestMetrics_RemoteTimeMs`
`DGAUGE`, миллисекунды | Время ожидания брокера-фолловера.
Дополнительные метки: `request`, `quantile` ||
|| `kafka_network_RequestMetrics_RequestQueueTimeMs`
`DGAUGE`, миллисекунды | Время ожидания в очереди запросов.
Дополнительные метки: `request`, `quantile` ||
|| `kafka_network_RequestMetrics_Requests`
`DGAUGE`, штуки | Число запросов.
Дополнительные метки: `request` ||
|| `kafka_network_RequestMetrics_ResponseQueueTimeMs`
`DGAUGE`, миллисекунды | Время ожидания в очереди на отправку ответа.
Дополнительные метки: `request`, `quantile` ||
|| `kafka_network_RequestMetrics_ResponseSendTimeMs`
`DGAUGE`, миллисекунды | Время отправки ответа.
Дополнительные метки: `request`, `quantile` ||
|| `kafka_network_RequestMetrics_TotalTimeMs`
`DGAUGE`, миллисекунды | Суммарное время выполнения запроса.
Дополнительные метки: `request`, `quantile` ||
|| `kafka_network_SocketServer_NetworkProcessorAvgIdlePercent`
`DGAUGE`, % | Средний показатель простоя сетевого процессора. Значения от `0` (все ресурсы задействованы) до `1` (все ресурсы свободны). ||
|| `kafka_server_BrokerTopicMetrics_BytesIn`
`DGAUGE`, байты | Входящий размер данных. ||
|| `kafka_server_BrokerTopicMetrics_BytesOut`
`DGAUGE`, байты | Исходящий размер данных. ||
|| `kafka_server_BrokerTopicMetrics_FailedFetchRequests`
`DGAUGE`, штуки | Число запросов, полученных с ошибкой. ||
|| `kafka_server_BrokerTopicMetrics_FailedProduceRequests`
`DGAUGE`, штуки | Число запросов, обработанных с ошибкой. ||
|| `kafka_server_BrokerTopicMetrics_MessagesIn`
`DGAUGE`, штуки | Число записанных сообщений. ||
|| `kafka_server_BrokerTopicMetrics_ReplicationBytesIn`
`DGAUGE`, байты | Размер реплицированных данных. ||
|| `kafka_server_KafkaRequestHandlerPool_RequestHandlerAvgIdlePercent_count`
`DGAUGE`, % | Средний показатель простоя обработчика запросов. Значения от `0` (все ресурсы заняты) до `1` (все ресурсы свободны). ||
|| `kafka_server_KafkaServer_BrokerState`
`DGAUGE` | Состояние брокера:
* 0: `Not Running`
* 1: `Starting`
* 2: `Recovering from Unclean Shutdown`
* 3: `Running as Broker`
* 4: `Running as Controller`
* 5: `Pending Controlled ShutdownStates`
* 6: `Broker Shutting Down` ||
|| `kafka_server_ReplicaFetcherManager_MaxLag`
`DGAUGE`, штуки | Максимальное отставание репликации сообщений между брокером-фолловером и брокером-лидером.
Дополнительные метки: `clientId` ||
|| `kafka_server_ReplicaManager_LeaderCount`
`DGAUGE`, штуки | Число разделов, где брокер является лидером. ||
|| `kafka_server_ReplicaManager_OfflineReplicaCount`
`DGAUGE`, штуки | Количество разделов, не имеющих брокера-лидера. Такие разделы не позволяют ни запись, ни чтение сообщений. ||
|| `kafka_server_ReplicaManager_PartitionCount`
`DGAUGE`, штуки | Число разделов для брокера. ||
|| `kafka_server_ReplicaManager_ReassigningPartitions`
`DGAUGE`, штуки | Число разделов в процессе смены лидера. ||
|| `kafka_server_ReplicaManager_UnderMinIsrPartitionCount`
`DGAUGE`, штуки | Количество разделов, у которых число синхронизированных реплик меньше минимального допустимого значения, указанного в настройках. ||
|| `kafka_server_ReplicaManager_UnderReplicatedPartitions`
`DGAUGE`, штуки | Количество разделов, у которых число синхронизированных реплик (in-sync replicas, ISR) меньше фактора репликации. ||
|| `kafka_server_ZooKeeperClientMetrics_ZooKeeperRequestLatencyMs`
`DGAUGE`, миллисекунды | Задержка запросов в ZooKeeper.
Дополнительные метки: `quantile` ||
|| `kafka_shard_count`
`DGAUGE`, штуки | Количество активных шардов. ||
|| `kafka_topic_partition_high_water_mark`
`DGAUGE`, штуки | Наибольшее смещение для раздела. ||
|| `kafka_topic_partition_low_water_mark`
`DGAUGE`, штуки | Наименьшее смещение для раздела. ||
|#
{% note info %}
В этом разделе приведены только основные метрики Managed Service for Apache Kafka®, поставляемые в Monium Metrics. Подробнее обо всех метриках Managed Service for Apache Kafka® можно посмотреть в [официальной документации](https://kafka.apache.org/42/operations/monitoring/).
{% endnote %}
## Прочие метрики {#managed-kafka-other-metrics}
#|
|| **Имя**
**Тип, единицы измерения** | **Описание** ||
|| `can_read`
`DGAUGE`, `0`/`1` | Показатель доступности хоста на чтение. Алгоритм вычисления метрики зависит от наличия [высокодоступных топиков (далее HA-топиков)](../../managed-kafka/concepts/ha-cluster.md#three-or-more-hosts) и состояния их лидеров партиций:
* Если на хосте есть хотя бы один HA-топик, алгоритм проверяет только HA-топики. У каждого HA-топика лидер партиции должен быть онлайн.
* Если на хосте отсутствуют HA-топики, алгоритм проверяет все топики. У каждого топика лидер партиции должен быть онлайн.
Принимает значение `1`, если хост доступен на чтение, `0`, если нет. ||
|| `can_write`
`DGAUGE`, `0`/`1` | Показатель доступности хоста на запись. Алгоритм вычисления метрики зависит от наличия [высокодоступных топиков (далее HA-топиков)](../../managed-kafka/concepts/ha-cluster.md#three-or-more-hosts) и состояния их лидеров партиций:
* Если на хосте есть хотя бы один HA-топик, алгоритм проверяет только HA-топики. У каждого HA-топика количество реплик должно быть равно или больше значения `Minimum number of in-sync replicas`.
* Если на хосте отсутствуют HA-топики, алгоритм проверяет все топики. У каждого топика количество реплик должно быть равно или больше значения `Minimum number of in-sync replicas`.
Подробнее о `Minimum number of in-sync replicas` в разделе [Настройки Apache Kafka®](../../managed-kafka/concepts/settings-list.md#topic-settings).
Дополнительно проверяется наличие свободного места в [хранилище](../../managed-kafka/concepts/storage.md). Оно должно быть более 5%. При недостатке места хост недоступен на запись.
Принимает значение `1`, если хост доступен на запись, `0`, если нет. ||
|#