[Документация Yandex Cloud](../../index.md) > [Yandex Managed Service for Kubernetes](../index.md) > [Концепции](index.md) > [Рекомендации по использованию Managed Service for Kubernetes](usage-recommendations.md) > Высокая доступность и отказоустойчивость

# Высокая доступность и отказоустойчивость Managed Service for Kubernetes


{% note info %}

В [регионе Казахстан](../../overview/concepts/region.md) поддерживаются базовые и высокодоступные мастера в одной [зоне доступности](../../overview/concepts/geo-scope.md).

{% endnote %}


Рекомендации ниже помогут подготовить мастер, узлы и приложения к отказу узла или зоны доступности. Тестируйте предлагаемые стратегии в тестовом окружении перед вводом приложений в промышленную эксплуатацию.

* [Общие рекомендации](#general-recommendations).
* [Размещение нагрузки](#placement).
* [Запас мощности и автомасштабирование](#capacity).
* [Приоритеты и ограничения ресурсов](#workload-resources).

{% note info %}

Список рекомендаций пополняется.

{% endnote %}

## Общие рекомендации {#general-recommendations}

* Используйте [релизный канал](release-channels-and-updates.md) `REGULAR` или `STABLE`.

  {% note tip %}

  Используйте релизный канал `RAPID` для тестовых окружений, чтобы быстрее тестировать обновления Kubernetes и Managed Service for Kubernetes.

  {% endnote %}

* Контролируйте обновление [кластера](index.md#kubernetes-cluster) и [группы узлов](index.md#node-group). Либо отключайте автоматическое обновление и выполняйте его вручную, либо задавайте время обновления так, чтобы ваши приложения были доступны в часы их активного использования.
* Настраивайте [политики PodDisruptionBudget](node-group/node-drain.md), чтобы сократить время простоя [сервисов](service.md) во время обновления.
* Настраивайте корректные [проверки состояния](../../network-load-balancer/concepts/health-check.md) для балансировщиков нагрузки.

## Размещение нагрузки {#placement}

Распределяйте компоненты кластера и реплики приложений по нескольким зонам доступности, чтобы снизить влияние отказа отдельного узла или зоны на работу приложений.

### Размещайте мастер в трех зонах доступности {#master-placement}

Выбирайте [высокодоступный мастер](index.md#master), размещенный в трех [зонах доступности](../../overview/concepts/geo-scope.md). Он позволяет сохранить доступ к API Kubernetes и управление объектами при отказе одной зоны. Гарантии доступности определяются [соглашением об уровне обслуживания](https://yandex.ru/legal/cloud_sla_kb/).

Порядок настройки размещения мастера приведен в инструкции [Создать кластер Managed Service for Kubernetes с высокодоступным мастером в трех зонах доступности](../operations/kubernetes-cluster/kubernetes-cluster-create.md#example-ha-cluster-three-zones).

### Создавайте группы узлов в разных зонах доступности {#node-groups}

[Создавайте отдельные группы узлов](../operations/node-group/node-group-create.md) в разных зонах:

* Для групп фиксированного размера задавайте число узлов (`scale_policy.fixed_scale.size`) так, чтобы после отказа одной зоны ресурсов узлов в остальных зонах хватало для продолжения работы критичных приложений и системных компонентов.
* Для групп с автоматическим масштабированием задавайте максимальное число узлов (`scale_policy.auto_scale.max`) так, чтобы группы в остальных зонах могли увеличиться и принять нагрузку из отказавшей зоны.

{% note info %}

Managed Service for Kubernetes использует [группы ВМ](../../compute/concepts/instance-groups/index.md) Yandex Compute Cloud. Учитывайте [поведение групп ВМ при зональном инциденте](../../compute/concepts/instance-groups/zonal-inc/overview.md).

{% endnote %}

### Распределяйте реплики приложений по зонам и узлам {#replica-placement}

Разворачивайте приложения в нескольких экземплярах. Распределяйте реплики по зонам и узлам с помощью `topologySpreadConstraints` и `podAntiAffinity`.

Используйте метку `topology.kubernetes.io/zone`, чтобы распределить реплики по зонам доступности, и `kubernetes.io/hostname`, чтобы распределить их по узлам.

{% cut "Пример распределения реплик по зонам и узлам" %}

Добавляйте поля в `spec.template` объекта `Deployment`. Метка `app: checkout` должна совпадать с меткой приложения и селектором `Deployment`. Число реплик задавайте отдельно в `spec.replicas`.

```yaml
metadata:
  labels:
    app: checkout
spec:
  topologySpreadConstraints:
    - maxSkew: 1
      topologyKey: topology.kubernetes.io/zone
      whenUnsatisfiable: ScheduleAnyway
      labelSelector:
        matchLabels:
          app: checkout
    - maxSkew: 1
      topologyKey: kubernetes.io/hostname
      whenUnsatisfiable: ScheduleAnyway
      labelSelector:
        matchLabels:
          app: checkout
```

Значение `ScheduleAnyway` задает предпочтение равномерного размещения, но не гарантирует его. Если выполнить ограничения невозможно, поды могут быть размещены с отклонением от них.

{% endcut %}

### Не ограничивайте размещение приложений одной зоной или узлом {#placement-constraints}

Проверяйте в шаблонах подов в `Deployment`, `StatefulSet`, `DaemonSet`, `Job` и `CronJob`, что правила размещения допускают запуск подов на оставшихся узлах после отказа.

#|
|| Параметр или правило | Что проверять ||
|| `nodeName` | Не задавайте имя конкретного узла в шаблоне приложения: при отказе этого узла новые поды с таким значением не смогут запуститься на других узлах. ||
|| `nodeSelector` и обязательные правила `nodeAffinity` | Проверяйте ограничения по зоне, имени узла, группе узлов и пользовательским меткам. Сопоставляйте их с именами и метками узлов в других зонах: после отказа должны оставаться узлы, подходящие под заданные условия. ||
|| Обязательные правила `podAffinity` и `podAntiAffinity` | Проверяйте селекторы подов, пространства имен и `topologyKey`. Сопоставляйте эти условия с размещением выбранных подов после отказа узла или зоны. Например, обязательное размещение каждой реплики на отдельном узле требует достаточного количества работающих узлов. ||
|| `tolerations` и [taint-политики](index.md#taints-tolerations) | Проверяйте, что у подов заданы `tolerations` для taint-политик с эффектами `NoSchedule` и `NoExecute` на узлах, предназначенных для приема нагрузки после отказа. ||
|| `topologySpreadConstraints` | Проверяйте значения `topologyKey`, `labelSelector`, `maxSkew` и `minDomains`: допускают ли они запуск реплик в оставшихся зонах. Значение `whenUnsatisfiable: DoNotSchedule` запрещает размещение, если правила выполнить невозможно, и поды могут остаться в состоянии `Pending`. Значение `ScheduleAnyway` допускает отклонения от равномерного распределения. ||
|#

Узлы должны иметь доступ к нужным данным и иметь достаточно свободных ресурсов.

Проверяйте размещение подов при отказе узла или зоны в тестовом окружении. Восстановление зоны само по себе не перераспределяет уже работающие поды.

## Запас мощности и автомасштабирование {#capacity}

### Проверяйте доступные облачные квоты {#cloud-quotas}

Заранее запрашивайте увеличение [квот Managed Service for Kubernetes](limits.md), [Compute Cloud](../../compute/concepts/limits.md) и [Virtual Private Cloud](../../vpc/concepts/limits.md), чтобы после отказа зоны можно было создать дополнительные узлы.

Например, если после отказа зоны потребуется создать 12 дополнительных узлов по 4 vCPU и 16 ГБ оперативной памяти, предусматривайте свободные квоты Compute Cloud на 12 виртуальных машин, а также 48 vCPU и 192 ГБ памяти в резервной зоне.

### Обеспечивайте запас узлов {#node-capacity}

На создание узлов, скачивание образов и запуск подов требуется время — поддерживайте достаточное количество работающих узлов и реплик, чтобы критичная нагрузка продолжала работать после отказа зоны.

* [Настраивайте автоматическое масштабирование кластера](../operations/autoscale.md#ca).

* Используйте [пулы резервов ВМ](../../compute/concepts/reserved-pools.md) и [создавайте группы узлов из пула](../operations/node-group/node-group-create-in-instance-pool.md).

Например, если после отказа зоны потребуется создать 12 дополнительных узлов по 4 vCPU и 16 ГБ оперативной памяти, предусматривайте свободные квоты Compute Cloud на 12 виртуальных машин, а также 48 vCPU и 192 ГБ памяти в резервной зоне.

### Не размещайте критичные приложения на прерываемых ВМ {#non-preemptible-nodes}

Не используйте [прерываемые ВМ](../../compute/concepts/preemptible-vm.md) для размещения критичных приложений — например, собственных Ingress-контроллеров.

Узлам на непрерываемых ВМ присваивается служебная метка `yandex.cloud/preemptible: "false"`. Чтобы запускать поды приложения только на таких узлах, добавляйте в `spec.template.spec` ресурса `Deployment`:

```yaml
nodeSelector:
  yandex.cloud/preemptible: "false"
```

## Приоритеты и ограничения ресурсов {#workload-resources}

### Ограничивайте неконтролируемое использование ресурсов в кластере {#resource-limits}

**Ресурсы подов и контейнеров.** [Изолируйте ресурсы](usage-recommendations.md#isolation) — настраивайте потребление CPU и памяти с помощью _ресурсов_ (`requests`) и _лимитов_ (`limits`) для всех подов кластера. Чтобы ограничения применялись автоматически и проверялись при создании пода, используйте `LimitRange`. Подробнее о `LimitRange` в [документации Kubernetes](https://kubernetes.io/docs/concepts/policy/limit-range/).

**Место для временных файлов и логов контейнера.** Ограничивайте использование временного дискового пространства, чтобы снизить риск заполнения диска узла и нарушения работы других подов.

Для `ephemeral-storage` задавайте `requests` и `limits`. Значения по умолчанию и допустимые границы можно так же задавать через [LimitRange](https://kubernetes.io/docs/concepts/policy/limit-range/). При выборе узла планировщик учитывает `requests.ephemeral-storage` наряду с запросами CPU и памяти. Подробнее — в [документации Kubernetes о временном хранилище](https://kubernetes.io/docs/concepts/configuration/manage-resources-containers/#local-ephemeral-storage).

Для дисковых томов `emptyDir` дополнительно ограничивайте размер каждого тома с помощью `sizeLimit`. Подробнее — в [документации Kubernetes](https://kubernetes.io/docs/reference/storage/volume-types/#emptydir).

**Ресурсы и количество объектов в пространстве имен.** [Используйте политику](usage-recommendations.md#resource-quota) `ResourceQuota`, чтобы ограничить ресурсы в пределах пространства имен. Ограничивайте не только CPU и память, но и количество объектов, например `count/jobs.batch`, `count/secrets`, `count/configmaps` и `persistentvolumeclaims`. Оставляйте запас квоты на масштабирование и обновления.

### Подбирайте ресурсы и число реплик по результатам нагрузочных тестов {#load-testing}

При отказе части подов их нагрузку принимают оставшиеся реплики. Подбирайте ресурсы и число реплик так, чтобы приложение продолжало обрабатывать запросы до запуска новых подов.

На нагрузочных тестах измеряйте потребление CPU и памяти одной репликой при штатной работе, запуске и росте нагрузки. Определяйте, какую нагрузку реплика выдерживает при допустимых задержках и доле ошибок. Учитывайте, что увеличение ресурсов не всегда повышает производительность: ее могут ограничивать настройки приложения и зависимые сервисы.

По результатам тестов:

* Задавайте `requests` с учетом ресурсов, необходимых реплике для устойчивой работы. Если после отказа потребление может превысить `requests`, предусматривайте запас ресурсов на узлах.
* Подбирайте `limits` с запасом на запуск и перераспределение нагрузки. Проверяйте, что ограничения CPU и памяти не приводят к недопустимым задержкам и завершению контейнеров с причиной `OOMKilled`.
* Выбирайте число реплик так, чтобы после отказа узла или зоны оставшиеся реплики справлялись с нагрузкой. Учитывайте время запуска новых подов и неравномерное распределение запросов.

Проверяйте выбранные параметры вместе: отключайте часть реплик в тестовом окружении под рабочей нагрузкой и измеряйте задержки, ошибки, потребление ресурсов и время восстановления.

Например, приложение получает 1200 запросов в секунду, а одна реплика обрабатывает до 400. Если шесть реплик равномерно размещены в трех зонах, после отказа одной зоны останутся четыре. При равномерном распределении каждая получит 300 запросов в секунду — на 25% меньше измеренного предела. Подтверждайте этот запас нагрузочным тестом.

Подробнее об управлении ресурсами контейнеров — в [документации Kubernetes](https://kubernetes.io/docs/concepts/configuration/manage-resources-containers/).

### Настройте горизонтальное автомасштабирование подов {#pod-autoscaling}

Чтобы число реплик приложения менялось в зависимости от нагрузки, [настраивайте горизонтальное автомасштабирование подов](../operations/autoscale.md#hpa) (Horizontal Pod Autoscaler, HPA). Выбирайте метрики масштабирования по результатам нагрузочных тестов, чтобы новые поды успевали запуститься до перегрузки работающих реплик.

Для масштабирования по потреблению CPU и памяти используйте Metrics Server, установленный по умолчанию в кластерах Managed Service for Kubernetes. Для масштабирования по метрикам Monium [настройте Metrics Provider](../operations/applications/metrics-provider.md).

Задавайте `minReplicas` с запасом на отказ части подов и время запуска новых реплик. Минимального числа должно хватать для обработки нагрузки, пока выполняется масштабирование.

Выбирайте `maxReplicas` с учетом пиковой нагрузки. Проверяйте, что суммарные запросы ресурсов всех приложений при максимальном количестве реплик укладываются в доступные ресурсы и квоты.

Если числом реплик управляет HPA, исключайте конкурирующее изменение `spec.replicas` через манифесты `Deployment`, в том числе при использовании GitOps. Для существующих приложений следуйте [процедуре передачи управления HPA](https://kubernetes.io/docs/concepts/workloads/autoscaling/horizontal-pod-autoscale/#migrating-deployments-and-statefulsets-to-horizontal-autoscaling), чтобы при изменении манифеста случайно не уменьшить число реплик.

### Назначайте приоритеты критичным приложениям {#workload-priority}

Создавайте классы приоритета (`PriorityClass`) и назначайте критичным приложениям классы с более высоким значением. Планировщик сможет вытеснять поды меньшего приоритета, чтобы освободить ресурсы. При этом соблюдение `PodDisruptionBudget` не гарантируется. Подробнее в [документации Kubernetes](https://kubernetes.io/docs/concepts/scheduling-eviction/pod-priority-preemption/).

{% cut "Пример назначения приоритетов приложениям" %}

Например, создайте два класса приоритета манифестом `priorities.yaml`:

```yaml
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: business-critical
value: 100000
globalDefault: false
preemptionPolicy: PreemptLowerPriority
description: "Критичные пользовательские приложения"
---
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: batch-low
value: -1000
globalDefault: false
preemptionPolicy: Never
description: "Фоновые задания, допускающие прерывание"
```

Классы действуют на весь кластер. Перед применением согласовывайте их значения с существующей шкалой приоритетов.

```bash
kubectl apply -f priorities.yaml
```

Для критичного приложения добавляйте в `spec.template.spec` объекта `Deployment`:

```yaml
priorityClassName: business-critical
```

Для фоновых заданий указывайте `batch-low`. Политика `Never` запрещает таким подам вытеснять другие поды, но не защищает их от вытеснения подами с более высоким приоритетом. Если ресурсов недостаточно, фоновые поды будут ожидать их освобождения. Для критичных подов с политикой `PreemptLowerPriority` планировщик может освободить ресурсы за счет подов с меньшим приоритетом.

{% endcut %}