asmorodinov/yandex-cloud-fault-tolerance-demo

Демо стенд для вебинара "Настройка отказоустойчивой архитектуры в Облаке"

Демо стенд для вебинара "Настройка отказоустойчивой архитектуры в Облаке"

https://cloud.yandex.ru/events/84

Репозиторий содержит исходный код демо-приложения, terraform спецификацию окружения и terraform спецификацию Яндекс Танка.

• Инструкции по сборке приложения
• Инструкции по развертыванию окружения

Сценарии использования демо-стенда

1. Сбой ВМ
   • Вручную удалите ВМ из Instance Group
   • Load Balancer перестанет подавать трафик на удаленную ВМ, а Instance Group создаст новую ВМ взамен удаленной
   • В момент удаления ВМ до выведения ее из-под балансировки можно будет наблюдать несколько connection timeout.
2. Сбой приложения
   • Выполните скрипт fail_random_host.sh, для того чтобы случайная копия приложения начала отвечать на все запросы кодом 503 (UNAVAILABLE)
   • Instance Group обнаружит сбой приложения, выведет его из-под балансировки и перезагрузит ВМ, после чего ВМ будет добавлена обратно под балансировщик и Instance Group полностью восстановится.
   • В момент сбоя приложения до выведения инстанса из-под балансировки можно будет наблюдать всплеск ошибок с кодом 503.
3. Отключение зоны доступности
   • В настройках Instance Group в разделе Распределение отключите одну из зон доступности.
   • Instance Group начнет удалять два инстанса, одновременно создавая два новых инстанса в оставшейся зоне доступности.
   • Во время обновления Instance Group возможны ошибки connection timeout при выведении инстансов из-под балансировки.
4. Обновление приложения
   • В настройках Instance Group в шаблоне ВМ измените настройки docker-контейнера: поменяйте тег образа с v1 на v2.
   • Instance Group сразу начнет удалять два инстанса, а оставшиеся два перейдут в состояние RUNNING_OUTDATED, и продолжат работать пока не будет запущено достаточно ВМ для того, чтобы их удалить. Одновременно с этим начнут создаваться новые ВМ.
   • Во время обновления Instance Group возможны ошибки connection timeout при выведении инстансов из-под балансировки.
5. Масштабирование конфигурации БД
   • В настройках Managed PostgreSQL кластера измените flavor кластера с s2.small на s2.medium.
   • Кластер начнет обновлять хосты, начиная с read-only реплики.
   • В процессе обновления можно будет наблюдать два пика ошибок с кодом 500, которые происходят во время переключения мастера на другой хост.

Полезные ссылки

• Документация Managed PostgreSQL​
• Документация Load Balancer​
• Документация Container Registry​
• Документация Container Optimized Image​
• Типы масштабирования Instance Group​
• Яндекс.Танк в Маркетплейсе​
• Документация terraform​