автордың кітабынан сөз тіркестері  Базы данных. Инжиниринг надежности

Лейн Кэмпбелл, Черити Мейджорс

Facebook: замедление загрузки страницы на 500 миллисекунд приводит к уменьшению трафика на 3 %;

Строгое разделение обязанностей между инженером-программистом и инженером баз данных.

четыре основных пути масштабирования.

Масштабирование по вертикали посредством распределения ресурсов, иначе называемое вертикальным масштабированием.

Масштабирование по горизонтали путем добавления систем или сервисов, иначе называемое горизонтальным масштабированием.

Разделение рабочей нагрузки на более мелкие функции, чтобы масштабировать каждую из них по отдельности, также называемое декомпозицией функций.

В системе, для которой выпуски обновлений происходят еженедельно, а иногда и ежедневно, любые предыдущие выборки данных становятся почти бесполезными. Это особенно верно для более старых выборок, по сравнению со свежими данными, и называется затухающей функцией.

стоит повторить: хранение одних только средних значений приводит к потере ценной информации.

Если у нас 1000 виртуальных машин Java, 20 экземпляров базы данных и 50 веб-серверов, как узнать, влияет ли каждый из этих компонентов на всю систему и если влияет, то в какой степени?
Исходя из этого, первое, чем следует заняться, — частота ошибок выполнения запросов пользователей. Это называется также мониторингом реальных пользователей (Real User Monitoring, RUM). Например, когда пользователь отправляет HTTP-запрос из браузера, получает ли он корректный ответ от сервиса? Если сервис популярен, то таких данных может быть очень много. Например, важное событие в глобальной службе новостей привлекает более 70 000 обращений к веб-сервису за секунду. Подсчитать частоту появления ошибок для такого объема данных вполне по силам любому современному процессору. Все эти данные передаются приложением (например, Apache HTTP-сервером) в демон протоколирования (например, в системный журнал Linux).

Устранение барьеров между разработкой и эксплуатацией

Главная цель мониторинга при управлении уровнем качества обслуживания — упреждающее выявление и устранение любых потенциальных факторов, которые могут привести к нарушению SLO. Другими словами, мониторинг нужен не для того, чтобы узнавать о фактах нарушений в настоящее время. Это как сплав по реке на каноэ: нам не нужно знать, что на реке есть пороги, если мы на них уже попали. Мы хотим знать, что из происходящего может указывать на то, что пороги будут ниже по течению, пока мы еще идем по спокойной воде. Кроме того, мы хотим иметь возможность предпринять соответствующие действия, чтобы гарантировать, что мы остаемся в пределах SLO, на которые настроены сами и настроили свои системы.

Собирая все SLO-показатели для вашего нового сервиса, являющегося объектом внимания, необходимо учесть несколько дополнительных моментов.
•Не переборщите. Мы накапливаем показатели и понимаем почему. Но, пожалуйста, постарайтесь, чтобы список был простым и кратким и текущее состояние показателей можно было просмотреть на одной странице панели инструментов.
• Ориентируйтесь на пользователя. Подумайте, что ваши пользователи сочтут критичным, и начните именно с этого. Помните, что для большинства приложений основными показателями сервисов будут задержка, пропускная способность и доступность, а сервисы хранения добавляют к этому списку надежность хранения данных.
• Определение SLO — итеративный процесс. Если у вас есть процесс проверки SLO, можете со временем изменять и дополнять показатели. На ранних стадиях, возможно, не стоит быть слишком агрессивными в отношении SLO. Это позволит инженерам сосредоточиться на прикладных функциях и улучшениях.

Зная все SLO, вы можете расставить приоритеты по своему усмотрению. Зная, что SLO задержки составляет 200 миллисекунд, можно предположить, что в это время включены:
• разрешение адресов DNS;
• балансировка нагрузки;
• перенаправление на http-сервер;
• прикладные функции приложения;
• запросы к базе данных;
• транспортировка данных TCP/IP через океаны и континенты;
• чтение данных с твердотельных устройств (SSD) и жестких дисков.