2–3 тысячи сборок в день: как мы превратили Kafka из компонента в инфраструктурную платформу
Apache Kafka можно бесплатно скачать, развернуть и подключить к приложениям. При небольшом проекте этого может быть достаточно: создали несколько топиков, настроили потребителей - и обмен сообщениями работает.Но по мере роста инфраструктуры Kafka перестает быть просто брокером. От нее начинают зависеть функциональность микросервисов, интеграции, тестовые стенды, CI/CD-процессы и рабочие системы. Вместе с нагрузкой растет и список вопросов: как обновлять кластеры, отслеживать очереди, устранять уязвимости и восстанавливать работу после отказа.Меня зовут Илья Виссарионов, я директор департамента «Аппаратно-системная платформа» компании «Диасофт», и в этой статье расскажу, как мы используем Kafka в DevOps-инфраструктуре «Диасофта», какие проблемы обнаружили при эксплуатации под высокой нагрузкой и почему в итоге стали рассматривать брокер сообщений не как отдельный open-source-компонент, а как полноценную инфраструктурную платформу. Читать далее