Типизация для Kafka-топиков в Юле

Мы делаем Юлу уже 7 лет, из небольшого проекта она превратилась в сервис объявлений с аудиторией в 33 млн пользователей. За это время в Юле появилось значительное количество функций и настроек, реализованных в разных компонентах. Одна из трудностей, вс…

Очереди сообщений: от потерь данных к дублированию доставок

Платформа Pyrus состоит из нескольких десятков микросервисов и поставляется как в облачной версии, которую обслуживают наши Site Reliability Engineers (SRE), так и в безоблачной в виде набора docker образов на базе linux, которые обслуживают ИТ-департа…

Чем различаются Kafka и RabbitMQ: простыми словами

Программные брокеры сообщения уже стали стандартом при построении больших и сложных систем. Однако до сих пор не все ИТ-специалисты понимают, как работают эти инструменты. Главный системный аналитик «Иннотех» Павел Малыгин помогает разобраться в брокер…

Топ-10 докладов DotNext 2022 Spring

У нас есть традиция: каждые полгода до того, как провести конференцию DotNext, мы публикуем на Хабре десять докладов с предыдущей конференции, которые особенно понравились участникам.Сейчас до осеннего DotNext остаются считанные дни (он пройдёт 3–4 ноя…

Тестирование Kafka Streams: глубокий разбор

Привет! Меня зовут Иван Пономарёв, я разработчик в Synthesized, преподаю в МФТИ и EEUAS. На этом митапе Росбанка и Jug.ru я расскажу о тестировании Kafka Streams и, в частности, об особенностях инструмента TopologyTestDriver. Этот доклад я подготовил с…

Как мы автоматизировали работу с Kafka: через тернии к Cruise Control

В 2022 году искушённого хабрачитателя уже не удивить очередной статьёй о том, как готовить Kafka. На эту тему уже есть куча полезных материалов. Например: тут, тут, тут и тут. А вот информации об инструментах, входящих в экосистему Kafka, ещё не т…

Синхронный «запрос-ответ» с использованием REST и Apache Kafka

Подружить REST и Apache Kafka кажется нетривиальной задачей. Однако с ней удалось справиться экспертам Группы «Иннотех». Ведущий разработчик Кирилл Воронин рассказал подробности решения задачи перевода асинхронных запросов в синхронные. Читать далее…

RabbitMQ и Apache Kafka: что выбрать и можно ли интегрировать

RabbitMQ часто сравнивают с другим популярным брокером сообщений — Apache Kafka. Оба инструмента используются для обмена данными между приложениями, но реализуют принципиально разные модели доставки. RabbitMQ — push, когда сообщения отправляются получа…

[Перевод] Очередь недоставленных сообщений для обработки ошибок в Apache Kafka

Любому надёжному конвейеру потоковой обработки данных нужны механизмы обнаружения и обработки ошибок. В этой статье вы узнаете, как реализовать обработку ошибок с помощью очереди недоставленных сообщений (Dead Letter Queue) в инфраструктуре Apache Kafk…

[Перевод] Основное про API-шлюз в Kubernetes

Существует множество альтернатив для доступа к модулю извне кластера. Шлюз API — это определенно новинка этой области, и потому выбран темой этой статьи.Ранее мы описывали несколько способов доступа к модулям Kubernetes. Так, например, доступ к модулю …