Всем угодить: когда каждому хочется иметь своё число консьюмеров для топика Kafka | Павел Агалецкий

Павел Агалецкий, ведущий инженер команды PaaS, расскажет про создание консьюмеров для топика Kafka, опираясь на кейс Авито. Павел покажет возможные варианты выбора оптимального числа партиций, а ещё поделится решением, которое придумали внутри Авито, и расскажет про результаты его внедрения. 00:00 | Вступление 01:07 | Кейс Авито 02:52 | Ключевое в Kafka 05:32 | В чём проблема? 08:48 | Итого 09:06 | Варианты решения «в лоб» 12:29 | «Хитрые» варианты 19:42 | Решили создать собственное решение 21:00 | Общая идея 21:40 | Чуть больше деталей 23:44 | Деплой сервиса 26:01 | Итог 26:47 | Вопросы AvitoTech — это команда инженеров Авито. Подпишитесь на наш канал, соцсети и блоги, чтобы узнавать больше о технологиях Авито 👇🏻 ВК: Телеграм: wU3vnNnqr7JlZDIy Хабр: Медиум (eng): Гитхаб: RuTube: Дзен: Сайт: