Надежность через разрушения. Контролируемые сбои на production Екатерина Истошина CRO, Т-Банк

Мы отвечаем за платежи, переводы и их надежность в Т-Банке. В один день мы решили, что мало просто обложиться системами отслеживания и реагирования, резервами, дежурными командами крутых инженеров по надежности и еще кучей всего, включая планы по восстановлению в случае полного разрушения дата-центра. Мы решили провести собственноручный сбой на проде и посмотреть, как отреагирует вся наша громада. Мы шагнули дальше, чем просто учения, где все участники знают сценарий — его знали только трое коллег. У нас была цель — провести сбой без значительного влияния на клиентов: зафиксировать, кто, как и на что отреагировал, и остаться нераскрытыми. Поговорим о том, в чем польза таких разрушений, как к ним подготовиться, на что обратить внимание и почему это особенно важно, когда у вас нет отделений. Наша шалость удалась, и теперь мы расскажем об этом и вам. #итпикник