Почему ML-модель ошибается: Event Time, Watermarks и Flink
Оригинал: Почему ML-модель получает неправильные признаки: Event Time, Watermarks и Apache Flink
Конспект редакции
Почему ML-модель в реальном времени выдаёт неверные решения: разбор проблемы Event Time и watermark в Apache Flink.
Статья разбирает проблему несоответствия Event Time и Processing Time в Apache Flink, которая приводит к некорректной работе ML-моделей. На примере антифрод-системы показывается, как даже при нулевом consumer lag и стабильной работе Kafka модель может получать искажённые признаки из-за задержек в поступлении событий.
Автор объясняет роль watermark'ов в Flink и показывает, как неправильная настройка времени событий влияет на качество предсказаний. Подробности о настройке watermark и обработке out-of-order событий — на сайте источника.
Материал агрегирован; полный текст — на сайте Хабр — ИТ-новости.
Контекст
Статья на Хабре посвящена техническим нюансам построения антифрод-систем на базе Kafka и Apache Flink.
Фото (3)
Комментарий редактора Игоря
Глубокий технический лонгрид для data-инженеров, но киноиндустрии он практически не касается.




