аналитик данных антифрод-платформы

DataQuality — система мониторинга качества данных, которая в реальном времени отслеживает поток событий антифрод-платформы: согласованность полей, заполненность расчётов, стабильность скорингов и агрегатов, статистику срабатывания фрод-правил и пропажу типов событий.

• Разбирать срабатывания проверок качества данных, отличать реальные ухудшения от шума и ложных сигналов
• Настраивать проверки и снижать долю ложных срабатываний, подбирать пороги, окна агрегации и базовые периоды по историческим данным
• Находить первопричины срабатываний, изучать сырые события и историю, сопоставлять их с релизами и инцидентами
• Оценивать качество алертов и причины ложных сигналов
• Развивать методы обнаружения аномалий и дрейфа, проверять статистические и ML-подходы и оценивать их на истории инцидентов
• Работать с историей событий в Hadoop, писать запросы и расчёты на Spark SQL и PySpark с учётом ресурсов общего кластера
• Изучать обращения пользователей антифрод-платформы в поддержку и выявлять проблемы с данными
• Сопоставлять обращения с текущим покрытием мониторинга и выявлять пробелы в проверках
• Передавать подтверждённые данными находки системному аналитику для подготовки требований команде разработки

• Опыт в аналитике данных или Data Science от трёх лет, включая потоковые или близкие к реальному времени данные и большие объёмы в Hadoop или Spark
• Уверенное владение Spark SQL и PySpark на больших объёмах, умение читать план запроса и оценивать его стоимость
• Уверенное знание SQL: оконные функции, многошаговые агрегации, соединения с контролем кардинальности, корректная работа с NULL и типами
• Понимание причин замедления запросов и различий между колоночными и строчными СУБД
• Уверенное владение Python как основным рабочим инструментом
• Знание теории вероятностей и математической статистики: доверительные интервалы, проверка гипотез, ошибки первого и второго рода
• Знание прикладной статистики для мониторинга: дрейф распределений, отклонения от базовой линии, выбросы, сезонность, precision и recall для алертов
• Понимание мер расхождения распределений и порогов, баланса ложноположительных и ложноотрицательных срабатываний
• Практический опыт работы с ML, понимание метрик качества, переобучения, дрейфа признаков и влияния качества данных на модель
• Понимание принципов мониторинга качества данных, типов проверок и уровней severity
• Системное мышление и исследовательский подход
• Будет плюсом: понимание фрод-правил и скорингов, оптимизация расчётов на Spark, обнаружение аномалий и дрейфа в промышленном мониторинге, опыт поддержки или эксплуатации, инструменты контроля качества данных, каталоги данных и lineage, применение ИИ-ассистентов при разборе кода

• Ежегодный пересмотр зарплаты
• Квартальная и годовая премия
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета
• Программа адаптации и помощь руководителя на старте для позиций Junior
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• Подписка Прайм с возможностью совместного использования на трёх близких
• Вознаграждение за рекомендацию друзей в команду Сбер