data engineer

Twinby — российский дейтинг-сервис с миллионами пользователей. Команда перестраивает разработку Twinby CIS и заново формирует команду данных. Сервис помогает людям находить любовь, защищает пользователей от романтических мошенничеств и развивает систему рекомендаций для подбора подходящих друг другу людей.

• Захватывать и доставлять данные из продуктовых источников в аналитический контур потоковым и пакетным способом
• Обеспечивать надёжность доставки данных: идемпотентность, дедупликацию, обработку поздних и переупорядоченных событий, воспроизводимый пересчёт после сбоев
• Оркестрировать пайплайны с учётом готовности источников, зависимостей, повторных запусков и дозагрузок без простоя и дублирования
• Обеспечивать качество данных с помощью тестов, проверок свежести и полноты, сверок с источниками и обнаружения аномалий
• Поддерживать наблюдаемость пайплайнов: отслеживать метрики доставки и задержки, настраивать оповещения, разбирать инциденты и предотвращать их повторение
• Управлять контрактами и изменениями схем, обеспечивать обратную совместимость и понятное распределение ответственности
• Отвечать за надёжную доставку данных, взаимодействуя с командой аналитики, которая отвечает за модели и метрики
• Самостоятельно выбирать семантику доставки и соразмерять сложность решения задаче
• Заложить стандарты надёжности и качества данных в заново формируемой команде
• Самостоятельно определять, как движется поток данных, и обсуждать цели и направление с командой и руководителем

• Опыт работы более 6 лет
• Опыт полной ответственности за движение данных, а не только создания разовых выгрузок
• Умение обеспечивать гарантии доставки, идемпотентность и дедупликацию
• Опыт работы с изменениями в базах, поздними и переупорядоченными событиями и инкрементальной загрузкой больших объёмов
• Умение самостоятельно настраивать тесты данных, проверки свежести и сверки
• Опыт обеспечения свежести данных, наблюдаемости пайплайнов и разбора инцидентов
• Инженерная зрелость в выборе семантики доставки и сложности решений
• Будет плюсом: опыт потоковой доставки или захвата изменений из продуктовых баз на масштабе, дозагрузки большой истории и миграции хранилища без остановки потока, работа с платёжными и другими потоками, где дорого обходятся дубли и потери

• Трудовой договор
• График 5/2, рабочий день — 8 часов
• Формат: удалёнка, РФ
• Команда данных собирается заново; можно заложить стандарты надёжности и качества данных
• Автономность в выборе подходов и работе с потоком данных
• Работа с большими объёмами данных