Data engineer

Мы ищем опытного Senior Data Engineer, способного самостоятельно закрывать задачи по оркестрации, проектированию хранилищ и обработке данных. Вашей ключевой задачей станет развитие DWH/ODS, оптимизация инфраструктуры (ClickHouse, Postgres), построение батчевых и потоковых пайплайнов, а также наведение порядка в унаследованных процессах.

• проектирование, разработка и поддержка batch-процессов, витрин данных и регламентных расчётов на Apache Airflow.
• развитие витрин для риск-отчётности и систем принятия решений (финансовые и поведенческие метрики).
• Построение потоковой доставки данных через Apache Kafka (near real-time).
• Развитие ODS на PostgreSQL: интеграция данных с бэкенда продукта, проектирование схем, настройка инкрементальной загрузки.
• тюнинг производительности PostgreSQL, MySQL и ClickHouse (индексы, схемы, рефакторинг тяжёлых запросов).
• работа с объектными хранилищами (S3 / MinIO) как слоем хранения.
• аудит, инвентаризация и наведение порядка в legacy-скриптах и DAG'ах, явное распределение зон ответственности за процессы.
• настройка мониторинга и алертинга (надежность, полнота, свежесть витрин и выдерживание SLA).
• взаимодействие с Data Science, аналитиками и backend-разработчиками (согласование контрактов данных, подготовка данных для ML-моделей).

• отличное знание Python и SQL.
• уверенный опыт создания и поддержки пайплайнов, отличные знания Apache Airflow (обязательно).
• проектирование аналитических витрин и оптимизация сложных запросов на больших объемах данных.
• глубокие знания PostgreSQL / MySQL, опыт оптимизации БД и построения ODS/DWH поверх операционных источников.
• умение самостоятельно вести направление данных, в одиночку держать пайплайны, правильно расставлять приоритеты и доводить задачи до результата.
• понимание принципов проектирования отказоустойчивых и масштабируемых систем.
• привычка фиксировать правила, схемы данных, зоны ответственности и вести runbook'и.
• Будет плюсом: Опыт работы с Apache Kafka (продюсеры, потребители, схемы); Опыт работы с S3 / MinIO и Apache NiFi; Опыт миграции пайплайнов и наведения порядка в унаследованном технологическом ландшафте; Бэкграунд в сферах FinTech, платежах или AntiFraud; Навыки настройки CI/CD для дата-инженерии и подходы IaC (Infrastructure as Code)

• высокая автономность в принятии технических решений без микроменеджмента.
• Airflow, ClickHouse, Kafka, PostgreSQL, S3/MinIO, Python.
• 100% удаленка.