Data engineer in fintech

В нашей компании Decart IT мы относимся к специалистам как к партнёрам, и помогаем им не только зарабатывать, но и участвовать в проектах, которые мотивируют и вдохновляют. Все детали берём на себя: подбираем проект на основе твоих предпочтений, договариваемся с заказчиком о ставке, организовываем интервью и помогаем успешно пройти его, а также забираем на себя формальный документооборот. С тебя - только твоя экспертиза! Сейчас мы ищем кандидатов на позицию Data Engineer!

• Проектировать и разрабатывать production data pipelines для сбора, обработки и трансформации больших объемов данных (ETL/ELT);
• Настраивать и поддерживать оркестрацию пайплайнов с использованием Apache Airflow;
• Разрабатывать высоконагруженные обработчики потоковых данных на Spark/PySpark и Kafka;
• Выполнять запросы и оптимизировать хранение данных в промышленных СУБД (PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL);
• Поддерживать и развивать Data Warehouse (хранилища данных), работая со слоями DDS, DM (моделирование данных);
• Обеспечивать надежность и отказоустойчивость существующих пайплайнов: мониторинг, отладка, рефакторинг и оптимизация производительности;
• Участвовать в миграциях ETL/DWH систем (при наличии соответствующих проектов);
• Внедрять практики Data Quality и контроля целостности данных на всех этапах обработки.

• Уверенный коммерческий опыт разработки на Python (от 3–4 лет) с написанием поддерживаемого и документированного кода;
• Глубокое знание SQL и опыт работы с промышленными БД (обязательно хотя бы с одной из: PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL);
• Опыт разработки и сопровождения production data pipelines в продакшене;
• Практическое использование Apache Airflow для оркестрации задач;
• Опыт работы с Apache Spark/PySpark и потоковой обработкой Kafka;
• Знание экосистемы Hadoop/Hive.
• Будет плюсом: Опыт с ETL-инструментами (Informatica/SAS DIS); Работа с NiFi для построения потоков данных; Хранение данных в форматах Parquet/ORC и работа с табличными форматами (Iceberg); Опыт работы с облачными объектными хранилищами (S3 или аналоги); Навыки моделирования данных (Data Vault, Kimball, 3NF); Опыт миграций ETL/DWH систем; Настройка мониторинга и визуализации метрик (Grafana/Prometheus); Контроль качества данных (Data Quality)

• Возможность выбирать проекты и заказчиков под твой запрос: будь то громкое имя компании для портфолио, интересные задачки, чтобы не терять хватку, или просто спокойная работа в привычном режиме;
• Оформление ИП, самозанятость;
• Можешь работать из любого места, где тихо и есть интернет (на территории РФ)