Data engineer

Мы ООО «Датаномика», собираем инженерные команды под задачи крупного бизнеса. 6+ лет на рынке, 160+ инженеров в штате, 45+ реализованных проектов в финсекторе, телекоме и ретейле. Развиваем шесть направлений экспертизы: высоконагруженные банковские системы, хранилища данных (DWH), генеративный ИИ, комплаенс-системы, кибербезопасность и импортозамещение софта. Аккредитованная ИТ-компания. Сейчас у нас открыта вакансия Data-инженера в команду крупного российского Банка.

• Проектирование и реализация высоконагруженных пайплайнов потоковой передачи данных из ERP-системы в КХД.
• Разработка механизмов гарантированной доставки (at-least-once, exactly-once semantics) и обработки сбоев без потери целостности финансовых данных.
• Оптимизация производительности потоков Kafka и Spark Streaming (управление партиционированием, сжатием, батчингом).
• Разработка ETL/ELT-процессов трансформации модели данных Банка.
• Написание сложных SQL-запросов, оконных функций и хранимых процедур для агрегации банковских метрик.
• Поддержка актуальности витрин данных, оптимизация их переформирования при изменении источников
• Участие в проектах вывода из эксплуатации легаси-систем (включая исторические АБС).
• Разработка утилит-перекладчиков для извлечения, очистки, обогащения и загрузки исторических массивов данных в новую модель с сохранением ссылочной целостности.
• Внедрение автоматических проверок качества данных (Data Quality checks): профилирование, поиск дублей, проверка консистентности контрольных сумм.
• Настройка мониторинга задержек репликации (lag) и алертинга через Prometheus/Grafana или аналоги.
• Работа по методологии Agile (Scrum/Kanban).
• Плотное взаимодействие с архитекторами DWH, администраторами БД PostgreSQL, владельцами продуктов (Product Owners) и аналитиками.
• Опыт проектирования с использованием ИИ-инструментов (LLM, Промт-инжениринг, GIT c Агенты).

• уверенное владение Core, понимание многопоточности и принципов эффективной работы со стримами. Опыт промышленной разработки от 2 лет.
• опыт разработки приложений на фрейморке Spark. Глубокое понимание архитектуры (драйверы, исполнители), управления памятью. Умение читать планы выполнения запросов (Explain plan).
• практический опыт настройки продюсеров и консьюмеров, идемпотентности и распределенных коммитов оффсетов.
• хороший уровень написания SQL (оконные функции, CTE, рекурсивные запросы). Опыт оптимизации тяжелых запросов через анализ планов исполнения.
• Git (умение работать с ветками, разрешать конфликты, писать понятные мерж-реквесты), Maven, Docker. Базовое понимание Jenkins/GitLab CI для автоматизации сборки артефактов.
• хорошеее понимание Avro (схема-на-лету, эволюция схем), Parquet (колоночное хранение, predicate pushdown).
• опыт анализа чужого кода на PL/SQL; умение проектировать мэппинг полей между старой и новой моделями.
• Будет плюсом: Желателен опыт работы с СУБД, Hive, Greenplum (приветствуется)

• Гибридный формат работы;
• Работа в аккредитованной ИТ-компании;
• Проекты в крупнейших банках и корпорациях — реальная нагрузка и масштаб (mission-critical системы, высоконагруженная обработка данных);
• Регулярное обучение и профильные конференции за счёт компании, современное оборудование;
• Официальная «белая» зарплата, оформление с первого рабочего дня, полное соблюдение ТК РФ;
• Интересные амбициозные задачи с достижимым результатом