Data инженер в интеграционных средах

Мы находимся в поиске Data инженерa в команду развития интеграционной среды и корпоративных данных. Вы будете участвовать в построении единого интеграционного слоя, развитии витрины DMDC и автоматизации подключения источников данных.

• Развивать интеграционную среду: подключать метаданные информационных систем к Единому интеграционному слою и витрине DMDC.
• Создавать шаблоны в платформе управления метаданными для подключения ключевых типов СУБД: PostgreSQL, Oracle, MS SQL, ClickHouse, DB2, Elasticsearch, Tarantool.
• Проектировать и разрабатывать Python-скрипты для автоматической генерации DDL/DML-запросов.
• Разрабатывать и поддерживать Airflow DAG для процессов загрузки и обслуживания данных.
• Исправлять ошибки существующих потоков и повышать их надежность.
• Разрабатывать Airflow DAG для обслуживания таблиц Iceberg, в том числе с использованием кастомных операторов для оптимизации чтения при большом количестве delete-файлов.
• Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных.
• Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных.

• Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow.
• Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop).
• Практические навыки конфигурации и оптимизации Spark-приложений, управления ресурсами Spark.
• Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
• Навыки работы с контейнеризацией и оркестрацией в Kubernetes.
• Опыт проведения нагрузочного тестирования систем обработки данных.
• Экспертное владение SQL и навыки оптимизации сложных запросов.
• Понимание основ математической статистики, анализа данных и машинного обучения (PyTorch, TensorFlow).
• Умение работать с распределенными системами и обеспечивать консистентность данных при автоматическом определении типов схем.

• Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.
• SkillStaff — аккредитованная IT-компания, белая зарплата и удобный график работы.
• Создавай идеальные условия для своей работы: удаленная работа или возможность работать как в офисе клиента, так и в комфортном офисе SkillStaff в центре Москвы на Воздвиженке.
• Выбирай сам путь, по которому ты хочешь развиваться.
• Используй возможность обмена опытом и получение знаний через участие в разных проектах, совместную работу с высококвалифицированными коллегами.
• Нашу культуру создают сами сотрудники – мы их слышим и помогаем развиваться, чтобы #вместе переходить на новый уровень!