Инженер данных

Компания предоставляет услуги технологического консалтинга, разработки платформ и продуктов, искусственного интеллекта и продвинутой аналитики, помогая предприятиям в процессе трансформации бизнеса.

• Проектировать и реализовывать стратегию миграции данных из устаревших систем в облачную среду AWS;
• Создавать и оптимизировать масштабируемые конвейеры обработки больших данных с использованием Python, Apache Spark и Apache Airflow;
• Развертывать и администрировать задания Spark в Kubernetes и облачных сервисах AWS;
• Внедрять и поддерживать стандарты безопасности в экосистеме Hadoop и инфраструктуре AWS;
• Выступать в роли технического лидера проекта, наставлять старших инженеров и внедрять лучшие практики разработки;
• Оптимизировать хранение данных с применением формата Apache Iceberg.

• Опыт работы в инженерии данных от 8 лет с фокусом на распределенные системы и миграцию данных;
• Глубокие знания облачных сервисов AWS, включая S3, EMR, Glue и Athena;
• Практический опыт работы с Apache Spark и уверенное владение Python;
• Опыт построения и управления сложными процессами в Apache Airflow;
• Опыт работы с форматом Apache Iceberg в производственной среде;
• Понимание принципов безопасности в экосистеме Hadoop;
• Будет плюсом опыт работы с устаревшим стеком Hadoop (YARN, HDFS, Hive) и опыт технического руководства при миграции данных в рамках корпоративных тендеров.

• Работа над передовыми проектами;
• Конкурентная зарплата;
• Гибкий график;
• Пакет льгот, включающий медицинскую страховку и занятия спортом;
• Корпоративные мероприятия;
• Возможности для профессионального развития;
• Оборудованный офис.