дата инженер для платформы больших данных

ASTON — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Компания разрабатывает программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data и ML. Вакансия предполагает работу над проектом крупного российского продуктового ритейлера, который управляет сетевыми магазинами, цифровыми бизнесами, собственными службами логистики и цифровыми сервисами для партнёров.

• Самостоятельно разрабатывать, реализовывать и поддерживать интеграционные решения на Java, Groovy, Apache NiFi и Airflow;
• Определять стек технологий для конкретных проектов и задач;
• Решать технически сложные задачи, которые не могут решить другие инженеры в команде;
• Оперативно реагировать на информацию о проблемах в зоне ответственности и выполнять задачи в установленные сроки;
• Разрабатывать и контролировать актуальность документации по взаимодействию конфигурационных единиц платформы больших данных;
• Предоставлять отчёты о своей деятельности начальнику отдела или руководителю;
• Контролировать качество интеграционных решений и создавать задачи и дефекты для рефакторинга;
• Определять технологическую стратегию развития проекта или продукта;
• Выстраивать процессы CI/CD и код-ревью, внедрять и развивать инженерные практики.

• Опыт работы Data Engineer не менее 4 лет;
• Владение Java или Groovy, знание принципов ООП и умение читать чужой код;
• Навыки сборки проекта, компиляции и деплоя в Rancher и Docker;
• Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке Big Data;
• Знание SQL, включая индексы, функции, чтение планов запросов и оптимизацию запросов;
• Опыт работы с реляционной базой данных;
• Умение работать с Git в консоли;
• Знание особенностей ETL-инструментов и интеграционных шин;
• Опыт работы с Hadoop;
• Понимание устройства HDFS и форматов данных;
• Опыт работы с Hive или другим хранилищем на основе Hadoop;
• Опыт использования систем ведения проектов и документации;
• Умение работать с архитектурными схемами;
• Понимание принципов построения и хранения данных в DWH и Data Lake.

• Конкурентная зарплата, сумма обсуждается отдельно;
• Оформление по ТК РФ;
• Возможность работать из дома, из офиса или в гибридном формате;
• ДМС со стоматологией;
• Частичная компенсация затрат на спорт;
• Оплачиваемые sick-days;
• Оплачиваемый бенч;
• Компенсация расходов на коворкинг;
• Ментор на всё время работы;
• Доплаты за менторство, ведение обучающих курсов, ревью проектов и участие в других профессиональных активностях;
• Материалы для обучения и развития, технические митапы и конференции;
• Корпоративы, тимбилдинги, детские праздники и мастер-классы с подарками.