Senior Data Software Engineer with Databricks and Azure

Senior Data Software Engineer with Databricks and Azure

Товарищество с ограниченной ответственностью EPAM Solutions

Основные требования

• 3+ года опыта в инженерии данных или смежной области
• Уверенное владение Python, PySpark и Databricks (включая Delta Lake)
• Опыт работы с системами контроля версий: Git и GitHub
• Опыт настройки и использования CI/CD (например, GitHub Actions)
• Понимание технологий data lake (озёр данных)
• Опыт работы с MS Azure
• Английский язык: уровень B2 и выше
Будет плюсом:
• Знакомство как минимум ещё с одним языком программирования или скриптинга: Java, SQL или Scala

Чем предстоит заниматься

Поддерживать команду инженеров данных в разработке пайплайнов, которые используют специалисты по MLOps и ML-инженеры в командах ML‑моделирования
Разрабатывать, оптимизировать и поддерживать пайплайны преобразования данных в Databricks (PySpark)
Работать с данными в ADLS Gen2 и SAP HANA Data Lake (в основном форматы Delta/Parquet)
Внедрять и поддерживать проверки качества данных: валидация схемы, дедупликация, обогащение и тегирование
Взаимодействовать со стейкхолдерами, чтобы понимать бизнес‑процессы и требования к входным данным для моделей
Настраивать производительность при работе с большими наборами данных

Что мы предлагаем

Мы объединяем единомышленников:
• Предоставление инновационных решений лидерам отрасли, оказывающим глобальное влияние
• Приятная рабочая среда, будь то оживленный офис или комфорт собственного дома
• Возможность работать за границей до двух месяцев в году
• Возможности переезда в наши офисы в более чем 55 странах
• Корпоративные и социальные мероприятия
Мы инвестируем в ваш рост:
• Развитие лидерских качеств, карьерное консультирование, программы по развитию социальных навыков
• Сертификация, включая GCP, Azure и AWS
• Неограниченный доступ к внутренней базе обучения EPAM
• Бесплатные уроки английского с сертифицированными преподавателями
• Скидки в местных языковых школах, включая онлайн-курсы казахского языка
Мы берем на себя все расходы на:
• Участие в программе покупки акций для сотрудников
• Денежные бонусы за участие в реферальной программе
• Пакет медицинского обслуживания
• Шесть дней доверия в году (т.е. больничный без медицинской справки)
• Покрытие психологических сеансов по вашему выбору
• Пакет льгот (спортивные мероприятия, различные магазины и услуги)
• Программа поддержки жилья: льготная ипотека через партнёрство с Отбасы Банком

Город или область: г.Астана

График работы: Полный день

Тип занятости: Полная занятость

Образование: Высшее - Бакалавр

Опыт работы: Не менее 3 лет

Направление: Информационные технологии

• Поддерживать команду инженеров данных в разработке пайплайнов, которые используют специалисты по MLOps и ML-инженеры в командах ML‑моделирования;
• Разрабатывать, оптимизировать и поддерживать пайплайны преобразования данных в Databricks (PySpark);
• Работать с данными в ADLS Gen2 и SAP HANA Data Lake (в основном форматы Delta/Parquet);
• Внедрять и поддерживать проверки качества данных: валидация схемы, дедупликация, обогащение и тегирование;
• Взаимодействовать со стейкхолдерами, чтобы понимать бизнес‑процессы и требования к входным данным для моделей;
• Настраивать производительность при работе с большими наборами данных.

• 3+ года опыта в инженерии данных или смежной области;
• Уверенное владение Python, PySpark и Databricks (включая Delta Lake);
• Опыт работы с системами контроля версий: Git и GitHub;
• Опыт настройки и использования CI/CD (например, GitHub Actions);
• Понимание технологий data lake (озёр данных);
• Опыт работы с MS Azure;
• Английский язык: уровень B2 и выше;
• Будет плюсом;
• Знакомство как минимум ещё с одним языком программирования или скриптинга: Java, SQL или Scala.

• Мы объединяем единомышленников;
• Предоставление инновационных решений лидерам отрасли, оказывающим глобальное влияние;
• Приятная рабочая среда, будь то оживленный офис или комфорт собственного дома;
• Возможность работать за границей до двух месяцев в году;
• Возможности переезда в наши офисы в более чем 55 странах;
• Корпоративные и социальные мероприятия;
• Мы инвестируем в ваш рост;
• Развитие лидерских качеств, карьерное консультирование, программы по развитию социальных навыков;
• Сертификация, включая GCP, Azure и AWS;
• Неограниченный доступ к внутренней базе обучения EPAM;
• Бесплатные уроки английского с сертифицированными преподавателями;
• Скидки в местных языковых школах, включая онлайн-курсы казахского языка;
• Мы берем на себя все расходы на;
• Участие в программе покупки акций для сотрудников;
• Денежные бонусы за участие в реферальной программе;
• Пакет медицинского обслуживания;
• Шесть дней доверия в году (т.е. больничный без медицинской справки);
• Покрытие психологических сеансов по вашему выбору;
• Пакет льгот (спортивные мероприятия, различные магазины и услуги);
• Программа поддержки жилья: льготная ипотека через партнёрство с Отбасы Банком.