дата инженер платформы ограничений

Описания нет

• Разрабатывать технологии и программные инструменты потокового расчёта признаков для моделей машинного обучения;
• Эффективно взаимодействовать в составе команды со специалистами по анализу данных и развитию инфраструктуры;
• Реализовывать промышленные отказоустойчивые сервисы ETL на Python для пакетной загрузки и трансформации данных под управлением Apache Airflow и Argo Workflows;
• Разрабатывать сервисы потоковой обработки данных с использованием Spark Structured Streaming и Flink.

• Высокий уровень знаний Python: структуры данных, итераторы и декораторы, параллельное и асинхронное программирование, объектно-ориентированное и функциональное программирование;
• Отличные знания SQL: создание сложных запросов с использованием табличных выражений и оконных функций;
• Общее понимание процессов разработки и эксплуатации моделей машинного обучения и концепции признаков моделей;
• Хорошие знания Apache Spark: опыт использования библиотеки PySpark, понимание влияния конфигурации приложения PySpark на производительность и эффективность обработки данных, отладка и анализ эффективности приложений PySpark с помощью Spark History Server;
• Опыт работы с Apache Kafka для решения задач потоковой обработки данных.

• Удалённый или гибридный формат работы;
• Регулярные тренинги и вебинары;
• Бесплатный доступ к корпоративным библиотекам Альпины и бизнес-изданиям;
• Скидки на курсы иностранных языков;
• Программа ДМС со стоматологией и обслуживанием в лучших клиниках города;
• Скидки на абонементы в фитнес-клубы;
• Фитнес-зал в офисе;
• Скидки на услуги туристических агентств, продукты питания, рестораны и бары, магазины и салоны красоты;
• Программа развития AI-грамотности с треками по работе с нейросетями от базового до продвинутого уровня.