Старший инженер по обработке данных

Старший инженер по обработке данных

ТОО КВАНТОРИ КАЗАХСТАН

Основные требования

• более 3-х лет соответствующего опыта в области разработки данных
• Опыт работы в Spark
• Опыт работы с Databricks
• Опыт работы с облаком Azure
• Умение писать надежный код с помощью Scala
• Отличные навыки работы с SQL
• Опыт создания хранилищ данных и ETL-решений
• Понимание структур данных, моделирования данных и архитектуры программного обеспечения
• Навыки анализа и решения проблем

Чем предстоит заниматься

• Организация и анализ данных: обработка структурированных, полуструктурированных, неструктурированных данных и данных на основе изображений.
• Создание информационных систем и конвейеров
• Подготовка данных для предписывающего и прогнозирующего моделирования
• Проектирование сквозных конвейеров в рамках гибридной архитектуры больших данных с использованием облачных технологий Azure, Databricks, Spark, Scala, sbt, Airflow, Python, SQL и т.д.
• Использование облачных сервисов Azure для построения конвейеров данных и обеспечения эффективного мониторинга

Что мы предлагаем

• Конкурентоспособная заработная плата
• Удаленная работа или работа в офисе
• Гибкий график работы
• Команда с отличным техническим опытом

Город или область: г.Астана

График работы: Удаленная работа, Полный день, Гибкий график

Тип занятости: Проектная работа

Образование: Высшее - Бакалавр

Опыт работы: Не менее 5 лет

Направление: Информационные технологии

• Организация и анализ данных: обработка структурированных, полуструктурированных, неструктурированных данных и данных на основе изображений;
• Создание информационных систем и конвейеров;
• Подготовка данных для предписывающего и прогнозирующего моделирования;
• Проектирование сквозных конвейеров в рамках гибридной архитектуры больших данных с использованием облачных технологий Azure, Databricks, Spark, Scala, sbt, Airflow, Python, SQL и т.д;
• Использование облачных сервисов Azure для построения конвейеров данных и обеспечения эффективного мониторинга.

• более 3-х лет соответствующего опыта в области разработки данных;
• Опыт работы в Spark;
• Опыт работы с Databricks;
• Опыт работы с облаком Azure;
• Умение писать надежный код с помощью Scala;
• Отличные навыки работы с SQL;
• Опыт создания хранилищ данных и ETL-решений;
• Понимание структур данных, моделирования данных и архитектуры программного обеспечения;
• Навыки анализа и решения проблем.

• Конкурентоспособная заработная плата;
• Удаленная работа или работа в офисе;
• Гибкий график работы;
• Команда с отличным техническим опытом.