дата инженер систем больших данных

Описания нет

• Разрабатывать низкоуровневую архитектуру систем больших данных на основании информации, полученной от аналитиков и архитекторов;
• Разрабатывать документы, описывающие низкоуровневую архитектуру систем больших данных;
• Разрабатывать программный код систем больших данных;
• Подготавливать документацию, описывающую алгоритмы разработанных систем больших данных;
• Разрабатывать модульные тесты для программного кода систем больших данных;
• Подготавливать и собирать установочные пакеты для установки разработанных решений в промышленную среду;
• Проводить плановые работы по оптимизации программного кода систем больших данных;
• Исправлять дефекты в разработанных приложениях;
• Подготавливать и выпускать пакеты обновлений, включающие исправление дефектов и оптимизацию программного кода систем больших данных.

• От 3 лет коммерческой разработки;
• От 2 лет разработки систем, вышедших в промышленную эксплуатацию;
• Глубокие теоретические знания стека технологий BigData и практический опыт;
• Умение давать и принимать обратную связь;
• Опыт работы с бизнес-требованиями: сбор, формирование и анализ;
• Опыт работы в условиях постоянно меняющихся требований;
• Опыт написания программ распределённых вычислений на Spark и ETL-процессов;
• Опыт проведения проверки кода;
• Опыт или понимание разработки и проектирования архитектуры баз данных, создания и работы с базами данных;
• Опыт оптимизации запросов;
• Понимание процессов CI/CD;
• Опыт написания модульных тестов;
• Знание Python 3.5+, Spark 2.2+, Hadoop, Hive, Airflow, Kubernetes (K8S), SQLAlchemy, PostgreSQL, Greenplum, PyTest или Unittest, Flake8 или PyLint, Black, Docker, Git, GitLab, CI/CD, разрешения конфликтов, Shell и Linux.

• Удалённая работа;
• Гражданство: любое;
• Локация: любая.