Python разработчик

Arenadata разрабатывает корпоративную платформу сбора и хранения данных.

• Разработка функциональности продукта на базе Apache Airflow: разработка кастомных операторов, хуков и провайдеров.
• Разработка модулей dbt: создание адаптеров к новым источникам данных, разработка кастомных плагинов.
• Проектирование архитектуры модулей и коннекторов.
• Взаимодействие с архитекторами и продуктовой командой для определения стратегии развития платформы данных.
• Разработка и поддержка тестовой инфраструктуры: unit-тесты, интеграционные тесты.
• Составление архитектурных документов и технических записок по принятым решениям.
• Защита и обоснование архитектурных и технических решений.
• Участие в code review.
• Ревью пользовательской и технической документации по продуктам.

• От 5 лет опыта в разработке на Python, из них значительная часть — продуктовая разработка инструментов для работы с данными.
• Практический опыт работы с dbt Core: понимание архитектуры, опыт разработки или доработки адаптеров.
• Знание стека Big Data: экосистема Apache Hadoop (HDFS, YARN, MapReduce), Apache Spark / PySpark, Apache Ozone, Trino, Apache Hive.
• Понимание принципов распределённого хранения и вычислений.
• Опыт работы с различными СУБД от 3 лет.
• Знание внутреннего устройства Apache Airflow: архитектура, scheduler, executor-ы (Celery, Kubernetes), plugin-система, API провайдеров.
• Понимание архитектуры dbt Core: жизненный цикл выполнения, система адаптеров, протокол взаимодействия с источниками, Jinja-компиляция, манифест и артефакты.
• Уверенное владение Python 3.
• Опыт разработки коннекторов/драйверов к СУБД: знание DB-API 2.0, SQLAlchemy, ODBC/JDBC.
• Знание принципов устройства и функционирования операционных систем семейства Linux.
• Опыт работы с Git.
• Понимание принципов непрерывной интеграции и непрерывной доставки (CI/CD).
• Опыт контейнеризации: Docker, Docker Compose; понимание Kubernetes.
• Декомпозиция задач разработки и умение оценивать трудозатраты.
• Будет плюсом опыт коммитов в open source (Apache Airflow, dbt, dbt-адаптеры) и опыт разработки собственных dbt-адаптеров под нестандартные источники.

• Можно удалённо.
• Москва.