Backend разработчик

Команда создаёт масштабную и безопасную аналитическую платформу для работы с большими данными.

• Разрабатывать, масштабировать и мигрировать дата-платформу;
• Проектировать и развивать платформу на базе S3, Greenplum, Trino, Apache Airflow, Apache Spark, Yandex Cloud, готовить её к кратному росту объёмов данных, обеспечивать миграцию с Greenplum на Trino/S3 для снижения затрат и ускорения доступа к данным;
• Интегрировать источники и управлять загрузкой данных;
• Строить процессы выгрузки из реляционных СУБД, NoSQL, файловых хранилищ и Kafka, реализовывать стратегии загрузки, работать со снепшотами, инкрементами, аудит-таблицами и CDC;
• Обеспечивать надёжность и эффективность платформы;
• Обеспечивать отказоустойчивость, безопасность, производительность и масштабируемость сервисов и дата-пайплайнов в режиме 24/7, оптимизировать стоимость обработки данных и использования ресурсов, развёртывать инфраструктуру и проводить её мониторинг через CI/CD-пайплайны, сокращать объём ручных операций, создавать новые интеграции;
• Создавать наблюдаемость, контроль качества и развитие инструментов;
• Создавать observability-платформу для DWH, которая поможет обеспечить мониторинг статусов сборки, качество данных, анализ Data lineage, логирование, заниматься версионированием данных, тестировать пайплайны, развивать внутренние фреймворки и low-code-решения для загрузки и трансформации данных;
• Обеспечивать безопасность и организацию разработки;
• Обеспечивать автоматическую выдачу и контроль прав доступа к инфраструктуре и данным, проводить аудит действий пользователей, создавать изолированные среды разработки, тестирования и предпрода с автоматизированным тестированием, выстраивать среду безопасной разработки и повышать надёжность решений.

• Опыт коммерческой бэкенд-разработки от четырёх лет;
• Опыт разработки высоконагруженных stateful-систем;
• Будет плюсом опыт работы с реляционными СУБД (PostgreSQL, Oracle), NoSQL СУБД (MongoDB), MPP-системами (Greenplum), S3-совместимыми хранилищами, проектирования схем данных, партиционирования, шардирования, создания эффективных индексов, работы с Kafka, разработки пайплайнов в Apache Airflow, распределенной обработки на Apache Spark (Spark SQL, DataFrame), работы с данными через Trino, понимания принципов CDC и реализации CDC-паттернов.

• Расширенная медицинская страховка с первого месяца;
• Базовые медицинские услуги, плановая помощь и неотложная за рубежом, страхование от несчастных случаев и лечение критических заболеваний;
• Врачи в клиниках по ДМС, онлайн-консультации с психологами и психотерапия в офисах с кабинетом психотерапевта;
• Ежегодные чекапы и регулярная вакцинация;
• 30 Дней больничного в году с оплатой полной зарплаты;
• Стоматологические процедуры, профессиональная чистка и экстренная помощь за рубежом;
• Покрытие коррекции зрения и хирургического лечения косоглазия после года работы;
• Кабинеты врачей-терапевтов в крупных офисах;
• Оплата ведения беременности и родов для сотрудниц и жён сотрудников, работающих более двух лет;
• Страховка для родственников по системе 80/20.