описание
Описания нет
задачи
- Изучение сырых данных, как на источнике, так и в Storage
- Тесное взаимодействие с командами Data Science и ML
- Разбор и устранение сложных инцидентов производительности в ClickHouse, PySpark
- Проектирование и построение витрин данных в ClickHouse
- Разработка и модификация ETL/ELT-процессов для Data Mart
- Проведение код-ревью
требования
- Опыт работы от 3 лет (на аналогичной позиции или схожей)
- Практический опыт построения платформ данных с использованием Apache Iceberg на S3-совместимых хранилищах или Hadoop
- Уверенное владение Python (включая PySpark)
- Продвинутый опыт работы со PySpark (batch) с большими объемами данных
- Опыт проектирования таблиц в ClickHouse
- Опыт опыт работы с ClickHouse
- Отличное знание SQL и опыт оптимизации под большие объёмы данных
- Разработка, оптимизация и масштабирование ETL/ELT-процессов
- Разработка и поддержка витрин данных для аналитики и бизнес-отчетности
- Взаимодействие с аналитиками, специалистами Data Science и ML
- Понимание принципов Data Lake / Data Lakehouse
- Будет плюсом: Опыт работы с Hive; Опыт работы Apache Airflow; Понимание принципов MLOps; Опыт работы с Kafka; Опыт работы со Spark ( streaming); Понимание принципов Lakehouse; Опыт работы с кластером ClickHouse; Участие в проектировании и развитии архитектуры хранилищ данных (DWH) и озёр данных (Data Lake); Понимание различных моделей данных (Star/Snow?ake, Data Vault, Anchor Modeling
условия
- Профессиональное развитие в крупной MedTech компании
- Оформление по ТК РФ с первого дня в дочернюю аккредитованную ИТ компанию
- Удаленный/ гибридный формат работы
- Здоровье и поддержка: полис ДМС с телемедициной, консультациями узких специалистов и психотерапевта. Корпоративные скидки до 50% на все виды медицинских услуг для вас и ваших близких
- + 3 дня оплачиваемых выходных
- Подарок на День рождения и для детей к Новому году и Дню знаний
- Внутреннее и внешнее обучение, семинары, тренинги
- Корпоративные скидки и эксклюзивные специальные предложения от 800+ партнеров (товары, обучение, спорт, здоровье, рестораны, отдых)
- Вознаграждение за рекомендацию друзей в команду ИНВИТРО
- Предлагаем насыщенную жизнь в компании! Проводим корпоративные и спортивные мероприятия, профессиональные соревнования, конкурсы для сотрудников и членов семьи. В компании у каждого сотрудника имеется возможность для профессионального и карьерного роста.
