Data quality engineer

Описания нет

• Разрабатывать автоматизированные проверки качества данных (SQL, PySpark, SparkSQL)
• Проектировать и поддерживать правила Data Quality для новых источников данных
• Разрабатывать и сопровождать Data Contracts
• Анализировать схемы данных, RFC и бизнес-правила
• Интегрировать проверки качества в существующие ETL -пайплайны (Airflow)
• Настраивать мониторинг качества данных (Grafana, PostgreSQL Metadata Store)
• Анализировать инциденты качества данных и искать первопричины
• Развивать библиотеку повторно используемых DQ-проверок
• Взаимодействовать с Data Engineers, аналитиками и заказчиками данных

• Хорошее знание SQL (сложные запросы, оптимизация)
• Опыт работы с Python (Pandas, PySpark) для анализа данных и автоматизации
• Понимание устройства DWH, ETL/ELT, Data Lake, Data Lakehouse (слои bronze/silver/gold)
• Опыт тестирования данных (ETL testing, DWH testing, Data Quality)
• Опыт работы с Git. Базовое понимание CI/CD
• Опыт работы с инструментами Big Data (S3, Spark, Airflow)
• Будет плюсом: Опыт работы с Great Expectations, dbt tests, Soda или кастомным решением; Опыт работы с OpenMetadata или другими дата-каталогами (DataHub, Arenadata Catalog, Apache Atlas); Опыт работы с Data Contracts

• ДМС + стоматология
• Корпоративные скидки в фитнес-клуб World Class
• Корпоративный тариф на абонементы FITMOST
• Программа корпоративных скидок Best Benefits – на спорт и не только
• Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)
• Курсы английского языка, в том числе с носителем языка
• Сообщества по интересам: вместе читаем книги, ходим на интересные мероприятия и делимся маршрутами путешествий
• Внешние профессиональные курсы и конференции, сертифицированное обучение, которые вы выбираете сами
• Билеты со скидкой в Музей криптографии для сотрудников и их семей
• Работа в гибридном формате
• Комфортные офисы с кофе-поинтами и разнообразными снеками каждый день
• Насыщенные и яркие корпоративные праздники
• Классный мерч