«База знаний» - это внедрение базовой дисциплины управления критическими* данными корпоративного хранилища: как структурированными (таблицы, витрины, отчёты), так и неструктурированными (Confluence, Wiki — знания о данных). Цель проекта – создание работающей системы управления критическими данными ФГ, обеспечивающей: полную идентификацию и описание источников, измеримое качество через дата-контракты, единую навигацию по данным и знаниям о них, дисциплину поддержания актуальности, наличие источников в целевом состоянии.
сегодня
Data engineer
ориентир по рынку
вакансия
зп не указана
в среднем
305 125 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- Разрабатывать и поддерживать CI/CD-пайплайны для ETL-процессов, проверок качества данных и инфраструктурных компонентов
- Обеспечивать версионирование ETL-кода, конфигураций, тестов и технической документации
- Автоматизировать развёртывание, пересборку и восстановление data-пайплайнов при сбоях
- Настраивать мониторинг, алертинг и централизованное логирование для контроля состояния процессов и качества данных
- Внедрять автоматизированные проверки схем, целостности и полноты данных на этапах загрузки и обработки
- Обеспечивать управление секретами, доступами и безопасностью данных и инфраструктуры
- Поддерживать среды разработки, тестирования и эксплуатации, оптимизировать производительность и использование ресурсов
- Настраивать резервное копирование и восстановление данных и конфигураций, обеспечивать соблюдение RTO/RPO
- Участвовать в диагностике и устранении инцидентов, проводить пост-инцидентный анализ
- Документировать архитектуру, data-пайплайны, процессы деплоя и восстановления
требования
- 3+ года опыта в роли Data Engineer/Backend Developer
- Python: для написания DAGs Airflow (DAG, операторы, сенсоры)
- Airflow: DAG, операторы, сенсоры
- SQL: глубокое знание, оптимизация запросов, опыт работы с PostgreSQL и ClickHouse
- Kafka: опыт работы с producers/consumers, настройка кластера/брокеров/топиков
- СУБД: Redis/ClickHouse/PostgreSQL или подобные системы
- CI/CD: Gitlab CI, Runners, Docker, Bash
условия
- Доступ к современным AI-инструментам
- Работу в стабильной и активно развивающейся компании – лидере инвестиционного рынка
- Современный стек технологий, амбициозные проекты, возможность профессионального развития
- Гибридный режим работы: возможность работать удаленно (частично или полностью)
- Работу в аккредитованной Минцифры России ИТ-компании, резиденте Сколково
- ДМС с первого месяца работы
навыки
Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.
