описание
Управление по работе с данными Аналитического центра при Правительстве РФ открывает поиск на вакансию «Дата инженер/разработчик Python». Мы разрабатываем системы для сбора, обработки и анализа данных из разнообразных источников, в том числе с применением AI. Ищем специалиста, который будет развивать инфраструктуру данных и участвовать в прикладной Python-разработке.
задачи
- Разрабатывать и поддерживать ETL/ELT-пайплайны на Apache Airflow
- Создавать и развивать адаптивные парсеры (Selenium, Playwright), устойчивые к изменениям структуры сайтов-источников
- Проектировать и оптимизировать базы данных на PostgreSQL: схемы, индексы, транзакции, репликация, сложные запросы
- Организовывать хранение сырых и обработанных данных в S3 с управлением доступами через переменные окружения
- Внедрять и поддерживать практики Data Quality, Data Lineage и Data Catalog
- Разрабатывать REST API и backend-сервисы на FastAPI (Pydantic, асинхронность, middleware, OpenAPI)
- Интегрировать AI-модели и LLM в продукт: подготовка данных, RAG-пайплайны, промпты, структурированный вывод и оценка качества ответов
- Автоматизировать рутинные операции в Linux с помощью Bash-скриптов
- Участвовать в code review и командной разработке через Git
требования
- Высшее образование
- Уверенное знание Python
- Опыт разработки и поддержки пайплайнов на Apache Airflow
- Опыт создания адаптивных алгоритмов парсинга, подстраивающихся под изменения структуры сайтов-источников
- Опыт работы с инструментами веб-скрапинга (Selenium, Playwright) и понимание веб-протоколов
- Глубокое понимание PostgreSQL: несколько схем, индексы, транзакции, репликация, оконные функции, написание и оптимизация сложных запросов
- Опыт работы с S3-совместимыми хранилищами (MinIO) и управлением доступом через переменные окружения
- Понимание принципов Data Quality, Data Lineage и Data Catalog
- Опыт разработки REST API на FastAPI (Pydantic, асинхронность, middleware, OpenAPI)
- Опыт разработки Python-сервисов с использованием AI/LLM (работа с API моделей, промптинг, базовое понимание RAG и векторного поиска)
- Уверенная работа с Git (ветвление, pull request, code review, разрешение конфликтов)
- Уверенная работа в Linux и написание Bash-скриптов
- Будет плюсом: Понимание основ ML, опыт оценки качества LLM и локального запуска моделей (vLLM, Ollama); Опыт работы с Docker: написание Dockerfile, оптимизация образов, Docker Compose, сетевое взаимодействие контейнеров; Опыт настройки CI/CD: автоматизация тестов, линтеров, сборки и деплоя; Опыт работы с брокерами сообщений (RabbitMQ, Kafka)
условия
- Официальное трудоустройство в аккредитованную ИТ-компанию: полное соответствие ТК РФ, стабильность
- График работы: 5/2, 9:00 - 18:00
- Бронирование: предоставление права на отсрочку от призыва на военную службу по мобилизации и последующих призывов в военное время для граждан, пребывающих в запасе ВС РФ (для военнообязанных)
- Конкурентная заработная плата: обсуждается индивидуально, исходя из вашего опыта и навыков
- ДМС: расширенная программа медицинского страхования, включающая стоматологию, телемедицину и страхование путешественников (подключаем после прохождения 3-х месячного испытательного срока), скидки на страхование для членов семьи
- Фитнес: предоставляем корпоративные скидки на клубные карты
- Интересные задачи: работа над сложными продуктами/проектами
- Комфортный офис в центре города, в шаговой доступности от м. Красные ворота, Чистые пруды, Сретенский бульвар, Тургеневская.