Инженер данных

грейд
middle
страна
Россия
опубликована
вчера

описание

Описания нет

задачи

  • Поддерживать и дорабатывать сервисы на Python для обработки и загрузки файлов Excel/CSV в базы данных.
  • Писать и оптимизировать SQL-запросы, представления и хранимые процедуры в Microsoft SQL Server и PostgreSQL.
  • Вносить изменения в справочные таблицы: корректировать записи, устранять дубли, поддерживать сопоставление с эталонными справочниками.
  • Разрабатывать проверки полноты, точности, согласованности и актуальности данных; находить причины расхождений и исправлять ошибки обработки.
  • Развивать журналирование и контроль загрузок, обеспечивать повторный запуск без потери и задвоения данных.
  • Создавать и актуализировать техническую документацию: описания таблиц, источников и движения данных, правил преобразования, инструкций по запуску и сопровождению сервисов.
  • Участвовать в развитии DWH: подключать новые источники, развивать слои и витрины данных, оптимизировать производительность.
  • Взаимодействовать с руководителем подразделения и внутренними заказчиками по задачам обработки данных и развития DWH.

требования

  • Практический опыт разработки или сопровождения процессов обработки данных.
  • Уверенное знание SQL: соединения, подзапросы, CTE, оконные функции; понимание индексов, транзакций и причин блокировок.
  • Владение Python для обработки файлов и работы с БД: преобразование и проверка данных, обработка исключений, логирование.
  • Опыт работы с Microsoft SQL Server или PostgreSQL и готовность работать с обеими СУБД.
  • Понимание ETL/ELT и опыт поддержки регулярных загрузок данных.
  • Навыки работы с Git, умение разбираться в существующем коде и вносить проверяемые изменения.
  • Умение писать понятную техническую документацию и внимательно работать с данными.
  • Будет плюсом: Опыт развития DWH, понимание моделирования данных и построения витрин; Опыт работы с pandas, openpyxl, SQLAlchemy или аналогичными библиотеками; Понимание принципов работы RLS (Row-Level Security) — разграничения доступа к данным на уровне строк; Знакомство с Apache Airflow, dbt или другими инструментами оркестрации и преобразования данных; опыт работы с Docker; Опыт анализа планов запросов, настройки индексов и работы с большими таблицами; Знакомство с ClickHouse и Apache Superset

условия

  • Работа в торгово-производственной компании, являющаяся лидером рынка;
  • Оформление в соответствии с ТК РФ;
  • Достойная заработная плата (обсуждается с успешным кандидатом);
  • Предоставление ноутбука и корпоративной мобильной связи;
  • График работы: понедельник-пятница, с 9:00 до 18:00.
  • Формат работы: гибрид

навыки

компания

похожие вакансии

статьи для разработчиков