go-разработчик для контроля качества данных

Привет! Это команда платформы сверок. Мы развиваем платформу, которая помогает проверять целостность данных в разных системах и убеждаться, что данные, которые одна система передаёт другой, не изменились по пути. Сейчас платформа используется в том числе для SOX-аудита и постепенно развивается в универсальный инструмент для контроля качества данных. Мы работаем с большими объёмами данных и развиваем несколько сервисов вокруг аналитического контура Ozon. Среди них — инструменты для управления репликациями между базами данных, прокси для Vertica и сервисы квотирования ресурсов Trino.

• Развивать платформу сверок и связанные с ней сервисы для контроля целостности и качества данных.
• Писать код на Go и ревьюить код коллег, участвовать в проектировании новых решений.
• Работать с большими объёмами данных, в том числе участвовать в развитии инструментов управления репликациями между Vertica и Trino.
• Участвовать в переходе аналитических процессов с Vertica на Trino и адаптировать под него существующие инструменты (прокси, сервисы квотирования).
• Разбирать проблемы производительности и надёжности сервисов, работать с метриками, логами и мониторингом.
• Развивать оркестраторы, которые запускают задачи по сравнению и репликации данных между Vertica и Trino.
• Проектировать и реализовывать способы физического сравнения больших объёмов данных между источником и приёмником, учитывая особенности конкретных баз данных.
• Развивать сервисы и библиотеки платформы: писать новый код, покрывать его тестами, улучшать существующие компоненты.
• Участвовать в code review, поддерживать качество кодовой базы и техническую документацию.
• Настраивать мониторинг и алерты, разбирать инциденты и проблемы производительности сервисов.

• Опыт коммерческой разработки на Go от 2–3 лет.
• Опыт проектирования и разработки сервисов (API, интеграции, работа с очередями).
• Понимание принципов работы PostgreSQL и уверенное знание SQL.
• Опыт работы с Kubernetes.
• Понимание устройства распределённых систем и базовых подходов к работе с большими объёмами данных.
• Умение работать в команде: вести code review, обсуждать решения, взаимодействовать со смежными командами.
• Будет плюсом: Опыт работы с аналитическими или OLAP-базами данных: Trino, Vertica, ClickHouse, Hadoop или Greenplum; Опыт работы с Kafka, Prometheus и Grafana; Опыт разработки инструментов для data quality, аудита данных или репликации

• Условий в вакансии нет