Инженер данных

Приложение Simple представляет собой платформу для коучинга в сфере здоровья, помогающую пользователям снижать вес и формировать здоровые привычки с помощью искусственного интеллекта.

• Проектировать, создавать и поддерживать потоковые конвейеры данных;
• Разрабатывать пользовательские конвейеры загрузки данных из сторонних API, вебхуков и SDK;
• Переносить существующие конвейеры загрузки данных из SaaS-инструментов в собственную инфраструктуру;
• Доставлять данные в сырой слой хранилища Snowflake с соблюдением согласованности схем, идемпотентности и устойчивости к поврежденным или запоздалым данным;
• Развивать существующий потоковый стек AWS (Kinesis, SQS, Lambda, API Gateway), повышая эффективность затрат, наблюдаемость и отказоустойчивость;
• Поддерживать инфраструктуру как код (Terraform) для ресурсов загрузки и обработки;
• Мониторить конвейеры, устранять неполадки и решать инциденты;
• Участвовать в работе по обеспечению безопасного доступа к данным для агентов искусственного интеллекта и инструментов;
• Постоянно улучшать архитектуру загрузки, инструментарий и инженерные практики.

• Опыт коммерческой разработки на Python от 5 лет в роли бэкенд- или дата-инженера;
• Глубокое понимание архитектуры распределенных систем, включая балансировку нагрузки, шардирование и компромиссы между синхронной и асинхронной обработкой;
• Практический опыт работы с облачными сервисами, предпочтительно AWS (Lambda, API Gateway, контейнеры в ECS/EKS);
• Опыт создания потоковых конвейеров (Kinesis, SQS или аналоги);
• Опыт работы с инфраструктурой как код (Terraform или аналоги);
• Уверенное владение SQL: умение читать и писать запросы, включая соединения и оконные функции;
• Коммерческий опыт работы с реальными производственными данными: способность проектировать системы, которые корректно обрабатывают «грязные», дублированные, задержанные или поврежденные входные данные;
• Понимание потоков данных в производственных системах, включая способность предвидеть и предотвращать проблемы на последующих этапах;
• Операционный склад ума: готовность владеть производственными системами и мониторить их;
• Способность самостоятельно принимать архитектурные решения и проводить ревью работы коллег;
• Будет плюсом сильные навыки SQL и моделирования данных, опыт работы с Snowflake и dbt, опыт работы с оркестраторами рабочих процессов (Airflow, Dagster, Prefect или аналоги), опыт взаимодействия с аналитическими и продуктовыми командами в качестве поставщика данных, опыт работы с конфиденциальными или регулируемыми данными.

• Конкурентная заработная плата и опционы;
• Премиум-подписка на приложение Simple;
• 21 День ежегодного отпуска плюс государственные праздники;
• Гибкий график работы;
• Предоставление необходимого оборудования для комфортной работы.