Инженер будет строить, масштабировать и мониторить сквозные конвейеры данных, аналитические витрины и слои lakehouse для внутренней BI-аналитики и AI-агентов.
дата инженер для AI-агентов
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- Проектировать и оптимизировать слой lakehouse на Apache Iceberg и Parquet;
- Разрабатывать и мониторить пакетные и потоковые ETL/ELT-конвейеры;
- Моделировать витрины данных в ClickHouse и DuckDB;
- Настраивать CDC, репликацию и синхронизацию данных из PostgreSQL;
- Интегрировать решения с Cloudflare, включая Workers, R2 и Queues;
- Обеспечивать качество данных с помощью тестов, lineage и мониторинга;
- Взаимодействовать с AI-командами для подготовки датасетов и признаков.
требования
- От 3 лет опыта в Data Engineering или смежных областях для Middle либо от 5 лет для Senior;
- Практический опыт работы с Apache Iceberg, Parquet и объектным хранением S3/R2;
- Сильные навыки работы с ClickHouse, DuckDB, PostgreSQL и SQL;
- Знание Python и/или TypeScript/Node.js;
- Понимание размерного моделирования и фреймворков качества данных;
- Опыт работы с Docker и бессерверными или периферийными средами;
- Будет плюсом Trino, Apache Flink, CDC-инструменты Debezium и pglogical, опыт подачи данных в LLM и векторный поиск, инструменты оркестрации Dagster, Airflow и Temporal.
условия
- Высокая автономия без корпоративной бюрократии;
- Современный стек: Iceberg, DuckDB, ClickHouse, Cloudflare, AI-агенты;
- Культура, ориентированная на удалённую работу и результат;
- Конкурентная компенсация по уровню опыта.
навыки
Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.