data engineer
сопроводительное письмо
описание
Компания занимается разработкой и поддержкой хранилищ данных.
задачи
- Проектировать и разрабатывать хранилища данных и ETL-процессы.
- Работать с большими объемами данных.
- Проектировать и разрабатывать интеграционные решения для промышленных СУБД.
- Проектировать распределенные, высоконагруженные системы.
- Планировать и оценивать сроки работ.
- Разрабатывать и оптимизировать решения в ClickHouse.
- Проектировать и разрабатывать решения на базе ClickHouse в связке с СУБД и Hadoop.
- Мигрировать хранилище данных с Oracle Exadata на Greenplum.
требования
- Знание принципов проектирования и разработки хранилищ данных и ETL-процессов.
- Опыт работы с большими объемами данных.
- Понимание архитектуры Hadoop, опыт использования технологий Hadoop hive, sqoop, impala.
- Опыт проектирования и разработки интеграционных решений для различных промышленных СУБД (Oracle Exadata; Greenplum), Oracle Data Integrator.
- Опыт проектирования распределенных, высоконагруженных систем.
- Понимание подходов тестирования ETL.
- Понимание принципов проектирования витрин данных BI.
- Опыт планирования и оценки сроков работ.
- Знание устройства ClickHouse, движков, индексов.
- Опыт разработки и оптимизации решений в ClickHouse.
- Опыт проектирования и разработки решений на базе ClickHouse в связке с различными промышленными СУБД, а также Hadoop.
- Знание SQL и опыт разработки (pg/SQL, PL/SQL).
- Опыт миграции хранилища данных с Oracle Exadata на Greenplum.
условия
- Оформление по ТК в аккредитованную IT-компанию.
навыки