.svg)
Загрузи резюме в профиль, чтобы сгенерировать временное CV под эту вакансию
сегодня
data engineer
ориентир по рынку
вакансия
зп не указана
в среднем
217 462 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансией
генерация резюме под вакансию
сопроводительное письмо
Загрузи резюме в профиль, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории
описание
Проект представляет собой высокопроизводительный конвейер для обработки огромных объёмов данных, а не классическое хранилище данных.
задачи
- Разрабатывать и сопровождать высоконагруженный конвейер обработки данных на отдельном контуре;
- Реализовывать API для взаимодействия между компонентами системы;
- Собирать информацию через коллекторы syslog, UDP и другие протоколы;
- Строить ETL/ELT-пайплайны с использованием Airflow, Spark и Kafka;
- Оптимизировать производительность: профилировать, работать с многопоточностью, диагностировать и устранять узкие места;
- Интегрировать внешние источники данных совместно с аналитиком.
требования
- От 2 лет опыта в дата-инжиниринге или разработке высоконагруженных систем;
- Высшее образование;
- Уверенно владеть Python для разработки пайплайнов и автоматизации;
- Уверенно владеть SQL и оптимизировать сложные запросы;
- Иметь опыт работы с ClickHouse, Hive и другими СУБД;
- Иметь опыт работы с большими данными, Hadoop, Spark и Kafka;
- Иметь опыт оркестрации с Airflow, Jenkins или аналогами;
- Иметь опыт разработки высоконагруженных API, понимать многопоточность и работать с сетевыми протоколами;
- Иметь опыт работы с коллекторами сбора информации: syslog, UDP и другими;
- Обладать системным мышлением;
- Понимать производительность и архитектуру;
- Уметь работать с большими объёмами данных;
- Уметь взаимодействовать с аналитиками и смежными командами.
условия
- Профессиональный рост, участие в профильных конференциях, доступ к корпоративной библиотеке и курсам;
- Официальное трудоустройство в штат аккредитованной IT-компании;
- Полный социальный пакет: оплачиваемые отпуска, больничные со 100% компенсацией и командировки;
- ДМС со стоматологией после испытательного срока;
- Бонусные тарифы на телеком-услуги Дом.ру, программы лояльности и скидки в фитнес-клубы;
- Внутренние хакатоны, митапы, совместные выезды и спортивные мероприятия.
навыки
Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
