data engineer

Билайн — компания изменений, лидер телеком и digital рынков, предоставляет клиентам новейшие продукты, услуги и сервис высокого уровня. Команда клиентского опыта проводит аналитику метрик качества клиентского сервиса по разным направлениям, находит проблемы и контролирует их устранение.

• Проектировать, разрабатывать и поддерживать ETL/ELT-пайплайны;
• Интегрировать с источниками данных (API, базы данных, файлы, очереди);
• Оптимизировать обработку больших данных (10ТБ+);
• Работать с распределёнными системами хранения и вычислений (Hadoop, Spark);
• Настраивать оркестрацию и мониторинг пайплайнов в Airflow;
• Поддерживать и развивать хранилище (ClickHouse, HDFS, Postgresql);
• Подготавливать витрины данных для аналитиков и ML-команды;
• Документировать пайплайны, внедрять best practices в команде;
• Разрабатывать инструменты для интеграции LLM в продукты (API, библиотеки);
• Разрабатывать агентов и агентные системы;
• Разрабатывать базы знаний для RAG;
• Проводить fine-tuning/адаптацию LLM для специфичных задач/доменов (PeFT, SFT).

• Опыт работы Data Engineer от 2 лет;
• Опыт коммерческой разработки на Python (3.6+);
• Опыт работы с PySpark и экосистемой Hadoop (HDFS, Yarn);
• Понимание принципов распределённых вычислений и оптимизации Spark-джоб;
• Практический опыт работы с Airflow (DAG, сенсоры, операторы, оптимизация);
• Знания основ Machine Learning / Deep Learning;
• Глубокое понимание архитектуры Transformer;
• Умение работать с большими объёмами данных (10ТБ+);
• Знание SQL (в т.ч. оптимизация сложных запросов);
• Опыт работы с системами контроля версий (Git + Gitlab);
• Будет плюсом опыт CI/CD (GitLab CI), знания Data Modeling (звёздная/снежинка, нормализация), навыки работы с JupyterHub и подготовка data notebooks, знакомство с ML-пайплайнами и подготовкой данных для моделей, практический опыт fine-tuning языковых моделей (GPT-like, BERT-like), работа с потоковой обработкой данных, знакомство с NiFi.

• Трудоустройство в аккредитованную ИТ-компанию;
• Сплочённая команда профессионалов с обучением, интересными проектами, конференциями, митапами, публикациями на Хабр;
• Конструктивная и открытая рабочая атмосфера;
• Полис ДМС в лучших клиниках, чек-ап для сотрудников 40+;
• Страхование жизни, от несчастных случаев, критических заболеваний, выезжающих за рубеж;
• Материальная помощь;
• Детские подарки;
• Доплата по листу нетрудоспособности;
• Корпоративные скидки на товары и услуги партнёров;
• Служебная сотовую связь;
• Кафетерий льгот (спорт, здоровье, обучение, путешествия, транспорт) после испытательного срока.