ml инженер банковских продуктов

Halyk — банковская группа, развивающая банковские продукты и сервисы для частных клиентов и бизнеса.

• Разрабатывать и внедрять LLM/VLM-решения для бизнес-задач компании;
• Проектировать и строить RAG-пайплайны для работы с корпоративными данными;
• Разрабатывать и оптимизировать мультиагентные системы на базе LangGraph и LangChain;
• Настраивать и обслуживать инференс-серверы;
• Выполнять дообучение моделей под специфические задачи;
• Разрабатывать REST API на FastAPI для интеграции ML-сервисов в продукт;
• Контейнеризировать и развёртывать ML-сервисы с помощью Docker и Kubernetes;
• Оптимизировать производительность моделей;
• Проектировать и поддерживать векторные базы данных для хранения эмбеддингов;
• Писать и поддерживать автоматические тесты для ML-пайплайнов;
• Мониторить качество моделей в продакшене;
• Проводить бенчмарки и A/B-тесты для сравнения моделей и подходов;
• Настраивать multi-GPU и распределённое обучение;
• Подготавливать и очищать данные для обучения и оценки моделей;
• Исследовать и внедрять новые модели, техники и фреймворки;
• Писать техническую документацию и ADR;
• Участвовать в код-ревью и менторить младших специалистов;
• Взаимодействовать с продуктовой командой для определения требований и приоритетов;
• Оптимизировать стоимость облачной GPU-инфраструктуры;
• Обеспечивать безопасность и надёжность ML-сервисов в продакшене.

• Знание Python 3.10+, включая async/await, type hints, dataclasses и protocols;
• Знание архитектурных паттернов SOLID, DI и Clean Architecture;
• Опыт тестирования с pytest, unittest, mock и интеграционными тестами;
• Навыки линтинга и форматирования с ruff, black и mypy;
• Опыт управления зависимостями с poetry, uv и pip-tools;
• Опыт работы с Git и GitHub, включая branching strategies, CI/CD и code review;
• Глубокое понимание архитектуры Transformer, включая attention, positional encoding и KV-cache;
• Опыт работы с GPT-4, Claude, LLaMA 3, Mistral, Gemma и Qwen;
• Опыт работы с LLaVA, InternVL, Qwen-VL, GPT-4V/4o и Pixtral;
• Знание LoRA, QLoRA, PEFT, полного дообучения, RLHF и DPO;
• Знание подходов Few-shot, Chain-of-Thought, ReAct и System prompts;
• Знание методов оценки BLEU, ROUGE, perplexity, human eval и LLM-as-judge;
• Знание BPE, SentencePiece и tiktoken;
• Опыт работы с LangChain, LangGraph и LangSmith;
• Знание RAG-пайплайнов, векторных хранилищ, эмбеддингов, загрузчиков документов и разбиения текста на фрагменты;
• Опыт работы с vLLM, TGI, TensorRT-LLM и Triton;
• Знание методов оптимизации инференса, включая Quantization и оптимизацию KV-cache;
• Опыт бенчмаркинга производительности моделей;
• Опыт работы с PyTorch и Deep Learning;
• Знание распределённого обучения с DDP, FSDP, DeepSpeed и Megatron-LM;
• Знание смешанной точности FP16, BF16 и AMP;
• Опыт работы с Hugging Face Transformers, Datasets, Accelerate, PEFT и TRL;
• Знание планирования скорости обучения, накопления и ограничения градиентов;
• Знание SafeTensors, ONNX и TorchScript;
• Понимание архитектуры NVIDIA GPUs A100, H100, L40S и RTX 4090;
• Базовое понимание CUDA cores, Tensor cores и memory hierarchy;
• Навыки управления VRAM, offloading и gradient checkpointing;
• Знание tensor parallelism, pipeline parallelism и data parallelism;
• Навыки мониторинга и профилирования GPU;
• Опыт работы с облачными GPU AWS, GCP, Azure, RunPod и Lambda;
• Опыт разработки на FastAPI;
• Знание asyncio, aiohttp, httpx и асинхронных драйверов баз данных;
• Опыт работы с Pydantic v2;
• Знание WebSockets и SSE для стриминга ответов LLM;
• Знание JWT, OAuth2 и API keys;
• Знание rate limiting;
• Опыт документирования API через OpenAPI/Swagger;
• Опыт работы с Docker и Docker Compose;
• Знание NVIDIA Container Toolkit;
• Базовое знание Kubernetes;
• Опыт настройки CI/CD с GitHub Actions и GitLab CI;
• Знание Terraform или Pulumi;
• Опыт работы с Prometheus, Grafana, ELK или Loki;
• Опыт работы с PostgreSQL, SQL и pgvector;
• Опыт работы с Redis;
• Знание Qdrant, Pinecone, Weaviate и Chroma;
• Опыт работы с S3 и MinIO;
• Знание RabbitMQ, Kafka или Celery;
• Аналитическое мышление и умение декомпозировать задачи;
• Навыки технической коммуникации, документации и подготовки ADR;
• Способность быстро осваивать новые модели и фреймворки;
• Опыт работы в Agile/Scrum-командах;
• Английский язык на уровне B2+;
• Будет плюсом CrewAI, AutoGen, Haystack, MLflow, W&B, Label Studio, Airflow, Prefect, Streamlit, Gradio и OpenTelemetry.

• Конкурентоспособная оплата труда благодаря системе грейдирования;
• Премии ко Дню Независимости и годовой бонус;
• ДМС и страхование жизни;
• Мобильная связь и скидки от партнёров;
• 26 Дней отпуска с возможностью взять дополнительные дни при наступлении важных событий;
• Бонусы за рекомендации;
• Льготные условия на паркинг;
• Свободный стиль одежды smart casual;
• Тренинги, вебинары и доступ к корпоративной библиотеке;
• Чёткая система карьерного роста;
• Открытая и дружеская рабочая атмосфера;
• Спортивные турниры и активная корпоративная жизнь;
• Возможность участвовать в социальных проектах и реализовывать идеи в новых проектах группы Halyk с использованием современных digital-инструментов;
• Творческая и поддерживающая команда.