Добро пожаловать в репозиторий Cloud.ru MLOps Engineer — курса о практиках развертывания, эксплуатации и автоматизации ML-систем с использованием сервисов Cloud.ru Evolution: AI Factory и Data Platform.
Курс охватывает все этапы MLOps: от подготовки данных до запуска модели в продакшен. Здесь собраны все материалы для прохождения практики — готовые скрипты с примерами кода, данными и ноутбуками, необходимыми для работы в облачной платформе Cloud.ru Evolution.
Поможет освоить полный MLOps-цикл: от подготовки данных до запуска и сопровождения моделей в продакшен.
Покажет, как выстроить стратегию внедрения AI в компании на базе надёжных и безопасных ML-сервисов.
Даст практическое понимание, как работают реальные ML-системы в облаке Cloud.ru Evolution.
- Как организовать MLOps-цикл в облаке
- Как подготавливать данные с помощью Evolution Managed Spark и Evolution Managed Trino
- Как обучать и отслеживать эксперименты в Evolution Notebooks с использованием MLflow
- Как запускать модели в продакшен через Evolution ML Inference
- Как использовать Evolution ML Inference Docker RUN, API и автоскейлинг для стабильного и масштабируемого инференса
├── module2_data_platform/ # Работа с данными: ETL, Spark, генерация
├── module3_training/ # Обучение моделей, MLflow, структурирование проекта
└── module4_inference/ # Запуск моделей: API, Docker, инференс
Работа с платформой данных: ETL, очистка, преобразование и хранение данных.
| Файл | Назначение |
|---|---|
practic1_data_gen.py |
Генерация учебных данных |
salesdb_data_gen.py |
Генерация данных о продажах |
churn_etl.py |
ETL-пайплайн для задачи оттока |
spark_clean.py |
Очистка данных с помощью PySpark |
spark_to_csv.py, spark_to_parquet.py |
Экспорт данных в разные форматы |
spark_ml.py, spark_ml_adv.py |
Примеры ML с PySpark |
m2.3_spark_examp1.py |
Пример работы с Spark |
clients.csv, orders.csv, ML-data-source.csv |
Учебные датасеты |
Обучение моделей, трекинг экспериментов, управление окружением.
Модуль_3_2_Первый_запуск_JupyterLab.ipynb— запуск ноутбука в Evolution Notebooks
Модуль_3_3_От_ноутбука_к_продакшену.ipynb— переход от прототипа к продакшенуdata_loader.py,features.py,train.py— модульная структура ML-проектаcli.py— CLI-интерфейс для запуска обученияconfig.txt— конфигурация эксперимента
Модуль_3_4_Профессиональный_трекинг_экспериментов_ОБНОВЛЕННЫЙ.ipynb— работа с MLflowadv_train.py— расширенное обучение с логированиемconfig.txt,cli.py— конфигурация и CLI
Запуск моделей в продакшен: API, Docker RUN, инференс.
Модуль_4_1_Инференс.ipynb— запуск модели через APIapp.py— простое Flask-приложение для инференсаchurn_model.pkl— сохранённая модель
Модуль_4_3_Docker_run.ipynb— запуск модели в Docker RUNDockerfile— образ для контейнеризации моделиrequirements.txt— зависимостиapp.py— Flask-сервер с инференсомchurn_model.pkl— модель для развёртывания
Этот репозиторий распространяется под лицензией MIT. Вы можете свободно использовать, копировать, модифицировать и распространять материалы для любых целей при условии указания авторства.