AI Engineering для backend-разработчиков: Модули
Программа учит backend-инженера строить AI-функции с той же инженерной дисциплиной, что и любой сервис: интеграция LLM API, tool calling с проверкой схемы, RAG, оценка и регрессионные тесты, защита от prompt injection, приватность, бюджеты стоимости и задержки. Фокус - надёжная backend-интеграция, а не исследование моделей.
01
Интеграция LLM API
Вызывать API модели так же надёжно, как любую другую внешнюю зависимость.
- Структура запроса и ответа, токены
- Таймауты, повторы, rate limit и circuit breaker
- Потоковые ответы и backpressure
- Абстракция для смены провайдера
- Работа с недетерминированными ответами
Лабораторная: Адаптер LLM-клиента в сервисе Spring Boot с повторами, таймаутами и картой ошибок.
02
Tool/function calling и проверка схемы
Позволить модели вызывать операции backend и сохранить контроль.
- Описание tool и JSON Schema
- Проверка и отклонение аргументов от модели
- Авторизация: права пользователя, а не модели
- Операции с побочными эффектами и шаг подтверждения
- Многошаговые циклы tool и ограничения
Лабораторная: Простой агент с tool для статуса заказа и возврата, с проверкой схемы и авторизации.
03
Retrieval-augmented generation
Опирать ответы на собственные данные организации и указывать источники.
- Стратегии chunking и компромисс размера
- Embedding и векторный поиск
- Гибридный поиск и переранжирование
- Grounding и ссылки на источники
- Умение не отвечать при нехватке контекста
Лабораторная: RAG по набору документов: индексация в PostgreSQL pgvector, retrieval и ответ со ссылками на источники.
04
Оценка качества и регрессионные тесты
Измерять качество AI-функции воспроизводимыми проверками, а не впечатлениями.
- Эталонные наборы и выбор сценариев
- Раздельная оценка retrieval и генерации
- Проверки по правилам и ограничения подхода model-as-judge
- Регрессионные проверки в CI
- Влияние изменения prompt и модели
Лабораторная: Оценочный набор из 30 примеров для лабораторной по RAG и регрессионный тест в CI.
05
Guardrail и защита от prompt injection
Не дать недоверенному тексту изменять поведение системы.
- Прямая и косвенная prompt injection
- Проверка входа и выхода
- Принцип наименьших привилегий для tool
- Очистка вывода и риски отображения
- Проверка по списку рисков OWASP для LLM
Лабораторная: Добавить вредоносный документ в лабораторную RAG, воспроизвести атаку и проверить защиту.
06
Приватность и работа с данными
Контролировать, что отправляется модели и что сохраняется.
- Маскирование персональных данных
- Сроки хранения и политика логов
- Условия провайдера и вопросы размещения данных
- Журнал аудита и прослеживаемость
- Согласие пользователя и место юридической консультации
Лабораторная: Фильтр, маскирующий персональные поля во входных данных, и дизайн журнала аудита.
07
Бюджеты стоимости и задержки
Определить ограничения, делающие AI-функцию устойчивой в эксплуатации.
- Расчёт стоимости токенов
- Кеширование: точное и семантическое
- Маршрутизация на меньшую модель и fallback
- Асинхронная обработка и очереди
- Лимиты на пользователя
Лабораторная: Модель стоимости и задержки: таблица допущений и механизм лимитов.
08
Observability AI-функций
Видеть, что ответило, почему и какой ценой.
- Трассы: запрос, retrieval, вызов модели, tool
- Метрики: задержка, ошибки, токены, доля отказов
- Баланс логирования prompt и ответов с приватностью
- Сигналы качества и обратная связь пользователей
- Алерты и понятие SLO
Лабораторная: Наблюдаемость сервиса RAG с трассами OpenTelemetry и панелью Grafana.