System Design Questions — Оптимизация ML-моделей для снижения задержки и затрат

📡 Что делать, если ваш ML-модель с 94% точностью при пиковом трафике 3000 запросов в секунду сталкивается с задержкой в 4.2 секунды и низкой загрузкой GPU? Ваша инфраструктура начинает давить на бюджет, а пользователи недовольны тайм-аутами. Рассматриваются четыре варианта: включить динамическое пакетирование, квантовать модель, переключиться на тензорный параллелизм или добавить очередь запросов с асинхронными рабочими процессами. Какой из этих подходов поможет решить вашу проблему с низкой загрузкой GPU и высокой латентностью? Полный разбор — в комментариях.