Инструкция описывает развёртывание сервера распознавания речи openai-whisper-asr-webservice (образ onerahmet/openai-whisper-asr-webservice) на GPU через Docker Compose и его подключение к AI Anki, где он используется для голосовых ответов на карточки, в AI-собеседованиях и на экзаменах.

Сервис принимает аудиофайл (webm, ogg, mp3, wav и др.) и возвращает распознанный текст через HTTP API /asr. Публичный адрес в нашей инфраструктуре — https://asr.webmastermsk.ru (за обратным прокси), внутри сети — порт 9890.

Важное замечание: изначально сервер работал на модели base. Она маленькая и плохо понимает русскую речь: технические термины превращались в обычные слова («SQL» → «Эсквель», «база данных» → «база донных»). Рекомендуемая конфигурация ниже — движок faster_whisper с моделью large-v3-turbo.

• Видеокарта NVIDIA и Docker с поддержкой GPU (NVIDIA Container Toolkit).
• Свободно ~2–3 ГБ видеопамяти для large-v3-turbo (около 1,5 ГБ в режиме int8).
• Свободный порт 9890 (или любой другой).
• Доступ в интернет при первом запуске — модель (~1,6 ГБ) скачивается автоматически.

Итоговый вариант docker-compose.yml:

services:
  whisper-server:
    container_name: whisper-server
    deploy:
      resources:
        reservations:
          devices:
            - capabilities:
                - gpu
              count: 1
              driver: nvidia
    environment:
      - ASR_ENGINE=faster_whisper
      - ASR_MODEL=large-v3-turbo
      - ASR_DEVICE=cuda
      - ASR_QUANTIZATION=float16
      - ASR_MODEL_PATH=/data/whisper
      - MODEL_IDLE_TIMEOUT=300
    volumes:
      - whisper-models:/data/whisper
    image: onerahmet/openai-whisper-asr-webservice:latest-gpu
    ports:
      - '9890:9000'
    restart: unless-stopped

volumes:
  whisper-models:

1. Apps → Discover Apps → Custom App (или Install via YAML).
2. Вставьте конфигурацию из Шага 1.
3. Save → Deploy.

Для замены модели у существующего приложения: Apps → whisper-server → Edit → поменять environment → Save. Контейнер пересоздастся.

cd /путь/к/compose
docker compose up -d
docker logs -f whisper-server

При первом запросе модель скачивается в том whisper-models. Распознавание станет доступно через 1–2 минуты (зависит от скорости интернета).

Документация API (Swagger) открывается в браузере:

http://<IP-сервера>:9890/docs

Тестовое распознавание с консоли:

curl -s -X POST \
  -F "audio_file=@test.webm" \
  "http://<IP-сервера>:9890/asr?task=transcribe&language=ru&output=json&encode=true"

Ответ содержит поле text с распознанной фразой. Загрузку GPU и использование памяти можно посмотреть так:

nvidia-smi

Примечание: параметр initial_prompt сильно улучшает распознавание терминов. AI Anki автоматически передаёт в нём текст текущего вопроса и английские термины из него.

1. Войдите в AI Anki под администратором.
2. Настройки → раздел «Сервер»:
   • ASR URL (Whisper) — https://asr.webmastermsk.ru (или http://<IP>:9890 внутри сети);
   • ASR логин / пароль — если прокси требует Basic-авторизацию, иначе оставить пустыми.
3. Сохранить.
4. В разделе «Обучение» каждый пользователь может включить или выключить «Исправлять распознанную речь с помощью ИИ». Модель поправит неверно услышанные термины, не меняя смысл ответа.

Кнопка «Голосом» появится в учебной сессии (текстовые карточки), в AI-собеседовании и на экзамене.

# логи сервиса
docker logs -f whisper-server
 
# перезапуск
docker restart whisper-server
 
# занятость видеопамяти
nvidia-smi
 
# тест распознавания
curl -s -X POST -F "audio_file=@test.webm" \
  "http://<IP>:9890/asr?task=transcribe&language=ru&output=json&encode=true"