Как установить Skyrim с нейросетью: полное руководство по Mantella, KoboldCpp и xVASynth

Что такое Skyrim с нейросетью и как это работает

Модификация Mantella превращает обычных NPC в Skyrim в персонажей, способных вести уникальные диалоги, реагировать на действия игрока и запоминать прошлые события. Вместо заскриптованных реплик каждый персонаж получает «мозг» на основе большой языковой модели (LLM), «голос» через систему синтеза речи (TTS) и «слух» благодаря распознаванию речи (STT).

Система работает как мост между игрой и внешними сервисами искусственного интеллекта. Когда игрок начинает разговор, мод собирает контекст: кто персонаж, где он находится, какая погода, что надето на герое. Эта информация отправляется в языковую модель, которая генерирует ответ. Затем текст преобразуется в речь с помощью нейросетевого синтезатора, обученного на голосах оригинальных актеров озвучки.

Ключевая особенность — NPC могут помнить прошлые взаимодействия. Если игрок украл лошадь в Вайтране, торговец при следующей встрече может отказаться иметь с ним дело. Персонажи способны комментировать экипировку, оружие в руках и даже соглашаться сопровождать героя в подземелья на основе навыков убеждения.

Подготовка: выбор версии игры и необходимого ПО

Для установки потребуется версия Skyrim Special Edition. Опытные пользователи рекомендуют использовать GOG-версию вместо Steam-версии, так как она вызывает меньше проблем с совместимостью модификаций. Это связано с особенностями обновлений и привязки к платформе.

Основные компоненты для установки:

• SKSE (Skyrim Script Extender) — расширение скриптов, необходимое для работы большинства модов. Файл skse64_loader.exe должен находиться в одной папке с SkyrimSE.exe.
• Mod Organizer 2 — менеджер модов, который позволяет устанавливать и управлять модификациями без изменения оригинальных файлов игры.
• xVASynth v3 — программа синтеза речи, которая генерирует голоса NPC на основе нейросетевых моделей.
• KoboldCpp — интерфейс для запуска локальных языковых моделей.
• Mantella — основной мод, связывающий все компоненты вместе.

Дополнительно понадобятся вспомогательные плагины: .lip and .fuz plugin для xVASynth, FaceFXWrapper для корректной синхронизации губ, xVADict — Elder Scrolls для правильного произношения игровых терминов и русский словарь транскрипции для качественного звучания русской речи.

Установка xVASynth и настройка голосовых моделей

xVASynth — это программа для синтеза речи, которая использует нейросетевые модели, обученные на голосах персонажей Skyrim. Для начала работы необходимо скачать основную версию программы и патч к ней, который распаковывается поверх.

После установки программы в папку с ней нужно добавить русский словарь транскрипции английских слов. Он размещается в директории resources\app\python\xvapitch\text\dicts с заменой существующего файла. Это обеспечивает более естественное звучание русской речи.

Затем устанавливаются голосовые модели. Для первого запуска достаточно двух: Female Serana и Male Nord. Файлы моделей распаковываются в папку resources\app\models\Skyrim и переименовываются в sk_serana. и sk_malenord. соответственно. Чтобы обеспечить работу с другими персонажами, создается копия модели Сераны с именем sk_femalenord.* — это позволит игре подхватывать женский голос для NPC, для которых нет специальной модели.

В настройках программы необходимо активировать плагин .lip and .fuz file maker, подключить словари CMUDicT и XVADict — Elder Scrolls, а также проверить пути к папкам моделей и вывода аудиофайлов. Важно выбрать формат вывода Game (The .lip format) — Skyrim/Fallout 3/Fallout NV и установить галочки Delete lip files, Make fuz files и Skip existing.

Настройка KoboldCpp и загрузка языковой модели

KoboldCpp — это программа, которая позволяет запускать большие языковые модели локально на компьютере. Для работы потребуется файл koboldcpp.exe и образ нейросети в формате GGUF.

При запуске программы необходимо указать путь к скачанной модели через кнопку GGUF Text Model: Browse. Рекомендуется увеличить размер контекста до 8192 токенов — это позволит NPC запоминать больше информации из прошлых диалогов. Опцию Launch Browser можно отключить, так как веб-интерфейс не нужен для работы с игрой.

Для видеокарт NVIDIA рекомендуется модель Mistral-Nemo-Instruct-2407-Q4_K_M.gguf — она обеспечивает хороший баланс между качеством ответов и производительностью. На видеокартах AMD локальный запуск может не работать, в этом случае придется использовать облачные сервисы.

Настройки программы сохраняются в файл settings.kcpps в папке с koboldcpp.exe. Можно создать два отдельных конфига — с поддержкой зрения и без нее. Переключение между ними осуществляется через скрипт запуска сборки.

Установка дополнительных модов через Mod Organizer 2

Mod Organizer 2 — это менеджер модов, который позволяет устанавливать модификации в изолированном виртуальном окружении. При первом запуске выбирается режим Portable и указывается версия игры GOG.

Для работы Mantella потребуются следующие моды:

• Unofficial SSE Patch — исправляет множество ошибок и багов оригинальной игры.
• Address Library for SKSE Plugins — библиотека адресов, необходимая для совместимости скриптов.
• PapyrusUtil SE — утилита для работы со скриптами.
• SkyUI Russian translation — русифицированный интерфейс.
• UIExtensions — расширение пользовательского интерфейса.
• World Encounter Hostility Fix — исправление ошибок боевой системы.
• No NPC Greetings — отключает случайные приветствия NPC, которые могут мешать диалогам.
• Mantella — основной мод для интеграции нейросети.
• FonixData File — данные для корректной работы синтеза речи.

Все моды устанавливаются в строгой последовательности, указанной в списке. После установки необходимо настроить файл GPT_SECRET_KEY.txt в папке мода Mantella, указав адрес локального сервера http://localhost:5001/api/. Также настраивается файл custom_user_folder.ini для хранения пользовательских данных в удобном месте.

Настройка конфигурации Mantella для работы с русским языком

Для полноценной работы на русском языке необходимо внести изменения в файл config.ini в папке Mantella. Основные параметры:

• game = Skyrim — указывает на целевую игру.
• skyrim_mod_folder — путь к папке с установленным модом Mantella.
• llm_api = KoboldCpp — выбор интерфейса для языковой модели.
• model = Custom — использование пользовательской модели.
• language = ru — выбор русского языка для синтеза речи.
• microphone_enabled = 1 — включение голосового ввода (0 — только текстовый ввод).

Для распознавания русской речи необходимо использовать систему Whisper вместо стандартной Moonshine. Это обеспечивает лучшее понимание русского языка и интонаций.

Важный нюанс: файл CSV с персонажами должен содержать информацию об акцентах. Для русскоязычных персонажей нужно изменить параметр акцента с en на ru. Также в главном промте (системном сообщении для нейросети) необходимо указать, что общение ведется на русском языке — это гарантирует, что NPC будут отвечать по-русски.

Для качественного русского синтеза речи можно использовать арендованный GPU на облачных сервисах с шаблоном xTTS API Server, настроенным на русскую озвучку. Однако это необязательно — даже с базовыми настройками можно читать субтитры, если качество синтеза не устраивает.

Запуск игры и проверка работоспособности

Перед запуском игры необходимо запустить все компоненты в правильном порядке:

1. Запустить xVASynth.
2. Запустить KoboldCpp (первый запуск может занять продолжительное время).
3. Запустить Mod Organizer 2.
4. Запустить игру через Mod Organizer 2, выбрав профиль SKSE.

При первом запуске Mantella автоматически создаст необходимые конфигурационные файлы. После появления звукового сигнала и открытия браузера можно закрыть лишние окна — конфигурация создана.

Для GOG-версии игры может потребоваться ручная настройка файлов Skyrim.INI и SkyrimPrefs.ini в папке Documents\My Games\Skyrim Special Edition GOG. Важные параметры:

• iSize W=1280 и iSize H=1024 — разрешение экрана.
• bFull Screen=0 и bBorderless=1 — оконный безрамочный режим.
• bDialogueSubtitles=1 и bGeneralSubtitles=1 — включение субтитров.

После настройки файлы копируются в папку профиля Mod Organizer 2 для единообразия.

Альтернативные варианты: облачные сервисы и другие моды

Помимо локального запуска языковой модели через KoboldCpp, существует возможность подключения к облачным сервисам. Для этого используется API-ключ от сервисов вроде OpenAI, OpenRouter или других провайдеров LLM. Этот вариант позволяет использовать более мощные модели, такие как ChatGPT 4, но требует оплаты за использование.

Существует также альтернативный мод CHIM, который предоставляет более широкий функционал по сравнению с Mantella. Например, он позволяет отдавать NPC команды вроде «Садись» — и персонаж действительно сядет на ближайший стул. Однако установка CHIM сложнее, и он требует более тщательной настройки.

Оба мода поддерживают работу с различными языковыми моделями: ChatGPT, Llama, Grok, Sonnet и другими. Полный список доступных моделей можно найти на сайте openrouter.ai.

Для пользователей VR-версии Skyrim также доступна установка нейросети — оба мода поддерживают виртуальную реальность, что значительно усиливает эффект погружения.

Требования к оборудованию и возможные проблемы

Для локального запуска нейросети потребуется видеокарта не ниже GTX 1660. На видеокартах AMD локальный запуск работать не будет — придется использовать облачные сервисы или запуск на процессоре, который будет крайне медленным.

Объем оперативной памяти также важен: для комфортной работы с языковой моделью рекомендуется не менее 16 ГБ, а лучше 32 ГБ. Модель Mistral-Nemo занимает около 8 ГБ в памяти видеокарты.

Типичные проблемы при установке:

• Ошибки в логе Mantella о несоответствии голосовых моделей — это нормально, если модель подхватывается автоматически. Ошибка не влияет на работу.
• Проблемы с русским языком — необходимо убедиться, что все компоненты (STT, LLM, TTS) поддерживают русский язык. Если TTS плохо говорит по-русски, можно читать субтитры.
• Долгая загрузка при первом запуске — KoboldCpp может загружаться несколько минут при первом запуске, это нормально.
• Конфликты с другими модами — рекомендуется устанавливать моды в указанной последовательности и избегать использования Steam-версии игры.

Ограничения и перспективы технологии

Важно понимать, что разговоры с NPC не влияют на основной сюжет игры — они не добавляют и не удаляют квесты, не меняют концовки. Однако это не умаляет ценности мода: возможность вести естественные диалоги, получать советы о прохождении квестов, узнавать о лучших тавернах или просто шутить с персонажами — это принципиально новый уровень взаимодействия.

NPC могут петь, рассказывать анекдоты, обижаться и даже влюбляться. Они способны вести диалоги между собой, делиться инвентарем и сопровождать игрока в путешествиях. Оскорбление прохожих может привести к конфликту — персонажи способны постоять за себя.

Память NPC ограничена размером контекста языковой модели. При использовании контекста 8192 токенов персонажи помнят события нескольких дней игры. Сбросить память можно специальной командой вроде «Забудь всё, что было сказано до этого».

Технология продолжает развиваться: энтузиасты выпускают новые голосовые модели, улучшают качество русского синтеза речи и расширяют функциональность. Уже сейчас можно задать персонажу любой профиль общения, который будет соблюдаться до перезапуска сессии. В будущем ожидается более глубокая интеграция нейросетей в игровой процесс, что может полностью изменить подход к созданию RPG.

Вопросы и ответы