Итак, появилась модель которая превосходит GPT 3.5 в переводе с японского на английский.
Хотел добавить тег визуальных новелл, но он заблочен. Поэтому пощу без него, всё же помимо визуальных новелл оно переводит всё, что попадает в буффер обмена, поэтому пригодится и для иных целей.
kobold.cpp - Releases · LostRuins/koboldcpp · GitHub
Сам textractor - Releases · Artikash/Textractor (github.com)
Исходники (Дисклеймер: я не прогромист/веб разработчик лучше не смотреть можно получить инфаркт) - https://drive.google.com/file/d/1fYMY0PaO2aOsassFwA_WvJ8eOD-1HDf9/view?usp=sharing
Кому интересно - https://drive.google.com/file/d/1fYMY0PaO2aOsassFwA_WvJ8eOD-1HDf9/view?usp=sharing сам фронт.
Видео фрагмент с использованием другой модели.
За сим, сделал небольшой интерфейс для удобства, работает в паре с kobold.cpp и textractor. То есть берет японский текст из буффера обмена который предоставляет textractor и через апи кобольда переводит его.
Вполне себе шустро работает, нужно как минимум 8 гигабайт видеопамяти, чтобы полностью уместить 5 или 6 квант данной модели в памяти.
LLaMA это довольно известная модель от Meta, я её ранее запускал у себя и пытался разговаривать с ней. Тут LLaMA модифицированная или обычная?
Для контекста, я ранее говорил про модель Sugoi + Sugoi Translator Toolkit. С Sugoi Translator Toolkit можно использовать как оффлайн модель, так и онлайн переводчики.
https://blog.sugoitoolkit.com/sugoi-offline-model-v4-0-showcase/
https://archive.org/details/sugoi-toolkit-v-8.0-public-link-1234324