Привет, пидоры. Ищу софт для перевода mp3 (а еще лучше mp4) в текст. То есть что-то вроде конспектирования лекций. Знаю, что Алиса от яндекса делает ч... / пидоры помогите

Оладушек

пидоры помогите

Привет, пидоры. 

Ищу софт для перевода mp3 (а еще лучше mp4) в текст. То есть что-то вроде конспектирования лекций. Знаю, что Алиса от яндекса делает что-то подобное, но вроде там только краткий пересказ и к тому же видео нужно заливать на ютуб. Дело в том, что лекции никуда заливать нельзя в связи с NDA, да и к тому же конспекты нужны подробные, а видеозаписей там на 15+ часов. Гугл вывел меня на нейросетку whisper-jax, но как поднять ее локально не представляю. Может есть какая-то софтина или бесплатный сервис? По поводу последнего, пробовал https://huggingface.co/spaces/sanchit-gandhi/whisper-jax, но он 2 часовую лекцию не прожевал.

Прошу помощи

О посте

Комментарии

36

06.10.24, 08:19

+1,9

гугл доками попробуй.

madgod

06.10.2024, 08:35

ссылка

0,0

Так у openAI есть открытые модели для распознавания Whisper.
https://huggingface.co/openai
https://huggingface.co/openai/whisper-large-v3
(кроме них в общем то нихрена открытого у них и нет)

Так уж ли нельзя никуда заливать? А то телега умеет распознавать в премиум режиме. Ютуб может генерировать сабы. Яндекс браузер вроде умеет сабы делать. Тот же OpenAI API может возвращать текст из mp3 (тот же whisper используется). Ну и сам https://huggingface.co/spaces/openai/whisper

SUPRIMEkair

06.10.2024, 08:35

ссылка

0,0

Да, вот последний я пробовал. Загрузил файл минут 20 назад. До сих пор жду. Установил себе локально этот whisper jax. Можно тебе сюда буду писать с вопросами?

Оладушек

06.10.2024, 08:46

ссылка

0,0

Да я сам ещё с этим не разбирался. Всё лень. Для своего бота юзал OpenAI API. Сейчас мой токен превратился в тыкву, надо новый подрубать, да и запускать это потом на сервере в нидерландах, ибо из раши не принимают запросы. Мээээ. Может через месяц-два, когда начну в 5й раз переписывать своего бота, гляну по моделям, что получится запустить локально, но пока лень.

SUPRIMEkair

06.10.2024, 08:59

ссылка

0,0

Поставил себе локально. Он 10 минут обрабатывал 4х минутное видео. Проще видимо самому сидеть и все это вбивать руками

Оладушек

06.10.2024, 09:32

ссылка

0,0

пробовал на чем-то более простом? например видео из Youtube? у меня было такое, что большое тоже не с первого раза пережевывает, но с небольшими частями проблем нет

MKOP

06.10.2024, 10:25

ссылка

0,0

Ну, 4х минутная запись на мой взгляд должна быть достаточно легкой, учитывая, что у меня 15 часов лекций.

Оладушек

06.10.2024, 11:05

ссылка

0,0

Я это делаю на жирике нвидивском на линухе (для того собственно и ставил), виспер собираю с гитхаба и запускается локально, распознавание работает бодренько.

Но для лекций во времена ещё лекций, юзал гугл Транслейт на телефоне. Как вариант чтобы не ебаться, с винды приватности у тебя и так нет. А чтобы с пайтоном играть то идейе нужно и ну короче, делов на 20 минут (нет). А так можешь на другой язык заодно переводить и даже озвучивать. Возможно даже апи для этого есть у гугла.

jowaj36859

06.10.2024, 11:00

ссылка

0,0

К сожалению, я сильно ограничен во времени и хотелось бы за ближайшую ночь обработать 15 часов лекций. Жирик - это что такое? В докере если поднять будет лучше или это совсем не то?

Оладушек

06.10.2024, 11:06

ссылка

0,0

Жирик это видеокарта от нвидии
Это можно поднять в докерк, если есть железо, можно даже в гугл ноте или как он там. Который даёт видяху бесплатно на 12 часов.

jowaj36859

06.10.2024, 11:13

ссылка

0,0

Комментов: 10

если оно несильно приватно, можешь скинуть мне часть- две , я попробую у себя распознать, если совсем времени в обрез

MKOP

06.10.2024, 12:59

ссылка

0,0

Комментов: 1

новое обновление винды 11 должно уметь

narsus

06.10.2024, 08:41

ссылка

-0,8

Можно чуть подробнее

Оладушек

06.10.2024, 08:46

ссылка

0,0

win+ctrl+S
Но нужно язык системы переключить на инглиш.
Но что-то сомневаюсь, что оно работает локально.

SUPRIMEkair

06.10.2024, 08:52

ссылка

-0,6

Пишет, что текущий язык не поддерживается. Сомневаюсь, что он в таком случае сможет нормально конвертацию русского языка сделать

Оладушек

06.10.2024, 09:03

ссылка

0,0

Работает локально, русского нет.

rezusss

06.10.2024, 09:54

ссылка

0,0

В настройках видны надо установить языковые пакеты, возможно на вкладке по распознаванию речи

jowaj36859

06.10.2024, 10:55

ссылка

-0,6

rezusss

06.10.2024, 11:03

ссылка

0,0

Ой, там политека
https://www.reddit.com/r/PhasmophobiaGame/comments/w21pb0/why_would_devs_delete_the_recognition_of_russian/

jowaj36859

06.10.2024, 11:48

ссылка

-0,2

Кто отследит твоё NDA на ютубе, если сделаешь доступ по ссылке? Там кстати есть автогенерация субтитров от самого ютуба, потом просто удалишь видео.

yoburg

06.10.2024, 09:13

ссылка

+0,2

Не хочется рисковать если есть другие пути

Оладушек

06.10.2024, 09:17

ссылка

-0,1

Если сервис подавился двух часовым файлом, по попробуй нарезать на часовые (получасовые) отрезки и скормить ему так.
Или там ограничение на количество файлов есть?

Russ_Dry

06.10.2024, 09:20

ссылка

+0,6

Привет,
смотри, проблема у тебя в том, что ты хочешь из mp3\mp4 вытянуть текст, да?!
Ок, есть одно приложение, которое сам использовал, https://www.nikse.dk/subtitleedit Subtitle Edit. ему только нужно библиотеки подгрузить того языка(это в самом приложении можно сделать, оно на выбор дает), с которого хочешь ему дать видео на обработку, желательно, чтобы лишних шумов не было (нет такой программы еще, что обрабатывало звуки как человек, может нейронки уже есть , не искал среди них, а так ,обычные программ не видел)
Так вот, я брал курс по видео на английском(в нем нету субтитров, но мне нужно было прокачаться), да , да, кто-то скажет , выучи ты его уже, хватит обходные способы искать, но я отвлекся... Так вот, я скачал на него библиотеки языка,вроде среднюю скачал библиотеку, там чем больше библиотека, тем дольше обрабатывает, но точнее, но зато, никакой интернет не нужен после, просто кидаешь в него видео или видюшки и уходишь по своим делам, а он уже сам создает тебе документики, который можно использовать ,как субтитры для видео.
Ты можешь сказать, но мне нужен только текст, а не таймкоды , но тут уже я скажу тебе, что тебе проще скрипт написать, я помню, что ты на C# умеешь и даже курсы по go пытался изучать(просил помощи в лучших и быстрых ,для усвоения ,курсов ), напиши там парсер, что будет искать то, что нужно удалить и все на этом, у тебя будет голый текст из видео, что тебе нужно
Сама программа проста в использовании, я ей давно не пользовался, но помню, что там несколько кнопок нажать и все
А , да, программа бесплатная и с исходным кодом, и все твои данные сохраняет там, где ты укажешь(в моем случае это был мой компьютер),а , еще кое-что, когда смотрел видео с субтитрами(после этой программы, что получил, их даже в этой программе можно перевести на другой язык, очень удобно) то сам по себе перевод меня устраивал, а значит исходный текст субтитров был более чем , но помни, я скачивал среднюю библиотеку, а если тебе нужно супер точно, то скачивай большую, и обработка видео у тебя будет очень долгой, ну и за одно проверь, есть ли там библиотеки для твоего языка из видео

trnudrtyn65u

06.10.2024, 14:45

ссылка

+0,5

Поковырял эту приложуху - бомба. У нее внутри есть всё. Даже сам whisper jax. Он прям внутри приложухи скачивает библиотеку, модель, извлекает аудио из видеозаписи и обрабатывает.
Спасибо тебе огромное!

Оладушек

06.10.2024, 17:28

ссылка

+0,4

В чём проблема? Включи этот Мп3 и открой гугл док, нажми на диктовку и следи за процессом, как пойдёт.
Чтоб без присмотра процесс оставить, так пока что вряд ли бывает.

madgod

06.10.2024, 14:51

ссылка

+0,5

Чтобы написать коммент, необходимо залогиниться