Интро к Teenage Mutant Ninja Turtles (1987-1990) в 4К / Teenage Mutant Ninja Turtles :: TMNT :: фэндомы :: мультсериалы :: видео :: интро :: Metracryg_upscale

Teenage Mutant Ninja TurtlesTMNTфэндомымультсериалывидеоинтроMetracryg_upscale

Интро к Teenage Mutant Ninja Turtles (1987-1990) в 4К

По просьбе captainrob попотел над 1 минутой вступления, используя источник из этой раздачи:

https://rutracker.org/forum/viewtopic.php?t=5524934

На всякий случай сделал еще версию с удвоенным фпс (48), людям разное нравится:

24 ФПС:

48 ФПС

Если хайвмайнду понравится, можно собирать шекели на обработку хоть всего сериала :)

Сравнение:

,Teenage Mutant Ninja Turtles,Черепашки-ниндзя,TMNT,Teenage Mutant Ninja Turtles, Подростки Черепашки Мутанты Ниндзя,фэндомы,мультсериалы,видео,video,интро,Metracryg_upscale

Что приятнее смотреть?

24 ФПС (оригинал)

594(43,39%)

48 ФПС

775(56,61%)

С этой перерисовкой теряется стиль и чёткость. Разве нейросети нельзя научить рисовать так, чтобы не превращать картинку в акварель?

08.06.2021, 05:35

+17,3

Это я еще неплохо навел четкость.
Вы видите изображение, увеличенное в 20 раз - соответственно все детали в 20 раз больше.
И это после удаления шумов, вертикальных помех и т.д.
Нейросеть не дорисует на столе еще три пиццы, чтобы кадр заполнить :)

08.06.2021, 05:53

+12,6

Какие же раньше черепашки были кайфовые..... похоже я стал стариком (

09.06.2021, 16:13

+7,4

Смотря какая нейросеть. Может после обработки пихать в следующию нейросеть копирующию стилистику?

09.06.2021, 16:25

-0,2

Вы переоцениваете возможности современных нейросетей :)

09.06.2021, 16:42

+3,7

https://m.habr.com/ru/post/383519/

09.06.2021, 16:50

+0,7

А.... современное искусство...
С таким и генератор случайных чисел справится :)

09.06.2021, 17:07

+7,0

Это будет адское месиво. Обычно стайл трансфер не включает временную когерентность. Временная когерентность это вообще боль, адекватно оно пока не работает.

09.06.2021, 19:29

+1,2

с одной поправкой вы навели резкость а не четкость, четкость это различимость мелких деталей, которых тут нет от слова совсем, потому что взяться им неоткуда, а та малость что была размазана.

09.06.2021, 17:51

+1,3

А можешь шум не удалять полностью или заменять его на зернистость, просто выглядит как "мыло" ей богу. Попробуй с добавлением зерна после апскейлинга.

09.06.2021, 22:06

0,0

Меня лично бесит зерно, но добавить его можно элементарно.

09.06.2021, 22:27

+0,1

Нужно интро черепах 2003го

Rockmanover9000

08.06.2021, 05:53

-1,8

давай короче, в таком качестве все выпуски с 1987 года.... станешь популярным

09.06.2021, 17:27

-0,6

а куда смотреть чтобы разницу увидеть?
большей плавности на 48 фпс не заметил, по-прежнему можно разглядеть переходы между отдельными кадрами исходной анимации. или это ютуб пережевал и попортил всё?

08.06.2021, 05:59

+1,0

Ютуб немного жует, но не настолько.
Я тоже не особо замечаю, просто для всех выложил на всякий случай.

08.06.2021, 06:04

+2,3

Я очень хорошо заметил разницу между 24 и 48. Последнее заметно плавнее и динамичнее для меня выглядит.

09.06.2021, 17:55

+0,8

у тебя, наверное, i13, 4090ti и raid10 из террабайтных M.2...
на обычном ноуте вообще незаметно, а субъективно кажется, что 48 - хуже, так как не оправдывает ожиданий.

09.06.2021, 21:10

+0,1

У меня ноут с i5, 1650 и 0,5 M.2 и экраном в 60 Гц.

10.06.2021, 03:30

0,0

Я уже не раз повторял, что мультики с высоким фпс выглядят как говно, но вот нашел сюжет, где профессиональный аниматор, объясняет почему они выглядит как говно

08.06.2021, 07:07

+10,2

Там 24 в 60 фпс.
Я увеличиваю только кратно 2-м - тогда меньше дерганья.
Тем не менее, пока надо подождать год-другой до появления какой-нибудь Rife-app 9.0

08.06.2021, 07:18

+1,0

а как ты увеличиваешь fps?
король лев, например, нарисован 12 кадров в секунду и каждый второй кадр - это предыдущий кадр + на 50% прозрачный следующий, за счёт чего экономия и плавность.

08.06.2021, 08:31

-1,2

Экономия в наше время не имеет особого смысла, потому и интерлейсинг и прочие штуки не нужны.
fps интерполируются системой нейросетей с учетом движения объектов, цветового потока и прочих штучек-дрючек.
Наложение кадров - это обычный обман, плюс не особо приятный на взгляд: при быстрых движениях сплошное размытие.
В моем случае примерно так: нейросеть берет сразу несколько кадров и анализирует все, что на них происходит. На основе этого генерируются промежуточные кадры. Сцены с резкими изменениями кадра не интерполируются, а то будет каша (все настраивается в программе).
В итоге получается "честная" картинка, но не всем типам видео оно подходит.
Идеально для CG
https://grisk.itch.io/rife-app - пришлось купить, не жалею.

08.06.2021, 08:43

+1,9

Нету там "честной картинки" попробуй просто запустить твои ролики, постоянно тормозя пробелом. Гарантирую, даже при таком подходе сможешь отловить несколько смазанных кадров, где непонятная каша из образов. Пример чуть ниже. При 24 кадрах этого нет, потому что там нет промежуточных кадров. Так нафига это делать то? ФПС? так нафига они нужны если в малости кадров зачастую и есть крутость произведения. Как Гоку всех порвет используя всего 8 кадров

09.06.2021, 17:43

+0,1

я вот хз, даже без стопкадров 24фпс посмотрел с удовольствием, а 48фпс в первые секунд 15 уловил две кашеобразные массы и дальше не смотрел

09.06.2021, 18:02

+2,3

Я могу ошибаться, но мне казалось что видео кодеки как раз так и работают, там есть ключевые четкие кадры и есть векторы движения пикселей чтоли. по этому после видео кодеков даже оригинал может быть смазанным. ИИ туда конечно добавляет в некоторых случаях говна. но мне например плавная картинка более приятна не смотря на незначительные артефакты.

09.06.2021, 18:16

+0,2

кодеки по другому работают. Там ловят сходство кадров и тупо записывают что тут нихуя не изменилось, а значит инфы меньше. Вот отличное видео по ним, в том числе самым современным вариауиям

09.06.2021, 18:19

+0,8

Король лев нарисован в 24 фпс, а то что ты говоришь называется "блендингом"(семплингом) и это простейший метод интерполяции после банального дублирования, который зачастую появляется при рукожопых рипах, либо в рукожопых локализациях, либо крайне редко в рукожопых оригинальных DVD 10+ летней давности выпуска. Ещё этот метод задан по умолчанию в некоторых видеоредакторах при изменении ФПС вместо дублирования кадров, а ещё 10 лет назад был задан по умолчанию во всех. Скачай топовый по сидам BD-рип Короля Льва с рутрекера 1080p и попробуй там хоть один полупрозрачный кадр поймать, я вот чёт ни одного не нашёл.

09.06.2021, 23:21

+1,0

то были VHS-кассеты 20+ лет назад, и video-cd (made in usa, без перевода) около 20 лет назад, и там и там такая шняга была. при этом "король лев 2" на VHS в честных 24 фпс сделан был.

10.06.2021, 10:20

0,0

"BD-рип Короля Льва" смотреть бесполезно, это далеко не оригинал, в нём улучшали качество и картинки, и звука, прогоняя по фильтрам, и той же интерполяцией довели до 30 fps...

10.06.2021, 10:22

-0,9

Не имеет значения, даже если двух-кратно.
Картинка анимирована так, что не всегда там есть 24 разных картинки на 24 кадра.
Зачастую, анимируют каждый второй, или каждый третий. Т.е. по факту там или 12 или 8 кадров, просто они повторяются.
Это полностью сбивает с толку софт, так как он расчитан на то, чтобы интерполировать не поторяющиеся кадры. Отсюды и каша.

Чтобы сделать интерполяцию более менее коректно, нужно вычленять эти вторые или третие кадры и скармливать софтине толкьо 12 или 8 кадров в секунду. Но по факту это невозможно даже если есть время на это, так как анимация на каждый 2 или третий кадр может быть скомбинирована с плавным движением камеры или фона на каждый первый кадр.

09.06.2021, 19:23

+0,4

Попробуйте Rife-app - все описанные вами нюансы в этой программе учтены и есть в настройках.

09.06.2021, 22:30

0,0

1) Анимировать - это своего рода искусство. Комбинация движения объектов с разным фпс в сцене и изменение фпс одного движения в течении всей сцены - это нормальные вещи. В аниме встречал даже изменение фпс персонажа с 1 до 5 дублей при том, что всё в сцене выглядело вполне гармонично и не появлялось ощущения, будто бы фпс просел, просто движение было таким, что позволяло так его анимировать.
2) При удвоении фпс с интерполяцией ломается задумка аниматоров делать резкие движения резкими, в итоге получаем мазню, особенно на переходах между сценами.
3) Ни один интерполятор не сможет полностью восстановить резкие движения. Если в одном кадре сжатый кулак, а в другом уже полностью разжатый, то морфинг вытянет из кулака разжатую руку, а не покажет разжимание пальцев.

Вывод который я уже заебался повторять:
Интерполяция существует для замедления сцен и лучше всего справляется со своей задачей, если сцена итак была плавной. А НЕ ДЛЯ БЛЯДСКОГО УДВОЕНИЯ ФПС НА ВЕСЬ СУРС!

09.06.2021, 22:41

+1,3

Плавное видео без рывков вполне можно хоть удесятерять.

09.06.2021, 22:54

0,0

Да чего ты так завелся? Твои пункты 1, 2, и 3 выше и ниже в треде уже раз десять обмусолили и никто с ними не спорит.
Я же описал чуть более конкретную проблему, которая может ломать работу софта даже если закрыть глаза на 1, 2, и 3. А именно - из за дублей софт может неправильно интерпретировать движения в сцене.
Metracryg говорит, что это в программе учтено. Судя по результату не очень заметно, но возможно без этого было бы еще хуже.

Чисто теоретически, нейросети можно обучить и так, что они будут сводить проблемы 1,2,3 на нет. Проблема в том, что тогда брать за ground truth, у нас нет анифации нарисованной в 48фпс. А нейросети обученные на видео из реальной жизни будут фейлить дико по определению, так как они ожидают плавности в движениях и не ожидают дублей.

10.06.2021, 06:17

0,0

В программе для фпс есть параметр "насколько кадр должен отличатся от предыдущего, чтобы считать это переходом и не интерполировать".
По умолчанию он равен 0.250 (25%).
Можно увеличить, и будет меньше искривлений, но для мульта, где все время все дергается, это равнозначно почти полному отсутствию эффекта.
Если бы людей сильно интересовал фпс, я бы этим серьезнее занялся, но оно в основном для CG роликов нормально.

10.06.2021, 06:45

0,0

Чисто теоретически когда-нибудь можно обучить нейросети абсолютно всему. Но пока имеем что имеем и навряд ли в ближайшие 10 лет что-то принципиально изменится. Интерполяцию(морфинг) видео изобрели не вчера и принципиальных улучшений за последние лет 12 я не заметил.

10.06.2021, 06:52

0,0

Тоже хотел этот видос скинуть, даже в окошке ютуба заметно как проебывается промежуточная анимация

09.06.2021, 17:53

0,0

Нейросеть не понимает контекста, и между кадрами лепит что попало..
пример почему не надо увеличивать фпс ниже

48 ФПС
Если хайвмайнду понравится, можно собирать шекели на обработку хоть всег Сравнение:,Teenage Mutant Ninja Turtles,Черепашки-ниндзя,TMNT,Teenage Mutant Ninja Turtles, Подростки Черепашки Мутанты Ниндзя,фэндомы,мультсериалы,видео,video,интро,Metracryg_upscale

09.06.2021, 19:49

+3,5

Да уж, не без этого пока :(
Как говорят правоверные слуги Омниссии: "Данные получены даже при негативном исходе опыта".

09.06.2021, 22:31

+1,5

Ты их давно получил, но ничему так и не научился)

09.06.2021, 22:50

+0,7

Много чему научился за последние 2 месяца.
В данном случае я выложил второй вариант просто от нефиг делать :)

09.06.2021, 23:12

+0,3

Тупо просто потроллить? Ну ок, затроллел. Больше я на это не куплюсь)

09.06.2021, 23:59

-0,6

Не потроллить, просто выложил.
Ты же видел мои ролики из Арканума и Фаллаута? Плавное видео отлично выглядит.
А со старыми мультиками нужен другой подход, если вообще нужен.

10.06.2021, 00:02

+0,3

Теперь я понял как работает память.
Разницы с тем, что я помню из детства и "отреставрированной" версией нет.

08.06.2021, 07:07

+1,4

Да, это частые позитивные комментарии: "точно, как в детстве".
Значит, цель достигнута :)

08.06.2021, 07:16

+1,4

не, я помню говняное качество с 30 раз переписанных друг на друга VHS, с кучей артефактов.

08.06.2021, 08:38

+2,5

А у меня наоборот, будто не аниме 80-х с его контрастно-приглушенной палитрой, а что-то современное. Особенно по конструкции Донателло это видно, которая теперь смотрится заметно простенько.
Что конечно не отменяет нужности и качества проделанной работы, спасибо, Metracryg!

09.06.2021, 16:39

+2,3

зайди на ютуб, посмотри и признай что память тебя наебывает.

09.06.2021, 17:24

+0,1

охренеть, это просто оргазм! спасибо большое!

Прикинь как будет круто, если то что ты делаешь - подтолкнет индустрию и сильно разовьется и перетечет в конечный продукт и можно будет прямо в браузере в режиме онлайна включить галочку и смотреть видео в 4к любое, даже если оно в оригинале выложено 640x480. Ну может быть, когда видяхи станут еще мощнее.

А вообще много ручной работы у тебя получается? Не хочешь оформить все в какую-то утилиту, чтобы кнопку нажал и видео обработалось от начала до конца? Что можно было другим на реакторе тоже ставить рендериться большие видосы. Ну или на продажу как приложение выставить. И как долго занимает рендер одной минуты примерно? Без дополнительной обработки и с дополнительной обработкой.

Да и вообще в целом, у тебя какая-то своя технология или ты взял готовую нейросеть?

08.06.2021, 18:51

-0,6

Конечно, я пользуюсь готовыми нейросетями и другим софтом.
В зависимости от видео, сам автоматический апскейл занимает от 10% до 50% времени. Остальное - сидеть и пилить напильниками :)

09.06.2021, 06:26

+0,9

Раз уж ты в этом разбираешься, то есть вопрос: что ты скажешь про SVP? Давно пользуюсь этой штукой, которая делает подобное на лету, но интересно что может сказать человек вникнувший в тему.

09.06.2021, 17:15

0,0

Я ни разу не вникнувший, просто немного гугливший :)
Плееры давно научились интерполяцию делать в реальном времени, если железо хорошее, но там очень быстрая интеполяция по паре соседних кадров, а не анализ участка видео и одновременная работа нескольких нейросетей. Такие методы хороши на плавном четком видео вроде CG мультфильмов.

09.06.2021, 22:36

0,0

48 fps разваливается между оригинальными кадрами

,Teenage Mutant Ninja Turtles,Черепашки-ниндзя,TMNT,Teenage Mutant Ninja Turtles, Подростки Черепашки Мутанты Ниндзя,фэндомы,мультсериалы,видео,video,интро,Metracryg_upscale

09.06.2021, 17:18

+10,8

не. хуйня. какая-то ланкосмитчелл интерполяция

09.06.2021, 17:31

-0,3

Даже хз, я бы еще это в голосование добавил:

09.06.2021, 17:33

+9,1

24 намного приятнее выглядит

09.06.2021, 18:04

+3,2

Круто получилось. Дочь смотрит черепах, но на 4к ящике выглядит убого оригинал. Было бы охренительно, заполучить все серии хотябы в fulhd.

09.06.2021, 18:14

+0,6

1 евро за минуту видео - это же не очень дорого? :)
Если несколько (или много) людей скинется, то получится копеечная цена.
На эту минуту у меня ушло несколько часов. Разумеется, 25-минутная серия займет меньше времени (подводные камни найдены, экспериментировать больше не надо).

09.06.2021, 22:39

+0,8

Я прям захотел пересмотреть все серии.

09.06.2021, 18:30

0,0

24 выглядит смотрибельнее, но я думаю тут какой-то психологический фактор играет. Если бы я с детства смотрел телек и все телевидение было в 60 фпс, мне бы странным показался первый вариант.

09.06.2021, 19:14

-0,1

У меня в детстве была только немецкая версия -_-. Для полной ностальгии приходится её фоном включать.

09.06.2021, 19:26

0,0

Куда кидать шекели то на весь сериал?

09.06.2021, 20:25

+1,8

Пишите в личку.
Думаю, всем будет выгодно скинуться, а не поодиночке заказывать.
25 человек скинется - будет около 1 евро за серию :)

09.06.2021, 22:40

+0,6

,Teenage Mutant Ninja Turtles,Черепашки-ниндзя,TMNT,Teenage Mutant Ninja Turtles, Подростки Черепашки Мутанты Ниндзя,фэндомы,мультсериалы,видео,video,интро,Metracryg_upscale

09.06.2021, 21:55

+7,1

09.06.2021, 23:28

-1,5

Фу, блять

10.06.2021, 00:22

+0,9

Тут какая-то зловещая долина. Движение плавное, но от этого пиксельарт смотрится убого.

И стрелочки гнуться и прыгают.

10.06.2021, 06:24

+2,7

Это я еще левую часть отрезал ;)

10.06.2021, 06:36

-0,6

Лично мне больше по душе вариант с 24 ФПС. Просто глазам комфортнее, что ли, не знаю, как еще объяснить. Хотя какое-то время назад посмотрел весь цикл "Риддика" в 60 ФПС и мне понравилось. Может это потому, что восприятие фильма и мультфильма разнится, по крайней мере у меня, может еще что-то. Но, вот так)
И в любом случае, работа проделана просто шикарная! Большое человеческое спасибо!

10.06.2021, 00:01

+1,9

Похожие посты ↓↓↓

4826683, 4815260, 4799562, 4869516, 4860139, 4893316, 4743057, 4875532, 4758096, 4756829, 4792911, 4754463, 4788073, 4770503, 4716991