"вы приняты"
Хуяссе, и сколько ифов в структуре сверточной сети? Или трансформера?
все
ты слишком сложные коментарии пишешь. Мне это не нравится. Зачем ты так делаешь?
Понимаешь, я тоже люблю поржать над всякой хуйней, но вот эта шутейка мало того, что была уже давным-давно исполнена в виде известного комикса буквально с тем же панч-лайном, так ещё и была актуальной примерно лет 15 назад, когда основной технологией машинного обучения были экспертные системы и деревья решений. Сейчас, уже много лет как основная технология - нейронные сети, и эта шутка просто бессмысленна. Ну то есть это даже не прикол для даунов, а просто чувак повторил когда-то услышанную фразу, не имеющую отношения к реальности.
Типа знаешь, представь, что там вместо машинного обучения и прочего написано "цифровая электроника", а самая соль шутки, надпись на собачке - "ЛАМПЫ".
"Нет, ну вы поняли, лампы, да? Вот умора!!!".
И вот смотришь на то, как один за другим чуваки просто повторяют "Лампы! А-ха-ха!" и раз за разом делают вымученные мемчики, которые десятилетия как протухли)
В целом, не парься - ну не нравится, да и хуй с ними. Зато может теперь кто прочтет и подумает "о, бля, так на самом деле это не так?", может заинтересуется темой.
Типа знаешь, представь, что там вместо машинного обучения и прочего написано "цифровая электроника", а самая соль шутки, надпись на собачке - "ЛАМПЫ".
"Нет, ну вы поняли, лампы, да? Вот умора!!!".
И вот смотришь на то, как один за другим чуваки просто повторяют "Лампы! А-ха-ха!" и раз за разом делают вымученные мемчики, которые десятилетия как протухли)
В целом, не парься - ну не нравится, да и хуй с ними. Зато может теперь кто прочтет и подумает "о, бля, так на самом деле это не так?", может заинтересуется темой.
еще скажи что перемножение матриц нельзя написать с помощью if-ов)
Ещё скажи, что if-ы нельзя реализовать нелинейной функцией.
Тогда уж, если мы любую нелинейность за ифы принимаем, жду аналогичного комикса, где эти ифы из человека сыпятся, хули, активация биологических нейронов-то тоже нелинейная.
Тогда уж, если мы любую нелинейность за ифы принимаем, жду аналогичного комикса, где эти ифы из человека сыпятся, хули, активация биологических нейронов-то тоже нелинейная.
1. В штуке которая результат выодного слоя FC с свёрточной сети сортирует в порядке убывания и выводит наружу топ 10 из них например.
2 В хард клиппинге есть иф или минимум на ифе т.е. в той где отсечка по 6.0 например.
3. В проверке того что 3х3 ядро не вышло за границы изображение или в паддинге которое добавляет по пустые поля чтоб 3х3 и более ядро не косячило.
4. В трансмутации на входе - чтоб преобразовать RGB с каждого пикселя в матрицы R, G, B
5. В циклах которые проходятся ядром 3х3 и более в начале по Х потом по Y. внутри тоже ты не поверишь юзают циклы.
6. Во всяких служебных штуках для обучения и проверки и отладки
Продолжать?
(если что я имплементировал это гавно как на ардуинке так и в FPGA и своём чипе, т.е. от Kerasa на пайтоне до самого нижнего уровня - топологии кристалла)
2 В хард клиппинге есть иф или минимум на ифе т.е. в той где отсечка по 6.0 например.
3. В проверке того что 3х3 ядро не вышло за границы изображение или в паддинге которое добавляет по пустые поля чтоб 3х3 и более ядро не косячило.
4. В трансмутации на входе - чтоб преобразовать RGB с каждого пикселя в матрицы R, G, B
5. В циклах которые проходятся ядром 3х3 и более в начале по Х потом по Y. внутри тоже ты не поверишь юзают циклы.
6. Во всяких служебных штуках для обучения и проверки и отладки
Продолжать?
(если что я имплементировал это гавно как на ардуинке так и в FPGA и своём чипе, т.е. от Kerasa на пайтоне до самого нижнего уровня - топологии кристалла)
Я тоже имплементировал. И, раз ты этим тоже занимался, значит, наверное, должен понимать, что все, что ты назвал - это вспомогательный код, который обеспечивает целостность данных - ты сам посмотри, у тебя в каждом пункте "чтоб не косячило", "для проверки", "для отладки".
Ничего из этого не является частью структуры сети, которая проводит вычисления, это обвязка, чтобы это все можно было безболезненно стыковать с внешним кодом.
Само вычисление совершенно спокойно реализуется монолитной структурой, в которой только умножение с накоплением и нелинейные функции, в которой информация течет от входов к выходам безо всякого ветвления.
Ядром, кстати, в циклах проходят только если считать в лоб на CPU, на GPU эти ядра вообще в параллель считаются, ты же сам знаешь, что тебе вообще ничего не мешает хоть по отдельному кристаллу на ядро сделать, лишь бы в выход атомарно данные писались.
Ты при желании можешь взять катушку, накрутить на нее несколько обмоток, чтоб соотношение их витков соответвовало заранее просчитанным коэффициентам, а в качестве нелинейности использовать диод, или какую-нибудь хуйню на операционнике, или нелинейность магнитопровода, и подавать на вход данные синусами разной амплитуды.
И она точно так же тебе посчитает выходные значения, не только без ифов, но и без кода.
Ничего из этого не является частью структуры сети, которая проводит вычисления, это обвязка, чтобы это все можно было безболезненно стыковать с внешним кодом.
Само вычисление совершенно спокойно реализуется монолитной структурой, в которой только умножение с накоплением и нелинейные функции, в которой информация течет от входов к выходам безо всякого ветвления.
Ядром, кстати, в циклах проходят только если считать в лоб на CPU, на GPU эти ядра вообще в параллель считаются, ты же сам знаешь, что тебе вообще ничего не мешает хоть по отдельному кристаллу на ядро сделать, лишь бы в выход атомарно данные писались.
Ты при желании можешь взять катушку, накрутить на нее несколько обмоток, чтоб соотношение их витков соответвовало заранее просчитанным коэффициентам, а в качестве нелинейности использовать диод, или какую-нибудь хуйню на операционнике, или нелинейность магнитопровода, и подавать на вход данные синусами разной амплитуды.
И она точно так же тебе посчитает выходные значения, не только без ифов, но и без кода.
оно без служебного кода заведётся? НЕТ, значит они нужны.
ну как ты иначе сделаешь циклы и тд?
будто в GPU нет скрытых if ов хотябы для паддинга циклов и тд?
да даже в коде Verilog было ифов - моё почтение. Оно конечно превращается в сумматор и его знак переноса которым маскируется или управляется цикл но всё же это тот же иф на основе test или jnz после sub counter - основа та же самая, вычесть и проверить знак переноса.
"катушку, накрутить на нее несколько обмоток" - только вот это физически же нереально даже для MNIST сетки (которая распознаёт одну рукописную цифру). Так что предлагаю не теоретизировать там где на практике не применимо.
ну как ты иначе сделаешь циклы и тд?
будто в GPU нет скрытых if ов хотябы для паддинга циклов и тд?
да даже в коде Verilog было ифов - моё почтение. Оно конечно превращается в сумматор и его знак переноса которым маскируется или управляется цикл но всё же это тот же иф на основе test или jnz после sub counter - основа та же самая, вычесть и проверить знак переноса.
"катушку, накрутить на нее несколько обмоток" - только вот это физически же нереально даже для MNIST сетки (которая распознаёт одну рукописную цифру). Так что предлагаю не теоретизировать там где на практике не применимо.
Схуяли это для мниста-то не применимо?
А первые эксперименты с нейросетями по-твоему на чем делали? Маккалок и Питтс, разработчики ранних моделей перцептрона? У них был вообще аналоговый компьютер, со входом 20х20 пикселей, там где ифы? Я уж не говорю о современных аналогово-цифровых нейропроцессорах.
Ну камон, я понимаю, когда спорят те, кто в этом не шарят, но ты-то нафига, ты же сам это все знаешь.
И то, что сетка вообще задаётся одной дифференцируемой функцией, за счёт чего, блин, ее и учат - потому что градиенты функции ошибки от выходов ко всем входам текут - то есть у тебя буквально есть выражение для значения каждого выхода как функция от входа и коэффициентов, то есть ты буквально, при желании можешь записать ручками эту формулу и просто подставить числа, безо всяких ифов.
Понятно же, что такие шутейки - это "а-ха-ха, вы это называете ИИ, а там все просто ифами расписано" - и люди это читают и думают, что реально сети информацию обрабатывают через кучи ифов.
В то время к мой поинт был в том, что в реальности вычисления проводит такая вот хитровыебанная функция, которую при большом желании можно записать просто в виде математического выражения, и которая, как правило, вообще будет дифференцируемой, а ифы там это все только окаймляют, потому что люди же не ебанутые, чтобы проверки данных и прочую стандартную хуйню без ифов реализовывать.
А первые эксперименты с нейросетями по-твоему на чем делали? Маккалок и Питтс, разработчики ранних моделей перцептрона? У них был вообще аналоговый компьютер, со входом 20х20 пикселей, там где ифы? Я уж не говорю о современных аналогово-цифровых нейропроцессорах.
Ну камон, я понимаю, когда спорят те, кто в этом не шарят, но ты-то нафига, ты же сам это все знаешь.
И то, что сетка вообще задаётся одной дифференцируемой функцией, за счёт чего, блин, ее и учат - потому что градиенты функции ошибки от выходов ко всем входам текут - то есть у тебя буквально есть выражение для значения каждого выхода как функция от входа и коэффициентов, то есть ты буквально, при желании можешь записать ручками эту формулу и просто подставить числа, безо всяких ифов.
Понятно же, что такие шутейки - это "а-ха-ха, вы это называете ИИ, а там все просто ифами расписано" - и люди это читают и думают, что реально сети информацию обрабатывают через кучи ифов.
В то время к мой поинт был в том, что в реальности вычисления проводит такая вот хитровыебанная функция, которую при большом желании можно записать просто в виде математического выражения, и которая, как правило, вообще будет дифференцируемой, а ифы там это все только окаймляют, потому что люди же не ебанутые, чтобы проверки данных и прочую стандартную хуйню без ифов реализовывать.
и вообще то я не утверждал что нейронка работает на базе офов - она работает только на математике, в задумке и смысле нейронки нет никаких ветвлений да.
Но без скрытых неявных ифов в реальном мире её реализовать тот ещё дроч и очень очень мало реально.
Но без скрытых неявных ифов в реальном мире её реализовать тот ещё дроч и очень очень мало реально.
То, что это дрочь - это само собой) Но ты-то вот суть понимаешь, а многие делающие такие мемы - нет. И проблема не в мемах, конечно, а в том, что вот эта суть, "работает чисто на математике" - она важна, чтобы понимать, что такое современнное машинное обучение и не нести потом хуйню про него, а эта настрявшая в зубах шутейка про ифы ещё больше людей с толку с сбивает.
Алсо, а где и нахуя вы такие чипы делали?
Это в РФ? Коммерческие, или просто для себя экспериментировал, без заказа кристаллов?
Интересно, где у нас сейчас этим занимаются и какие результаты.
Это в РФ? Коммерческие, или просто для себя экспериментировал, без заказа кристаллов?
Интересно, где у нас сейчас этим занимаются и какие результаты.
не страны СНГ. до заказа кристаллов не дошло, только эмуляция на уровне топологий и тд
там было прикольно то что на 1500фпс сетка работала на частоте меньше чем RGB пиксели поступали. т.к. входной слой сразу считал 3x3 за такт. и вообще вся сеть это один гигансткий конвеер почти в два кадра. ДОХРЕНИЩА DSP ядер было. Латентность овер миллон тактов.
там было прикольно то что на 1500фпс сетка работала на частоте меньше чем RGB пиксели поступали. т.к. входной слой сразу считал 3x3 за такт. и вообще вся сеть это один гигансткий конвеер почти в два кадра. ДОХРЕНИЩА DSP ядер было. Латентность овер миллон тактов.
А, не СНГ. Эх, блядь...
Я тут видел (как раз к слову об аналоговых сетях и отсутствии ифов), что чуваки из одного стартапа реализовали нейропроцессор на кастомных транзисторах вместо нейронов. Они взяли мосфеты и заюзали их не в ключевом режиме - ну то есть, представляешь флешку, да? Где заряд под затвором транзистор отпирает?
Вот они типа такого сделали, только там не просто "есть заряд/нет заряда", а с возможность транзистор "приоткрыть" на нужную величину, то есть появилась возможность сразу нейроны и связи между ними с коэффициентами сделать на кристалле, без DSP.
Учить на них, конечно, нельзя, но инфиренс, по их словам, богический - из-за того, что это аналоговая хуйня, а не эмуляция через dsp, они сверхмало жрут.
Это у Veritasium было на канале, кажется.
Я тут видел (как раз к слову об аналоговых сетях и отсутствии ифов), что чуваки из одного стартапа реализовали нейропроцессор на кастомных транзисторах вместо нейронов. Они взяли мосфеты и заюзали их не в ключевом режиме - ну то есть, представляешь флешку, да? Где заряд под затвором транзистор отпирает?
Вот они типа такого сделали, только там не просто "есть заряд/нет заряда", а с возможность транзистор "приоткрыть" на нужную величину, то есть появилась возможность сразу нейроны и связи между ними с коэффициентами сделать на кристалле, без DSP.
Учить на них, конечно, нельзя, но инфиренс, по их словам, богический - из-за того, что это аналоговая хуйня, а не эмуляция через dsp, они сверхмало жрут.
Это у Veritasium было на канале, кажется.
нахуя? - стартап хотел попробовать в железо. в основном для всяких скоростных станков
Да
YandereDev moment
Блин, ты меня опередил. :(
не, не так. надо апрроксимировать поведение if-ов нелинейной функией, работающей поверх машины тьюринга, реализованной внутри нейросети
Во, вот такой мемасик я б плюсанул)
ну капец просто... бесит ебать... в нейронке больше суммирования и умножения чем условий.