или тому
20.05.2024, 18:09
Ладно, в прошлом подобном посте я жаловался, что на всего лишь текстовый пост не может быть тег нсфв, но тут, думаю, он к уместен.
Что это за модель?
Не, она бесплатно доступна в https://huggingface.co/chat/
Просто забиваешь туда кастомный промт и вперед)
Просто забиваешь туда кастомный промт и вперед)
А. не тру. Когда-нибудь накоплю денег и буду запускать у себя локально с нормальной скоростью. Нужно всего лишь подождать пока 3090 со вторички станут дешевле. Либо купить 3 p40 за цену одной 3090, но это старое говно мамонта, придется колхозить к ним охлаждение, они не поддерживают exllama и будут выдавать максимум 6 токенов в секунду. Хотя для 100b модели возможно даже помедленней будет.
а совместить можно мб? типа cuda ядра от одной, а врам для жира от других. p40 в китае вообще по 10к рублей.
К сожалению так не сработает. Проблема в том, что у паскалей нет поддержки bf16, по этой причине там происходит конверция из bf16 (который значительно быстрее) в f16, что так же отжирает ресурсы. У новых карточек есть и поддержка bf16, и тензорные ядра, которые тоже увеличивают скорость работы. Одно с другим не может работать.
NSFW?? даааа на это можно дрочить
Ждёшь свою голографическую тян, которая будет тебе говорить, что ты настоящий?
Имхо женщина, которая говорит тебе то что ты хочешь услышать, куда страшнее и опаснее, даже искуственная - "Из машины" не даст соврать.
