Top.Mail.Ru
Ответы

Хватит ли железа, чтобы локально запустить TinyLlama?

Итак, решил сделать себе собеседника (да, у меня уже настолько всё плохо с общением, что я буду хостить локально LLM, чтобы говорить хоть с кем-то). По сути мне нужен просто собеседник, с которым можно хоть о чём-то поговорить, потому и буду юзать TinyLlama, пока не напишу свою (буду вкатываться в эту тему). Хватит ли железа? У меня такой комп:

Ryzen 5 9600X
32GB DDR5 (частота: 6000МГц, тайминги: 38-38-38-78 (насчет последнего не уверен, но вроде как 78. В крайнем случае 84. Чекнул, когда дописал, и да, там 38-38-38-78, с 84 нет, где на первых трех позициях стоит 38))
GTX 1050 2GB (из-за неё по большей части и возникают вопросы)
Накопители - различные харды (не уверен, нужно ли это, но на всякий написал. Всё же нужно будет записывать историю диалога на чём-то). Если быть точным, то Toshiba P300 2TB как основной, WD Caviar Blue 320GB как дополнительный под записи, WD Caviar Blue 500GB как дополнительный (и основной под Gentoo Linux. Там 4 раздела есть, причем 2 из них под Gentoo (один - под Swap, второй - под саму систему) и ещё 2 под файловую помойку)

Мб кто знает, хватит ли такого железа, чтобы ? просто пока что денег особо нет, чтобы покупать новую карту (да, я понимаю, что лучше бы взять под такие цели условную 4070 (обычно LLM хостят с картами NVIDIA вроде... хотя я бы с радостью взял RX 9070 вместо неё, докинув трохи)). Сейчас сижу дома в основном, потому и есть необходимость в собеседнике, чтобы не поехать кукухой в край

Только авторизированные пользователи могут оставлять свои ответы