Экспериментирую с OpenLLM

Сегодня наткнулся на проект OpenLLM, который создаёт единый API для работы с разными языковыми моделями и решил с ним поэкспериментировать. В целом впечатления не очень: при использовании русского языка в ответе получается сплошная шизофазия. На английском более-менее приемлемые результаты дают модели opt и dolly-v2 (но последняя работает ужасно долго). Но места на диске и оперативки всё это потребляет просто огромное количество! Впервые после покупки нового компьютера столкнулся с угрозой зависания из-за её нехватки (правда, параллельно висел в памяти броузер с десятком вкладок, VS Code, и World of Tanks).
В общем, на хостинг такое не повесишь, да и держать постоянно на своём компьютере (скажем, для каких-нибудь скриптов) тоже как-то слишком затратно. Так что это разве что поставить поиграться, и не более того.
Но вообще, нужно будет как-нибудь вернуться к идее автоматизации соционического типирования по текстам, но теперь уже с помощью таких вот языковых моделей, а не того подхода, который я использовал в 2016 году.