Как вы используете ChatGPT и другие LLM?

Недавно интереса ради поставил DeepSeek задачу написать конвертор данных с Akkoma на SharKey (fork MissKey). К моему огромному удивлению, он вроде бы даже справился (по крайней мере, то, как выглядят запросы к базе Akkomы, реально похоже на те поля, которые в ней реально есть), несмотря на то, что софт — не самый известный и актуальный. Правда, в действии пока не тестировал.

Сегодня поставил DeepSeekу задачу написать скрипт импорта записей из ЖЖ. Он почти справился, только не учёл того, что для работы с Unicode-записями нужно использовать первую версию протокола, а не нулевую, у которой возвращаемый результат чуть отличается, а также не предусмотрел авторизацию. Впрочем, с авторизацией там всё непросто: есть несколько методов — можно передавать пароль, можно — его хеш, а можно — его сессию, причём в документации все эти параметры помечены как optional. Но, в любом случае, после ручных правок я получил работающий скрипт через час с небольшим, тогда как если бы разбирался сам, провозился бы день, а то и больше.
Ещё, что любопытно, DeepSeek умудрился найти, как использовать для получения комментариев метод LJ.XMLRPC.getcomments (правда, с теми же проблемами, что я описал выше), хотя в официальной документации о нём ни слова нет. Сначала я подумал, что это ИИ-галлюцинации, но нет, оказалось, что метод вполне себе есть и работает!

Использую ллмки как... эммм... quick-search. Я ленивое существо и мне гораздо проще выполнить команду от нейронки в повершелле, чем лазить в настройках, или гуглить спеки железки, или...
В общем, это мой второй гугл. Даже не так. Это первый гугл, после которого идет проверка и дальнейшее углубление в тему в более приземленных поисковиках.
Получается я использую ллмки по их прямому назначению. Скучный я человек.

Vtornik_12 написал(а):

В общем, это мой второй гугл. Даже не так. Это первый гугл, после которого идет проверка и дальнейшее углубление в тему в более приземленных поисковиках.

Всё правильно: зачастую это помогает быстро вникнуть в тему, и понять, что вообще нужно искать. Например, я пару месяцев назад задался вопросом, как сделать рекуррентную нейросеть, которая использовала бы как смыслы слов, так и словоформы для соционического типирования. Но при этом я почти не имел дела ни с обработкой текстов на естественных языках (кроме простейших экспериментов со стеммером от Яндекса в 2016 году), ни с написанием рекуррентных нейросетей. А тут сразу нейронка выдала и библиотеки и методы в них, которые нужны, и пример кода, дающий понимание в целом, как это должно выглядеть. Дальше остаётся только изучать документацию по ним и доводить до ума (правда, по итогу я эту задачу отложил на неопределённое время — сейчас как-то нет интереса к типологиям). Если бы я изучал всё с нуля, то времени ушло бы в разы больше!

Кстати, для использования нейронки в качестве справочника, MadTechGuy дал мне толковый совет: держать на локали YandexGPT 5. В этом случае даже при отключенном Интернете (а я периодически его отключаю на уровне сетевого интерфейса, чтобы хоть как-то сосредоточиться) можно получить и справочную информацию по более-менее популярным языкам и библиотекам, и примеры кода для них.
Скачать можно здесь: huggingface.co/yandex/YandexGPT-5-Lite-8B-instruct или, если нужно в GGUF (как в моём случае): huggingface.co/yandex/YandexGPT-5-Lite-8B-instruct-GGUF

- Автодополнение кода с помощью Qwen Coder, чтобы быстрее писать отдельные его фрагменты;
- В качестве переводчика;
- В качестве справочника. Если универсального, то YaGPT, если по разработке — Qwen Coder 3B или даже 1.5B, они многократно быстрее.
- В качестве автодополнения при написании любых текстов. Потом ещё прикручу Vosk к своему веб-интерфейсу (разработкой которого я занимаюсь) и будет вообще замечательно.
- Для развлечения: RP, написание рассказов и т. п. YaGPT в этом очень хорош, а ещё RP-SAINEMO (дообученный Mistral), но она потяжелее.
- Grok — для поиска решений (Chain-of-Through он тоже умеет, если его проинструктировать), для поиска софта и пр. актуальной информации.

А вот насчёт маленьких LLM (в пределах 6B, а лучше <= 3B) для работы с кодом хотел бы посоветоваться со здешними пользователями. Кто какие знает маленькие LLM для работы с кодом? В чём их достоинства и недостатки, на каких задачах выигрывают, а на каких проигрывают? Просто их очень много, все замучаешься тестировать: Qwen Coder (разных размеров), Yi-Coder, Deepseek Coder (разных размеров), Codegemma, Codellama, различные дообученные под работу с кодом модели…

Поставил эксперимент по использованию нейросетей для самоанализа (возможно, опишу в разделе «Личная эффективность») и соционического типирования. О последнем выложил мини-отчёт в своей соционической сети: socionics.me/articles/llm-type-detection.html