2025-09-15
2025-09-15
Betobulinant lokalų chatbot…
Yo, skaitytojau.
Taigi… Toliau tobulinu savo lokalų chatbot. Į programinio kodo vingrybes nesileisiu, nes nelabai kam įdomu kiek laiko sugaišta atliekant vieną ar kitą pataisą. Svarbiausia rezultatas.
Tiesiog pasistengsiu savo pastebėjimus aprašyti kiek galima trumpiau.
Išbandyti lokalūs LLM
Išbandžiau keletą lokalių LLM modelių, kurie laisvai prieinami ollama bibliotekoje visiems norintiems juos parsisiųsti. (Priminsiu dar ir tai, kad visi aprašymai bei naudojamos instrukcijos, kartu su kodu pasiekiami Github repozitorijoje)
| # | Tinyllama | llama3.2 | QWEN3.06b |
|---|---|---|---|
| Greitaveika | Veikia ganėtinai greitai | Veikia sulėtintais sūkiais (Reikalauja daugiau RAM atminties) | Veikia ganėtinai greitai (nereikalauja daug RAM) |
| Instrukcijų laikymąsis | Vidutiniškas | Puikiai | Veikia labai greitai (mažiausiai resursų reikalaujantis modelis) |
| Mood roll (emocijų imitavimas) | Imituoja | Puikiai imituoja | Imituoja (nepasirenka atsitiktinio skaičiaus, tačiau pasiima rėžį priklausomai nuo naudotojo įvesties) |
| Rėmimasis išsaugotais atsiminimais | Remiasi atsiminimais | Remiasi atsiminimais, naudoja tokias frazes, kaip “I remember we were chatting about” | Remiasi (Tiesa, thinking tekstas pasidaro keblus |
| Atsakas pagal bendras instrukcijas | Veikia taip, kaip tikėtąsi | Veikia tiksliai taip, kaip reikia | Retkarčiais nukrypsta nuo klausimo ar temos, tačiau geba sugrįžti atgal, jeigu perfrazuoji klausimą |
Išvados
Nors tai nėra grynai generatyvinis LLM, o veikiau jau pokalbių botas su gebėjimu išlaikyti atmintį ir pasitelkti generatyvinį LLM, kaip papildomą priedą… Bendras veikimas gana neblogas.
Tiesiog rekomenduoju naudoti tokį LLM modelį, kuris treniruotas naudojant daugiau duomenų ir turi geresnį reasoning mechanizmą, galbūt geriau interpretuoja pateiktus tekstus arba nėra universalus, o turi specifikuotą žinių bagažą.
Taipogi, patariu pažaisti su direktyvomis bei aprašais, nes mano naudojami gali netikti visiems atvejams, kadangi tai labiau panašu į virtualios personos kūrimą.
Nuoroda: https://github.com/Sparky4567/simple_chat_bot_uv
| # | Žymos |
|---|---|
| #post #artefaktas_eu #personal #opinion #tinyllama #llama #ollama #chat #bot |
Asmeninė nuomonė.
Linktree link: https://linktr.ee/artefaktas
Tinklaraštį galima prenumeruoti net keletu skirtingų būdų:
- Naudojant RSS sklaidos kanalo nuorodą: https://artefaktas.eu/rss.xml
- Naudojantis follow.it forma
Artefaktas.eu is licensed under CC BY-NC-ND 4.0