Com utilitzar els models de llenguatge grans en el vostre ordinador
Introducció
Els models de llenguatge locals et permeten redactar i millorar textos, resumir documents llargs, traduir continguts, respondre preguntes i ajudar-vos a programar.
Aquí us expliquem amb detall quins models usar segons la vostra configuració, però un resum molt ràpid seria:
- Si teniu 8 GB de memòria RAM, Gemma 3 4B Q8
- Si teniu 16 GB de memòria RAM, Gemma 3 12B Q8
- Si teniu 32 GB de memòria RAM, Gemma 3 27B Q8
Els models Gemma 3 admeten també imatges com a entrada. Podeu adjuntar una captura de pantalla, un esquema o una foto i demanar-li que l’analitzi, la descrigui o n’extregui informació.
Aquests models es poden executar en diversos entorns. Heus ací alguns que podeu instal·lar en el vostre ordinador.
LM Studio
L’LM Studio és una aplicació ideal per explorar i baixar models de manera fàcil. Es troba disponible per a macOS, Windows i Linux, tot i que el codi no és obert.
Com instal·lar-la:
- Baixeu l’aplicació del lloc web oficial i instal·leu-la seguint les instruccions.
- Cerqueu el model que voleu i premeu «Download».
Per a començar una conversa:
- Quan es carrega l’aplicació podeu fer clic al llapis a la part superior esquerra o començar a escriure en la finestra de xat.
- Assegureu-vos que teniu el model adequat seleccionat.
Ollama
L’Ollama és un programa lliure/de codi obert (llicència MIT) que proporciona una interfície d’usuari molt simple. Disponible per a macOS, Windows i Linux.
Com instal·lar-la:
1. Baixeu del lloc web oficial la versió adequada per al vostre sistema operatiu.
2. Feu doble clic a la baixada i seguiu les instruccions.
Per a començar una conversa:
1. Aneu a la barra de menú i seleccioneu File → New Chat per a començar una conversa.
2. Assegureu-vos que teniu el model adequat seleccionat.
Com que els models Gemma admeten imatges, també podeu demanar-li l’analitzi, la descrigui o extregui informació d’una imatge.
Finalment, aquesta eina també proporciona una línia d’ordres. Podeu accedir-hi obrint un terminal i teclejant:
ollama run gemma3
AnythingLLM Desktop
L’AnythingLLM és una aplicació lliure/de codi obert (llicència MIT) que permet instal·lar models de llenguatge de manera molt senzilla. Es troba disponible per a macOS, Windows i GNU-Linux, i permet baixar i usar models de diverses provinences, inclosos els models Gemma de Google.
Com instal·lar-la
- Aneu a la secció Download del lloc web oficial i baixeu la versió corresponent al vostre sistema operatiu; en el cas de GNU/Linux haureu d’executar un senzill guió en el vostre terminal.
- Una vegada dins del AnythingLLM Desktop, feu clic en la clau anglesa que apareix en la part inferior del panel de l’esquerra, i en el submenú «AI Providers», submenú LLM, marqueu el model que vulgueu activar, i, si no l’havíeu baixat ja, feu clic en l’angle superior dret i el programa baixarà i instal·larà (Unpacking) el model. També es poden instal·lar altres components i configurar, per exemple, les habilitats (Skills) del model.
Context inicial
Pot convenir canviar el «Default System Prompt», és a dir, la petició inicial del sistema, abans de conversar-hi, tot anant al menú Admin → Default System Prompt.
Per a començar una conversa:
Useu la fletxa corbada de la part inferior del menú esquerre per a tornar a la vista principal i inicieu una conversa simplement teclejant-hi la vostra petició. El temps de resposta dependrà, òbviament, de la capacitat de càlcul del vostre ordinador. Podeu tornar a converses anteriors, esborrar-les, etc.
Com escriure bones indicacions (prompts)
La indicació és el text que li escriviu al model per a demanar-li una tasca.
Com millor sigui la indicació, millor serà la resposta. Seguiu aquestes pautes:
- Sigueu específics. En lloc de «fes-me un resum», escriviu «fes-me un resum de tres paràgrafs d’aquest text, destacant les dates clau i les conclusions principals».
- Doneu-li context. El model no sap qui sou ni per a què servirà el text. Expliqueu-li: «Soc professor de secundària i necessito una explicació senzilla del canvi climàtic per a alumnes de 14 anys».
- Indiqueu el format que voleu. Podeu demanar-li que respongui en forma de llista, taula, correu electrònic, text corregit, punts clau, etc.
- Itereu. Si la primera resposta no és exactament el que volíeu, demaneu-li que ho millori, que sigui més breu, que canviï el to, o que ho reformuli. El model recorda tota la conversa.
⬅ Torneu a la pàgina la intel·ligència artificial al teu ordinador personal