La intel·ligència artificial al vostre ordinador personal

Compartiu

🠈 Torna

Com utilitzar els models de llenguatge grans en el vostre ordinador

Introducció

Els models de llenguatge locals et permeten redactar i millorar textos, resumir documents llargs, traduir continguts, respondre preguntes i ajudar-vos a programar.
Aquí us expliquem amb detall quins models usar segons la vostra configuració, però un resum molt ràpid seria:

  • Si teniu 8 GB de memòria RAM, Gemma 3 4B Q8
  • Si teniu 16 GB de memòria RAM, Gemma 3 12B Q8
  • Si teniu 32 GB de memòria RAM, Gemma 3 27B Q8

Els models Gemma 3 admeten també imatges com a entrada. Podeu adjuntar una captura de pantalla, un esquema o una foto i demanar-li que l’analitzi, la descrigui o n’extregui informació.

Aquests models es poden executar en diversos entorns. Heus ací alguns que podeu instal·lar en el vostre ordinador.

LM Studio

És una aplicació ideal per explorar i baixar models de manera fàcil. Es troba disponible per a macOS, Windows i Linux.

Com instal·lar-la:

  1. Baixeu l’aplicació del lloc web oficial.
  2. Cerqueu el model que voleu i premeu «Download».

Per a començar una conversa:

  1. Quan es carrega l’aplicació podeu fer clic al llapis a la part superior esquerra o començar a escriure en la finestra de xat.
  2. Assegureu-vos que teniu el model adequat seleccionat.

Ollama

Proporciona una interfície d’usuari molt simple.  Disponible per a macOS, Windows i Linux.

Com instal·lar-la:

1. Baixeu del lloc web oficial la versió adequada per al vostre sistema operatiu
2. Feu doble clic a la baixada i seguiu les instruccions.

Per a començar una conversa:

1. Aneu a la barra de menú i seleccioneu File → New Chat per a començar una conversa.
2. Assegureu-vos que teniu el model adequat seleccionat.

Com que els models Gemma admeten imatges, també podeu demanar-li l’analitzi, la descrigui o extregui informació d’una imatge.

Finalment, aquesta eina també proporciona una línia d’ordres. Podeu accedir-hi obrint un terminal i teclejant:

ollama run gemma3

AnythingLLM Desktop

AnythingLLM és una aplicació lliure/de codi obert (llicència MIT) que permet instal·lar models de llenguatge de manera molt senzilla, i que està disponible per a MacOS, Windows i GNU-Linux, i que permet descarregar i usar models de diverses provinences, inclosos els models Gemma de Google. Es troba disponible per a macOS, Windows i Linux.

Instal·lació

  1. Aneu a la secció Download del lloc web oficial i descarregueu-vos-en la versió corresponent al vostre sistema operatiu; en el cas de GNU/Linux haureu d’executar un senzill guió en el vostre terminal.
  2. Una vegada dins del AnythingLLM Desktop, feu clic en la clau anglesa que apareix en la part inferior del panel de l’esquerra, i en el submenú “AI Providers”, submenú LLM, marqueu el model que vulgueu activar, i, si no l’havíeu descarregat ja, feu clic en l’angle superior dret i el programa descarregarà i instal·larà (Unpacking) el model. També es poden instal·lar altres components i configurar, per exemple, les habilitats (“Skills”) del model.

Menú esquerre de la interfície de Anything LLM Desktop

Context inicial

Pot convenir canviar el “Default System Prompt”, és a dir, la petició inicial del sistema, abans de conversar-hi, tot anant al menú Admin→Default System Prompt.

Per a conversar

Useu la fletxa corbada de la part inferior del menú esquerre per a tornar a la vista principal i inicieu una conversa simplement teclejant-hi la vostra petició. El temps de resposta dependrà, òbviament, de la capacitat de càlcul del vostre ordinador. Podeu tornar a converses anteriors, esborrar-les, etc.

Imatge de la interfície de Anything LLM on la persona usuària conversa amb un model Gemma en català.

Com escriure bones indicacions (prompts)

La indicació és el text que li escriviu al model per a demanar-li una tasca.

Com millor sigui la indicació, millor serà la resposta. Seguiu aquestes pautes:

  • Sigueu específics. En lloc de «fes-me un resum», escriviu «fes-me un resum de tres paràgrafs d’aquest text, destacant les dates clau i les conclusions principals».
  • Doneu-li context. El model no sap qui sou ni per a què servirà el text. Expliqueu-li: «Soc professor de secundària i necessito una explicació senzilla del canvi climàtic per a alumnes de 14 anys».
  • Indiqueu el format que voleu. Podeu demanar-li que respongui en forma de llista, taula, correu electrònic, text corregit, punts clau, etc.
  • Itereu. Si la primera resposta no és exactament el que volíeu, demaneu-li que ho millori, que sigui més breu, que canviï el to, o que ho reformuli. El model recorda tota la conversa.

⬅ Torneu a la pàgina la intel·ligència artificial al teu ordinador personal