La intel·ligència artificial al vostre ordinador personal

Compartiu

Com utilitzar els models de llenguatge grans en el vostre ordinador

Introducció

Els models de llenguatge locals et permeten redactar i millorar textos, resumir documents llargs, traduir continguts, respondre preguntes i ajudar-vos a programar.
Aquí us expliquem amb detall quins models usar segons la vostra configuració, però un resum molt ràpid seria:

  • Si teniu 8 GB de memòria RAM, Gemma 3 4B Q8
  • Si teniu 16 GB de memòria RAM, Gemma 3 12B Q8
  • Si teniu 32 GB de memòria RAM, Gemma 3 27B Q8

Els models Gemma 3 admeten també imatges com a entrada. Podeu adjuntar una captura de pantalla, un esquema o una foto i demanar-li que l’analitzi, la descrigui o n’extregui informació.

Aquests models es poden executar en diversos entorns. Heus ací alguns que podeu instal·lar en el vostre ordinador.

LM Studio

L’LM Studio és una aplicació ideal per explorar i baixar models de manera fàcil. Es troba disponible per a macOS, Windows i Linux, tot i que el codi no és obert.

Com instal·lar-la:

  1. Baixeu l’aplicació del lloc web oficial i instal·leu-la seguint les instruccions.
  2. Cerqueu el model que voleu i premeu «Download».

Per a començar una conversa:

  1. Quan es carrega l’aplicació podeu fer clic al llapis a la part superior esquerra o començar a escriure en la finestra de xat.
  2. Assegureu-vos que teniu el model adequat seleccionat.

Ollama

L’Ollama és un programa lliure/de codi obert (llicència MIT) que proporciona una interfície d’usuari molt simple.  Disponible per a macOS, Windows i Linux.

Com instal·lar-la:

1. Baixeu del lloc web oficial la versió adequada per al vostre sistema operatiu.
2. Feu doble clic a la baixada i seguiu les instruccions.

Per a començar una conversa:

1. Aneu a la barra de menú i seleccioneu File → New Chat per a començar una conversa.
2. Assegureu-vos que teniu el model adequat seleccionat.

Com que els models Gemma admeten imatges, també podeu demanar-li l’analitzi, la descrigui o extregui informació d’una imatge.

Finalment, aquesta eina també proporciona una línia d’ordres. Podeu accedir-hi obrint un terminal i teclejant:

ollama run gemma3

AnythingLLM Desktop

L’AnythingLLM és una aplicació lliure/de codi obert (llicència MIT) que permet instal·lar models de llenguatge de manera molt senzilla. Es troba disponible per a macOS, Windows i GNU-Linux, i permet baixar i usar models de diverses provinences, inclosos els models Gemma de Google.

Com instal·lar-la

  1. Aneu a la secció Download del lloc web oficial i baixeu la versió corresponent al vostre sistema operatiu; en el cas de GNU/Linux haureu d’executar un senzill guió en el vostre terminal.
  2. Si teniu l’ordinador configurat en català, l’Anything LLM hauria de mostrar una interfície parcialment traduïda al català. Si no, feu clic en la clau anglesa que apareix en la part inferior del panel de l’esquerra, us apareixerà un menú. Elegiu «Customization» (Personalització)→ «UI Preferences» (Preferències d’interfície) i en el panel elegiu el «Display Language» (Idioma de visualització) perquè siga Catalan.
  3. Una vegada dins del AnythingLLM Desktop, també podeu fer clic en la clau anglesa que apareix en la part inferior del panel de l’esquerra, i en el submenú «AI Providers», submenú LLM, marqueu el model que vulgueu activar, i, si no l’havíeu baixat ja, feu clic en l’angle superior dret i el programa baixarà i instal·larà (Unpacking) el model. També es poden instal·lar altres components i configurar, per exemple, les habilitats (Skills) del model.

 

Context inicial

Pot convenir canviar el «Default System Prompt», és a dir, la petició inicial del sistema, abans de conversar-hi, tot anant al menú Admin → Default System Prompt.

Per a començar una conversa:

Useu la fletxa corbada de la part inferior del menú esquerre per a tornar a la vista principal i inicieu una conversa simplement teclejant-hi la vostra petició. El temps de resposta dependrà, òbviament, de la capacitat de càlcul del vostre ordinador. Podeu tornar a converses anteriors, esborrar-les, etc.

Imatge de la interfície de Anything LLM on la persona usuària conversa amb un model Gemma en català.

Com escriure bones indicacions (prompts)

La indicació és el text que li escriviu al model per a demanar-li una tasca.

Com millor sigui la indicació, millor serà la resposta. Seguiu aquestes pautes:

  • Sigueu específics. En lloc de «fes-me un resum», escriviu «fes-me un resum de tres paràgrafs d’aquest text, destacant les dates clau i les conclusions principals».
  • Doneu-li context. El model no sap qui sou ni per a què servirà el text. Expliqueu-li: «Soc professor de secundària i necessito una explicació senzilla del canvi climàtic per a alumnes de 14 anys».
  • Indiqueu el format que voleu. Podeu demanar-li que respongui en forma de llista, taula, correu electrònic, text corregit, punts clau, etc.
  • Itereu. Si la primera resposta no és exactament el que volíeu, demaneu-li que ho millori, que sigui més breu, que canviï el to, o que ho reformuli. El model recorda tota la conversa.

Consultar els teus documents amb el model local (RAG)

Fins ara hem vist com conversar amb un model local fent servir el seu coneixement general. Però sovint el que volem és el contrari: que el model respongui basant-se en els nostres documents, no en el que va aprendre durant l’entrenament. Per exemple, consultar un conjunt de contractes, normativa interna, articles, apunts o expedients.

Aquesta tècnica s’anomena RAG (generació amb recuperació augmentada). L’eina indexa els teus documents i, quan li preguntes alguna cosa, hi busca els fragments més rellevants i els passa al model perquè redacti la resposta. El model no «aprèn» els documents: simplement els consulta cada vegada que preguntes, així que pots afegir-ne, esborrar-ne o actualitzar-ne lliurement.

Per a què és útil

  • Cercar clàusules concretes en un conjunt de contractes.
  • Resumir actes, informes o expedients llargs.
  • Consultar normativa interna o manuals tècnics.
  • Trobar referències en una biblioteca personal d’articles o apunts.
  • Donar resposta a preguntes freqüents a partir de la documentació d’un producte.

Com que tot passa al teu ordinador, és especialment indicat per a gestories, despatxos d’advocats, administracions públiques, recerca o qualsevol àmbit subjecte a secret professional o protecció de dades.

Com fer-ho amb les eines que ja hem vist

AnythingLLM és la que ho fa més senzill, perquè està dissenyada precisament per a aquest cas:

1. Crea un workspace nou (l’espai on tindràs els documents d’un tema o projecte)
2. Arrossega-hi els documents (PDF, TXT, DOCX, Markdown…) o fes clic a la icona de pujar.
3. Espera que els indexi. La primera vegada pot trigar una estona segons la mida.
4. Ja pots fer preguntes dins del workspace: les respostes es basaran en els documents que hi has posat.

Nota: en aquesta pantalla useu l’opció “Mou a l’espai de treball” per incloure els documents a l’espai de la dreta.

Pots tenir workspaces separats per a cada client, projecte o tema, cadascun amb el seu propi conjunt de documents.

Consells per obtenir bones respostes

  • Prepara els documents. Un PDF escanejat sense OCR no es pot llegir. Si els teus PDF són imatges, passa’ls abans per una eina d’OCR.
  • Fes preguntes específiques. «Quina és la clàusula de penalització del contracte amb l’empresa X?» funciona molt millor que «Què diu el contracte?».
  • Usa la terminologia dels documents. Si el document parla d’«arrendatari», pregunta per «arrendatari», no per «llogater».
  • Verifica les respostes importants. Demana sempre que et citi el fragment d’origen quan la resposta sigui rellevant.
  • Comença petit. Prova primer amb 10–20 documents per veure com funciona, abans d’indexar-ne milers.
  • Reindexa quan canviïn els documents. Si afegeixes o modifiques fitxers, torna a passar la indexació.

Limitacions que cal conèixer

  • La qualitat de la resposta depèn del model que facis servir: amb models petits, les respostes seran més limitades. Per a documents en català, els models Gemma 3 que recomanem funcionen prou bé.
  • Els models locals poden inventar-se informació (al·lucinar). No els usis com a única font per a decisions crítiques.
  • Documents amb format complex (taules, columnes, fórmules) poden quedar mal segmentats i donar respostes parcials.
  • La indexació de moltes pàgines pot trigar i ocupar espai de disc.

⬅ Torneu a la pàgina la intel·ligència artificial al teu ordinador personal