La nostra recomanació la trobareu en aquesta pàgina.

Per a determinar quin model és millor, avaluem les tasques més comunes que fan els usuaris: traducció, resums, donar instruccions, etc.

Avaluacions dels models que hem provat

Cada fila de la taula és un model que hem avaluat. Cada columna és una tasca diferent (respondre preguntes, resumir, traduir, etc). Per a cada tasca, passem el mateix conjunt de proves a tots els models i comparem la seva sortida amb una resposta de referència feta per humans. Com més s’hi acosta, més alta és la puntuació.

Tingueu en compte

• Els models amb el nom en negreta no els podeu executar a l’ordinador i els incloem només com a referència. Aquests models requereixen entre 80 i 150 vegades més memòria i computació que els models que usem a l’ordinador.
• Tots els models locals estan avaluats amb quantització Q4_K_M (4 bits) que és la configuració que recomanem ja que permet tenir models més potents amb menys recursos.
• Cada model s’avalua amb els mateixos 400 exemples per tasca. Diferències de menys de 2 punts de CLAM no són concloents: llegiu la taula per grups.
• Cal tenir en compte la mida del model. Un model de 24B consumeix el doble que un 12B; llavors, més gran equival a més memòria.

Què mesurem?

• Els tokens/s mesuren la velocitat de generació del model en un AMD RYZEN AI MAX+ PRO 395 w/ Radeon 8060S (maquinari de gamma alta).
• STS: capacitat de jutjar si dues frases volen dir el mateix. El model assigna una puntuació de similaritat a parelles de frases i es calcula la correlació de Pearson (−1 a 1) amb les puntuacions donades per humans. Com més alta la correlació, millor.
• catcola_mcc: detecció de gramaticalitat. El model classifica frases en català com a acceptables o no, i es compara amb l’etiqueta humana mitjançant el Matthews Correlation Coefficient (−1 a 1, on 0 equival a respondre a l’atzar i 1 a encertar-ho tot).
• club_qa: mesura la comprensió lectora. Donat un text de la Viquipèdia i una pregunta, el model n’extreu la resposta. Es mesura la coincidència de paraules entre la resposta generada i l’esperada mitjançant F1 (0 a 1).
• CaSum: capacitat de resumir. El model genera un resum d’un text i es compara amb un resum de referència humà mitjançant mètriques de solapament de paraules tipus ROUGE (0 a 1), que premien el contingut compartit entre els dos resums.
• EN↔CA: qualitat de la traducció automàtica entre anglès i català. La puntuació és la mitjana del COMET normalitzat (0–1) de les dues direccions, EN→CA i CA→EN. Com més alta, millor.
• ES↔CA: qualitat de la traducció automàtica entre castellà i català. La puntuació és la mitjana del COMET normalitzat (0–1) de les dues direccions, ES→CA i CA→ES. Com més alta, millor.
• IFEval-ca: mesura la capacitat de seguir instruccions en català. Per exemple: “escriu la resposta en menys de 100 paraules”.
• Mantinc: mesura la capacitat del model de mantenir el català en les respostes, fins i tot amb contextos en altres llengües o converses de diversos torns. La puntuació va de 0 a 1; com més alta, millor.
• CLAM (Catalan Language Aggregate Metric) és el nostre índex agregat: la mitjana de les puntuacions normalitzades de totes les tasques d’avaluació. Cada puntuació es normalitza amb la fórmula (valor − baseline) / (1 − baseline), on la baseline és el resultat que obtindria un model responent a l’atzar. Per a les tasques de traducció, la puntuació COMET es normalitza respecte a una còpia de la font (copiar el text d’origen com a traducció) i no respecte d’un model aleatori. El CLAM serveix, doncs, per comparar models entre ells, i no s’ha de llegir com un percentatge d’encerts.

En totes les mètriques, com més alt és el nombre, millor. Gràcies a Meta, i als projectes Aina i IberBench per proporcionar els conjunts de dades d’avaluació.

Impacte de la quantització

Per la família de models Gemma 3, hem dut a terme una anàlisi més exhaustiva per entendre com la quantització, que redueix el consum de memòria i els requisits computacionals, afecta la qualitat dels resultats. En general, com més agressiva és la quantització (per exemple, Q2 amb 2 bits és més agressiu que Q4 amb 4 bits), més disminueix l’índex CLAM, fet que indica una pèrdua de qualitat en els resultats.

Nota: El sistema que fem servir per crear aquestes avaluacions està disponible com a codi obert: https://github.com/Softcatala/ai-eval-catalan