La intel·ligència artificial al vostre ordinador personal

Compartiu

Models de decisió Jev

Un model Jev és un model d’intel·ligència artificial especialitzat a prendre decisions: rep un context i unes opcions, calcula la probabilitat de cadascuna i tria la més adequada. Serveix per classificar peticions, encaminar tasques o valorar respostes sense generar text lliure. El terme prové de Jev, un model comercial de l’empresa TypeSafe AI presentat el setembre de 2026, que va popularitzar aquest tipus d’eina. Els models que avaluem aquí són alternatives obertes, desenvolupades per altres projectes, que segueixen una interfície semblant i es poden executar en local. No tenen cap relació amb TypeSafe AI.

Els models Jev es poden fer servir per classificar peticions, encaminar consultes, moderar continguts o seleccionar accions. En aquesta avaluació ens centrem en la classificació: comprovem si entenen correctament peticions en català, incloses les expressions i els matisos propis de la llengua.

ModelMemòria (GB)Mitjana F1MASSIVE Taxa d’encertTE-ca Taxa d’encertMASSIVE Macro F1TE-ca Macro F1Decisions/s
Clef Flash 9B9.70.84520.89240.80110.88600.80430.9
Clef 27B28.70.83580.87900.79220.87560.79600.2
OpenJev 27B28.60.83220.84160.83510.82630.83810.4
Nimble 9B9.50.80450.79720.81960.78700.82190.8
Rune v3 26B-A4B26.90.78660.81670.76480.80570.76752.0
lev 4B4.50.77870.77070.79780.75850.79881.1
GPT-6 Luna Decisions0.77480.81740.72600.81990.7297
Kev 9B9.50.76590.74610.78220.74600.78571.5
Kev 4B4.50.75220.75920.75300.74920.75522.5
Liquid d1 3B2.90.72780.76600.70620.74960.70605.3
Kev 0.8B0.80.60580.64060.58480.63180.579910.8
Liquid d1 Omni 600M0.40.42420.44820.44170.45040.398120.9
Laya 421M0.40.36860.25660.51770.22440.512721.9
Julia 1 144M0.20.23590.23030.33020.23280.238947.1

Dels models avaluats, Clef Flash 9B obté els millors resultats en català. En general, els models Jev no aporten més comprensió del català que el seu model base; el que aporten és una sortida estructurada, decisions sobre opcions fixes en una sola passada, útil per a encaminament d’intencions, o extracció d’esquemes quan no hi ha dades per entrenar un classificador.

GPT-6 Luna Decisions és un model comercial que s’executa als servidors d’OpenAI. L’incloem com a referència per comparar els models locals amb una alternativa al núvol.

Què mesurem?

Avaluem la capacitat dels models JEV en català amb dues proves:

  • Classificació de 2.974 exemples (de la partició test) de les 18 categories del conjunt de dades MASSIVE 1.1 com música, transport o meteorologia. Les peticions, les instruccions i les categories són en català.
  • Classificació de 2.117 exemples de TE-ca. Donades dues frases, el model ha de determinar si la segona es dedueix de la primera, la contradiu o no se’n pot determinar la relació.

Conceptes:

  • Memòria (GB): mida dels pesos del model quantitzat. L’execució pot requerir memòria addicional
  • Taxa d’encert: proporció de peticions classificades correctament. Un valor de 0,80 equival a un 80 % d’encerts. Com més alt, millor.
  • Macro F1: combina la precisió i la capacitat de detectar les peticions de cada categoria, donant el mateix pes a totes. Permet detectar models que funcionen bé en les categories freqüents però fallen en les altres. Com més alt, millor.
  • Mitjana F1: mitjana del macro F1 de MASSIVE i TE-ca, amb un pes del 50% cadascun. S’utilitza per ordenar els models. Com més alta, millor.
  • Decisions/s: nombre de peticions que el model pot classificar per segon. Com més alt, més ràpid. Els resultats depenen del maquinari utilitzat. La mesura que es mostra s’ha fet en un AMD RYZEN AI MAX+ PRO 395 w/ Radeon 8060S (maquinari de gamma alta).

Notes:

  • Aquesta prova mesura la classificació de peticions en català; no avalua totes les tasques que poden fer aquests models, com ara moderar continguts o valorar respostes.
  • Els models locals estan tots avaluats amb una quantització Q8_0.

Nota: El sistema que fem servir per crear aquestes avaluacions està disponible com a codi obert: https://github.com/Softcatala/ai-eval-catalan