Models d’embeddings
Els models d‘embeddings converteixen textos en posicions d’un mapa de significats, on les idees semblants queden a prop. En els sistemes RAG, que permeten utilitzar les AI amb documents propis, són els models que s’usen per indexar els documents i després poder-los recuperar.
La nostra recomanació per treballar en local és el model: multilingual-e5-large.
| Model | Dim | XQuAD nDCG@10 | STS-ca Sp | TeCla F1 | Puntuació composta |
|---|---|---|---|---|---|
| (*) google-gemini-embedding-001 | 3072 | 0.9816 | 0.7893 | 0.9329 | 0.9013 |
| multilingual-e5-large | 1024 | 0.9735 | 0.6967 | 0.9218 | 0.8640 |
| nomic-embed-text-v2-moe | 768 | 0.9670 | 0.6870 | 0.9324 | 0.8621 |
| bge-m3 | 1024 | 0.9675 | 0.6859 | 0.9207 | 0.8580 |
| (*) openai-text-embedding-3-large | 3072 | 0.9492 | 0.6696 | 0.9413 | 0.8534 |
| Qwen3-Embedding-8B | 4096 | 0.9621 | 0.6629 | 0.9339 | 0.8530 |
| multilingual-e5-base | 768 | 0.9669 | 0.6724 | 0.9171 | 0.8521 |
| multilingual-e5-small | 384 | 0.9492 | 0.6910 | 0.9121 | 0.8508 |
| Qwen3-Embedding-4B | 2560 | 0.9596 | 0.6552 | 0.9308 | 0.8485 |
| (*) openai-text-embedding-3-small | 1536 | 0.9330 | 0.6687 | 0.9328 | 0.8448 |
| snowflake-arctic-embed-l-v2.0 | 1024 | 0.9418 | 0.6309 | 0.9266 | 0.8331 |
| Qwen3-Embedding-0.6B | 1024 | 0.9186 | 0.6480 | 0.9186 | 0.8284 |
| LaBSE | 768 | 0.8286 | 0.6572 | 0.9147 | 0.8002 |
| paraphrase-multilingual-mpnet-base-v2 | 768 | 0.8598 | 0.6247 | 0.9023 | 0.7956 |
| distiluse-base-multilingual-cased-v2 | 512 | 0.8460 | 0.6050 | 0.8892 | 0.7801 |
| paraphrase-multilingual-MiniLM-L12-v2 | 384 | 0.8274 | 0.5706 | 0.8842 | 0.7607 |
Què mesurem?
- Model: Nom del model avaluat; l’enllaç porta al repositori o documentació del model utilitzat.
- Dim: Dimensions del vector d’embedding. Mes gran sol capturar mes informació i matisos, però és més lent i ocupa més memòria; més petit és més eficient.
- XQuAD nDCG@10: Recuperació pregunta-context en XQuAD-ca: codifica preguntes i contexts, ordena per similitud i calcula nDCG als 10 primers.
- STS-ca Sp: Similitud semàntica: compara cosinus entre parelles de frases amb puntuacions humanes, mitjançant correlació de Spearman.
- TeCla F1: Classificació temàtica: entrena una regressio logistica sobre embeddings de TeCla i mesura macro-F1 al test.
- Puntuació composta: Mitjana simple de XQuAD nDCG@10, STS-ca Spearman i TeCla macro-F1.
Puntuació composta
0.85 alta qualitat
≥ 0.85 alta qualitat
(*) google-gemini-embedding-001
0.9013
multilingual-e5-large
0.8640
nomic-embed-text-v2-moe
0.8621
bge-m3
0.8580
(*) openai-text-embedding-3-large
0.8534
Qwen3-Embedding-8B
0.8530
multilingual-e5-base
0.8521
multilingual-e5-small
0.8508
Qwen3-Embedding-4B
0.8485
(*) openai-text-embedding-3-small
0.8448
snowflake-arctic-embed-l-v2.0
0.8331
Qwen3-Embedding-0.6B
0.8284
LaBSE
0.8002
paraphrase-multilingual-mpnet-base-v2
0.7956
distiluse-base-multilingual-cased-v2
0.7801
paraphrase-multilingual-MiniLM-L12-v2
0.7607
Línia discontínua a 0.85 = "alta qualitat per a tasques en català"
Nota: El sistema que fem servir per crear aquestes avaluacions està disponible com a codi obert: https://github.com/Softcatala/ai-eval-catalan