Presentem dues eines perquè les persones catalanoparlants valorin la qualitat del català en els diferents models d'intel·ligència artificial.
Softcatalà posa en marxa dues plataformes participatives perquè siguin les persones catalanoparlants, i no només les màquines, les que decideixin com ha de sonar i com s’ha d’escriure el català en la tecnologia. Amb uns minuts del vostre temps podeu ajudar a millorar el reconeixement de la parla i a saber quins models d’IA parlen millor la nostra llengua.
La intel·ligència artificial ja forma part del dia a dia: transcriu reunions, subtitula vídeos, redacta textos i respon preguntes. Però la qualitat d’aquestes eines en català depèn de dues coses que no es poden automatitzar del tot: dades de qualitat i criteri humà per a jutjar els resultats.
Fins ara, una bona part de les dades de veu en català s’han generat i verificat de manera automàtica, i la manera habitual de comparar models de llenguatge són proves automàtiques pensades sobretot per a l’anglès. Aquestes mesures deixen escapar errors i matisos que qualsevol parlant detecta de seguida.
Per això presentem dues iniciatives complementàries: GarbellaVeus, per a validar dades de veu en català, i ArenaCat, per a avaluar els models d’IA que escriuen en català. Totes dues comparteixen una mateixa idea: donar veu a la gent que parla la llengua.
GarbellaVeus: garbellem plegats les veus del català
El català ja disposa de recursos oberts de veu importants, com Common Voice o diversos corpus parlamentaris. Però encara hi falten dades de parla espontània, amb una gran diversitat de parlants i amb transcripcions verificades per persones. GarbellaVeus vol contribuir a omplir aquest buit.
GarbellaVeus us convida a escoltar talls de veu del conjunt de dades Catalan YouTube Speech, extret de vídeos de plenaris publicats amb llicència lliure. L’objectiu és ambiciós: afegir fins a 920 hores de parla catalana validada als conjunts de dades oberts.
Participar-hi és molt senzill. Escolteu un tall i voteu si la transcripció és correcta i si el dialecte detectat és l’encertat. Si hi trobeu errors, podeu proposar una transcripció més acurada o indicar el dialecte correcte. I si el tall no és en català, té música o soroll, o hi parlen diverses persones, el podeu marcar perquè no contamini les dades.
La plataforma també inclou les transcripcions verificades de manera automàtica pel BSC, a les quals ara s’afegeix una capa de validació humana. Quan un tall acumula prou vots favorables, es marca com a validat. Cada vot ajuda a separar el gra de la palla: quines transcripcions són fiables, on s’equivoquen els models i quina varietat del català s’hi sent.
Aquest és un primer pas. Ara per ara hi predomina el registre institucional, però en un futur ens agradaria incorporar noves fonts de dades de veu amb llicències permissives, sobretot de parla més espontània i de registres i parlants encara poc representats. Així podrem continuar ampliant els recursos de veu oberts en català.
ArenaCat: la lliga dels models d’IA en català
ArenaCat és una plataforma centrada exclusivament a mesurar la competència en català dels models de llenguatge. A diferència de les avaluacions automàtiques, aquí són persones les que decideixen quina resposta és millor.
El funcionament és el d’un duel a cegues. Llegiu una tasca i dues respostes, A i B, generades per models diferents. Els noms dels models queden ocults per evitar biaixos de marca. Només cal triar quina resposta és millor, si estan empatades o si cap de les dues resol bé la tasca.
Les tasques inclouen correcció, reformulació, traducció i generació de textos. Els criteris són clars: la correcció i la naturalitat del català, el respecte del significat i el compliment de les instruccions.
No cal saber d’intel·ligència artificial. Per a garantir que els resultats siguin fiables, cal crear un compte i superar una breu prova de competència lingüística, d’uns cinc minuts, que només s’ha de fer una vegada. A partir d’aquí, cada comparació porta uns dos minuts i hi podeu participar al vostre ritme.
Donar veu a la gent: què farem amb els resultats
Amb GarbellaVeus i ArenaCat volem que siguin les persones que parlen català les que marquin el llistó. El vostre criteri detecta errors de concordança, calcs, faltes de registre o confusions dialectals que les mètriques automàtiques no veuen.
Tot el que aporteu tornarà a la comunitat en obert:
- Dades de veu validades i obertes. Les transcripcions i els dialectes validats a GarbellaVeus s’incorporaran als conjunts de dades oberts, amb fins a 920 hores de parla catalana revisada per humans. Aquestes dades permetran entrenar i avaluar sistemes de reconeixement de la parla que entenguin millor totes les varietats del català.
- Un rànquing públic de models. ArenaCat publica un marcador que es recalcula amb cada vot i que indica quins models responen millor en català, globalment i per tipus de tasca. Us ajudarà a triar quina eina fer servir i farà visible, davant dels desenvolupadors, com tracten la nostra llengua.
- Un conjunt de dades de preferències. Les tasques, les respostes i les preferències recollides a ArenaCat es publicaran com a dades obertes perquè serveixin per a entrenar i millorar models en català.
Com tots els projectes de Softcatalà, el codi és lliure i la metodologia és pública. Podeu consultar-ne els detalls a la documentació d’ArenaCat.
Participeu-hi: cada vot compta
Aquestes dues plataformes només funcionen si hi participa molta gent. Com més vots, més fiables seran les dades i el rànquing, i més ben representades hi quedaran totes les varietats del català. No cal ser expert: n’hi ha prou amb parlar català i tenir una mica de criteri.
- Escolteu i valideu talls de veu a garbellaveus.softcatala.org.
- Compareu respostes de models d’IA a arena.softcatala.org.
Si teniu cinc minuts, feu uns quants vots. Si en teniu més, torneu-hi sovint. I, sobretot, difoneu-ho entre amics, companys de feina, docents i alumnes: com més diverses siguin les veus, millor.
Una iniciativa amb suport
GarbellaVeus i Arena Cat compten amb el suport de:
- Acció Cultural del País Valencià – https://acpv.cat/
- Accent Obert – https://accentobert.cat/
- Aliança Digital – https://aliançadigital.cat/
- Institut d’Estudis Catalans – https://www.iec.cat/
- Generalitat de Catalunya – Departament de Política Lingüística – https://llengua.gencat.cat/
- Projecte Aina (Generalitat de Catalunya i Barcelona Supercomputing Center BSC-CNS) – https://projecteaina.cat/
- Amical Wikimedia – https://wikimedia.cat/
S’hi sumen com a socis de difusió. La seva col·laboració ens ajudarà a fer arribar la crida a moltes més persones i a recollir veus i opinions de tots els territoris i de tots els àmbits de la societat.
Si la vostra entitat també vol ajudar a difondre aquestes iniciatives, podeu posar-vos en contacte amb Softcatalà.
Quant a Softcatalà
Softcatalà és una associació sense afany de lucre que treballa per la normalització de la llengua catalana en el sector informàtic, internet i les noves tecnologies, a partir de la traducció de programari lliure de distribució gratuïta i la creació de recursos lingüístics lliures i oberts a tothom.
Actualment admet donatius a través de la plataforma Aixeta.cat. Podeu fer el vostre a softcatala.aixeta.cat.
Per a més informació, visiteu www.softcatala.org.