La salut del català a Internet

Per Jordi Mas i Hernàndez/ jmas@softcatala.org 2/09/2003

1. Introducció Aquest article és una revisió de l'informe publicat l'any 2000 per Vilaweb sobre la presència de la llengua catalana a Internet. S'ha cregut necessari després de més tres anys --i això és molt de temps a Internet-- fer una revisió d'aquestes dades i actualitzar-les amb el major rigor possible. Determinar amb exactitud la presència d'una llengua a Internet és una tasca complexa i fora de l'abast dels mitjans tècnics i humans dels quals disposem des de Softcatalà. Internet no és només la web, hi ha multitud d'espais sensibles a les llengües com ara el correu electrònic, els xats, els grups de discussió, o la missatgeria instantània que són difícils de mesurar, quan no impossibles, sense la col·laboració dels proveïdors d'accés a la Xarxa. En aquest article ens centrarem en mesurar la presència del català a la web. 2. Mètode utilitzat Per a l'elaboració d'aquest article s'ha utilitzat la base de dades del cercador AllTheWeb que és el cercador que té un suport més desenvolupat quant a eines lingüístiques. Bàsicament, s'ha intentat interrogar amb la màxima fiabilitat possible la quantitat de pàgines web que té indexades per a cada llengua. S'ha utilitzat la tècnica anomenada complement del conjunt buit que es basa en cercar paraules no existents en una llengua per determinar el nombre de pàgines indexades. Aquestes dades són una mesura molt eficaç de la presència del català a Internet. En qualsevol cas és important tenir present els següents punts: - Actualment, segons estimacions de Google, es calcula que la web té entre 9.000 i 12.000 milions de pàgines web. Google només n'indexa uns 3.000 milions i AllTheweb uns 2.100, però també es calcula que hi ha un alt índex de pàgines repetides (pàgines mirall per exemple) entre les que encara cal indexar. Es considera també, que les llengües asiàtiques, especialment el xinès,  tenen un nombre molt alt de pàgines web encara per indexar respecte les altres llengües[1]. - L'informe original de Vilaweb del 2000 on el català hi apareixia com a dinovena llengua no tenia en compte llengües com l'indonesi, el tai, l'estoni o el croat perquè AllTheweb en aquella època no era capaç d'identificar-les. - El sistema que usa Alltheweb  per determinar la llengua d'una pàgina es basa principalment en la freqüència d'aparició de certs mots en les pàgines (term frequency). Aquests sistemes no són totalment fiables ja que per a pàgines petites o per llengües properes (com l'occità i el català o el gallec i el portuguès per exemple) poden errar en la detecció de la llengua. 2. Dades sobre la presència del català a Internet (agost 2003) Aquestes són les dades que mostren la presència del català a Intenet segons el cercador AllTheWeb al mes d'agost del 2003. Cercador AlltheWeb Llengua Pàgines Web (mostra) 1 Anglès 1,280,041,397 2 Alemany 182,005,546 3 Francès 99,737,704 4 Japonès 69,730,375 5 Espanyol 65,814,567 6 Xinès 65,730,212 7 Coreà 64,606,324 8 Rus 42,276,247 9 Italià 41,849,365 10 Holandès 41,119,851 11 Portuguès 37,695,762 12 Polonès 22,154,325 13 Txec 15,580,583 14 Suec 14,901,968 15 Danès 12,107,133 16 Hongarès  8,540,941 17 Noruec 8,123,301 18 Finlandès 5,678,599 19 Eslovac 5,077,965 20 Hebreu 4,792,646 21 Turc 4,704,212 22 Tai 3,124,572 23 Català 2,926,550 24 Àrab 2,470,616 25 Grec 2,366,733 26 Romanès 2,052,990 27 Eslovè 1,685,426 28 Croat 1,672,582 29 Estonià 1,464,539 30 Islandès 1,391,302 31 Búlgar 1,120,713 32 Lituà 1,078,341 33 Indonesi 1,044,038 34 Ucraïnès 1,014,537 35 Letó 559,913 36 Bielorús 535,697 37 Vietnamita 390,164 38 Malai 327,947 39 Gallec 274,132 40 Basc 154,709 41 Llatí 137,355 42 Afrikaans 115,689 43 Gal·lès 93,027 44 Feroès 65,785 45 Frisó 63,236 46 Albanès 53,236 47 Serbi 42,848 48 Suahili 14,314 Notes 1. Les mostres de totes les dades corresponen al mes d'agost del 2003. 2. Les dades relatives al xinès inclouen pàgines escrites en xinès tradicional i xinès simplificat. Les dades del portuguès inclouen el brasiler i el portuguès. 3. Nombre relatiu de pàgines web per parlant La següent taula mostra ordenats de major a menor el nombre de pàgines per parlant, és a dir, el nombre relatiu. Cercador AlltheWeb Llengua Pàgines Web (mostra) Parlants Pàgines Web per parlant 1 Islandès 1,391,302 250,000 5.57 2 Anglès 1,280,041,397 341,000,000 3.75 3 Danès 12,107,133 5,326,000 2.27 4 Holandès 41,119,851 20,000,000 2.06 5 Alemany 182,005,546 100,000,000 1.82 6 Suec 14,901,968 9,000,000 1.66 7 Noruec 8,123,301 5,000,000 1.62 8 Francès 99,737,704 72,000,000 1.39 9 Estonià 1,464,539 1,100,000 1.33 10 Txec 15,580,583 12,000,000 1.30 11 Finlandès 5,678,599 6,000,000 0.95 12 Hebreu 4,792,646 5,150,000 0.93 13 Eslovac 5,077,965 5,606,000 0.91 14 Eslovè 1,685,426 2,000,000 0.84 15 Coreà 64,606,324 78,000,000 0.83 16 Italià 41,849,365 62,000,000 0.67 17 Hongarès 8,540,941 14,500,000 0.59 18 Japonès 69,730,375 126,000,000 0.55 19 Polonès 22,154,325 44,000,000 0.50 20 Català 2,926,550 6,565,000 0.45 21 Rus 42,276,247 167,000,000 0.25 22 Portuguès 37,695,762 176,000,000 0.21 23 Espanyol 65,814,567 322,000,000 0.20 24 Grec 2,366,733 12,000,000 0.20 25 Tai 3,124,572 20,047,000 0.16 26 Croat 1,672,582 21,000,000 0.08 27 Romanès 2,052,990 26,000,000 0.08 28 Turc 4,704,212 61,000,000 0.08 29 Xinès 65,730,212 885,000,000 0.07 30 Àrab 2,470,616 213,223,637 0.01 Notes 1. Les mostres de totes les dades corresponen al mes d'agost del 2003 2. Les dades del nombre de parlants provenen d'Ethnologue 3. Les dades relatives al xinès inclouen pàgines escrites en xinès tradicional i xinès simplificat. Les dades del portuguès inclouen el brasiler i el portuguès. 4. Les dades sobre el nombre de parlants del català varien segons les fonts (vegeu Generalitat de Catalunya). S'ha decidit usar les dades provinents d'Ethnologue per a totes les llengües i no fer cap modificació per cap llengua. Cal destacar que Ethnologue considera el nombre de parlants que tenen una llengua com a materna. Conclusió A tall de conclusió, podem afirmar que el català és en l'any 2003 la vint-i-tresena llengua a Internet. Els mitjans que tenim a dia d'avui per mesurar la seva presència respecte els mitjans existents en l'any 2000 quan es va fer l'estudi de Vilaweb han millorat considerablement. Els cercadors actuals tenen més pàgines web indexades, és a dir una mostra més gran, i els seus algorismes de detecció de llengües han millorat considerablement en els últims tres anys. Més que un retrocés respecte l'any 2000, pensem que els mitjans tècnics que hi havia l'any 2000 eren inferiors, que en aquell moment el català va obtenir una posició millor de la que li corresponia i que les dades del present article es corresponen més a la realitat actual. Nota de l'autor. El meu especialment agraïment a Mercè Romagosa, i a Xavier Rull, Emi Miró i Francesc Dorca de Softcatalà pels seus suggeriments. Referències [1] Informació donada oralment per en Vibhu Mittal durant la conferència al Centre de Cultura Contemporània de Barcelona durant el juliol del 2003. Vegeu també http://www.searchengineshowdown.com/stats/size.shtml  per a més informació sobre el nombre de pàgines indexades per a cada cercador. Bibliografia recomanada Informe de Vilaweb sobre  la presència del català l'any 2000 http://www.vilaweb.com/especials/5anys/enquesta.html Observatori de les llengües i cultures de Funredes http://www.funredes.org/LC/ Anàlisis d'Alis de les llengües a Internet (1997) http://babel.alis.com/palmares.html Les llengües del món http://www.ethnologue.com/ Millan, José Antonio. (2001): Internet y el Español Fundación Retevision