La pregunta fa mesos que circula per titulars, pòdcasts i converses de passadís: pot la intel·ligència artificial acabar amb tots nosaltres? MIT Technology Review va dedicar una trobada en directe amb els seus subscriptors a respondre-la, i els seus periodistes d’IA —Will Douglas Heaven i Grace Huckins— van publicar després les millors preguntes del públic amb les seves respostes ("Could AI really kill us all? Your questions, answered", MIT Technology Review). És una lectura interessant, però si dirigeixes una empresa privada probablement tinguis una pregunta més terrenal: entre tant debat existencial, quins són els riscos de la IA que de debò afecten el meu negoci la setmana vinent? A això anem.
El debat apocalíptic i el debat que et toca a tu
En l’article de MIT Technology Review els dos periodistes no es posen del tot d’acord. Huckins admet que les prediccions dels sectors més pessimistes sobre les capacitats dels models han resultat "incòmodament encertades" els darrers anys, encara que no dona per fet el pitjor escenari. Heaven és més taxatiu: fora de la ciència-ficció, diu, no hi ha circumstàncies en què la IA ens mati a tots, i adverteix d’una cosa important —el catastrofisme serveix per tapar els problemes reals i presents de la tecnologia i de les empreses que la construeixen.
Aquesta darrera frase és la que ens interessa. Perquè mentre es discuteix l’extinció de la humanitat, en una pime de distribució, de retail o de construcció estan passant coses molt més mundanes i molt més cares: un agent automàtic que executa una acció que ningú no va revisar, un informe generat amb dades que ningú no va validar, una factura mal imputada, un correu de phishing impecable escrit amb IA generativa.
Tots dos periodistes coincideixen, això sí, en un punt assenyat: no cal creure en l’apocalipsi per reconèixer que aquesta tecnologia ja ha causat danys concrets. Aquest és exactament el terreny on una direcció general pot —i ha de— actuar.
Els riscos de la IA que sí que veus en una empresa
Aquests són, segons la nostra experiència acompanyant projectes de digitalització, els riscos de la IA amb què es troba una empresa real quan passa de l’entusiasme a la implantació.
1. Agents amb molta autonomia i poca supervisió
Un agent d’IA no només respon preguntes: executa tasques de diversos passos fent servir eines. Aquí hi ha el seu valor i aquí hi ha el problema. Com resumeix Heaven, l’equilibri entre autonomia i control encara no està resolt ni tan sols als grans laboratoris: bona part de la potència d’un agent rau en el fet que no necessitis microgestionar-lo, però això exigeix confiar que no se’n vagi de mare. Traduït a la teva empresa: abans de deixar que un agent modifiqui comandes, emeti abonaments o escrigui a clients, defineix què pot fer sol, què requereix validació humana i què queda registrat.
2. Al·lucinacions sobre dades desordenades
Un model pot generar informació incorrecta amb aparença de certa. Si a més s’alimenta de dades disperses entre Excel, correus i tres sistemes que no es parlen, el resultat no és intel·ligència: és soroll amb bona redacció. Per això insistim tant en allò avorrit: sense dades ordenades i governades, la IA no rendeix.
3. Ciberseguretat ampliada
L’article esmenta ciberatacs executats amb ajuda d’IA com un risc ja present, no futurista. Per a una empresa mitjana això es tradueix en suplantacions més creïbles, frau del CEO més ben escrit i automatització del costat atacant. La resposta no és exòtica: avaluació de riscos, plans de resposta i formació de l’equip.
4. Opacitat i dependència
Heaven i Huckins assenyalen que les tècniques per monitoritzar el comportament dels models són encara fràgils i que els mateixos fabricants s’autoregulen amb un evident conflicte d’interès. Per a tu això significa una cosa molt pràctica: exigeix traçabilitat, saber on es processen les teves dades i poder canviar de proveïdor sense quedar-te lligat.
"Alineació": la paraula tècnica darrere de la por
Una de les preguntes del públic anava sobre l’alineació: aconseguir que els models es comportin com volem i no com no volem. Heaven ho explica bé: els models de llenguatge no es programen com el programari tradicional, on pots codificar regles fixes. El comportament desitjat s’indueix durant l’entrenament, amb recompenses o amb una mena de "constitució" escrita. I tot i així els resultats són inconsistents: un model pot actuar d’una manera en una situació i d’una altra de diferent en una situació que a nosaltres ens sembla gairebé idèntica.
Conclusió per a la teva empresa: no deleguis criteri en un sistema que no és predictible. Delega tasques acotades, amb context controlat i amb revisió. És la mateixa lògica amb què aprovaries un circuit de compres o una signatura mancomunada; res que un bon director financer no entengui a la primera.
Cinc decisions pràctiques abans del teu proper projecte d’IA
- Comença per un cas d’ús mesurable. IA per reduir el temps d’un procés concret, no "IA per tenir IA". Si no saps quin indicador s’ha de moure, encara no és un projecte.
- Ordena les dades abans que el model. Identificar quina informació és rellevant i amb quina qualitat està és el 80% de la feina.
- Escriu una política d’ús. Qui pot fer servir quina eina, amb quines dades, i què està prohibit pujar. Una pàgina n’hi ha prou per començar.
- Defineix la supervisió humana. Quines decisions necessiten un vistiplau i qui el dona.
- Registra i revisa. Si no pots auditar el que va fer el sistema, no el pots millorar ni defensar davant d’un client o un auditor.
Com ho abordem a Tisa
A Tisa fa des del 1987 que implantem tecnologia de gestió en empresa privada, i l’enfocament amb la IA és el de sempre: primer el negoci, després l’eina. El nostre servei d’assessorament en IA treballa precisament en els fronts on es concentren els riscos de la IA per a una pime: identificar els conjunts de dades rellevants, crear protocols de governança de dades alineats amb la normativa, avaluar eines segons la teva capacitat real d’inversió, desenvolupar i executar un cas d’ús adaptat al teu negoci i capacitar l’equip per fer-lo servir amb criteri.
I com que som Microsoft Partner i desenvolupadors certificats en Business Central i Power Platform, aquesta feina sol aterrar sobre una base que ja coneixes: el teu ERP, els teus informes i els teus processos, no una plataforma paral·lela que ningú no fa servir al cap de tres mesos.
Ens matarà la IA?
Probablement no. Però que la resposta sigui tranquil·litzadora no vol dir que no hi hagi res a fer: vol dir que l’esforç ha d’anar als riscos de la IA que ja existeixen —control, dades, seguretat i supervisió— en lloc del guió d’una pel·lícula. Les empreses que avui ordenen les seves dades i proven casos d’ús acotats seran les que d’aquí a dos anys puguin automatitzar de debò, amb confiança i sense ensurts.
Vols una valoració sense compromís de per on començar? Parlem-ne: (+34) 971 305 885 · info@grupotisa.com · grupotisa.com. T’ajudem a triar el primer cas d’ús i a posar-lo en marxa amb garanties.
Font del debat comentat: "Could AI really kill us all? Your questions, answered", MIT Technology Review (Will Douglas Heaven i Grace Huckins).