De picos, abismos, rampas y mesetas
El cuerpo me pide volver a escribir sobre IA. El inevitable tema de moda, por supuesto. Y de manera más específica, sobre cómo la estamos usando. La última vez lo hacía en pijama y con mi escepticismo característico desbocado en un otoñal domingo de octubre del 2023. Ya ha pasado un año, fíjate. Y muchas cosas han cambiado desde entonces.
La primera y probablemente más importante es que mientras escribo esto no estoy en pijama; tampoco en chándal, aunque no sería raro, al fin y al cabo cursé casi toda la EGB con él. La segunda tiene que ver con mi descreimiento característico, que a lo largo del último curso ha mutado en una suerte de cálida y acogedora fuerza Jedi que me protege de charlatanes (y charlatanas) que venden crecepelos. Igual esto algo tiene que ver con la nueva ley de FP, vete a saber.
Otras, sin embargo, siguen exactamente en el mismo lugar donde las dejamos hace un año.
Parece que la obsesión por crear entidades artificiales pensantes que nos salven de todo mal, supongo que también de nosotros mismos, sigue tan fuerte como siempre. Desde emprendedores hasta grandes corporaciones, todos quieren su pedazo de la enorme tarta (o torta, quién sabe) de la IA. Y claro, no podían faltar los gurús de turno, que de un día para otro se convirtieron en expertos en esta materia, inundando nuestras redes sociales con sus vastos y recién adquiridos conocimientos. La ola de herramientas de IA generativa no para de crecer, ofreciéndonos creaciones cada vez más fascinantes y, a veces, un tanto inquietantes cuando se toma en consideración su posible impacto a múltiples niveles.
El panorama es el que es y ya nos hemos acostumbrado a él. Han bastado apenas un par de años para que la demoledora ventana de Overton del incesante cambio tecnológico nos haya convencido de la viabilidad de esta nueva normalidad.
¡Qué barbaridad 🤭! Todo este circunloquio para poner de manifiesto que este artículo no va a ser condescendiente con los AI freaks (en inglés, que siempre queda más cool), aunque debo aclarar que tampoco pretende ser un neoludita alegato anti IA. Las cosas mejor dejarlas claras cuanto antes.
Pero sigamos con señores anglosajones que le ponen nombre a cosas. Tengo que confesar que me fascina el concepto que ilustra el «ciclo del hype de Gartner», esa curva sinuosa que a menudo se utiliza para representar las etapas por las que pasan las nuevas tecnologías desde su lanzamiento hasta el punto en que son viables y realmente útiles.
Igual no te suena el tal Gartner ni su ciclo, pero sí has oído hablar de Blockchain y NFTs, del Metaverso, de la realidad virtual-barra-aumentada y de todas esas tecnologías disruptivas que iban a producir un impacto tan brutal en nuestras vidas. Sí, esas que a temporadas te encontrabas por todas partes. Pues eso.
Creo honestamente que, hablando de inteligencia artificial en general, y de la generativa en particular, nos encontramos en estos momentos en ese prominente pico de expectativas desmedidas que puedes apreciar en la gráfica de aquí arriba.
No obstante, me gustaría centrarme hoy en esos grandes modelos de lenguaje o LLM, una subconjunto de las IA generativas, porque este artículo no va de teorizar sobre el sexo de las inteligencias artificiales, sino de compartir contigo un par de experiencias recientes usando la IA de Notion y NotebookLM que me parecen relevantes. Al menos lo bastante como para sentarme un par de ratos a escribir esto.
Pero volvamos a nuestro escarpado pico.
En mi opinión, los LLM son, parafraseando a Arthur C. Clarke, esa clase de tecnología tan avanzada que casi no puede distinguirse de la magia. Me parece alucinante que produzcan los resultados que producen… la mayor parte del tiempo. Ciencia ficción de la buena hace apenas 10 años, cuando dialogar con un chatbot resultaba ser una experiencia notablemente ortopédica y todos flipábamos en colores con lo bien que nos entendía Google Search.
Y su regularidad es precisamente para mí el quid de de la cuestión.
Porque hoy ChatGPT, Gemini o Claude son capaces de interactuar con nosotros haciendo gala de una naturalidad que pasma, incluso de manera multimodal. No tienes más que probar el modo de voz avanzado del primero o la función «Live» del segundo para que su aparente humanidad te sacuda.
Además, en los últimos meses se han popularizada las herramientas generativas basadas en RAG (el sugerente acrónimo de Retrieval-Augmented Generation), una técnica de inteligencia artificial que combina lo mejor de dos mundos: la capacidad de los modelos de lenguaje de generar texto de manera creativa y la habilidad de los sistemas de búsqueda para recuperar información significativa a partir de grandes conjuntos de datos.
Cuando alimentamos estos sistemas con una base de conocimiento específica, algo que puede ser tan inmediato y familiar como una carpeta repleta de archivos PDF, las respuestas que obtendremos serán previsiblemente más coherentes, precisas y fundamentadas, con una presencia sensiblemente inferior de esas molestas alucinaciones características de los asistentes conversaciones generalistas.
Las herramientas que hacen alguna forma de RAG son las que más me interesan en estos momentos. Pero considero al mismo tiempo que para que sean verdaderamente útiles, deben ganarse nuestra confianza.
Esto exige, en primer lugar, respuestas precisas y basadas en hechos. Además, es crucial que estas herramientas sean transparentes sobre sus limitaciones y manifiesten incertidumbre cuando sea necesario. Por último, deben demostrar una capacidad excepcional para identificar y utilizar la información relevante contenida en el cuerpo de conocimiento con el que han sido alimentadas previamente.
Es común evaluar estas herramientas, algo a priori bastante complicado, mediante métricas de precisión, obtenidas a partir de su porcentaje de aciertos a la hora de resolver determinados problemas o realizar ciertas tareas. Pero creo que esta búsqueda constante por los mejores resultados numéricos a veces puede oscurecer la importancia de otros aspectos, como la fiabilidad y la transparencia.
Supongamos que la herramienta generativa «X» es capaz de responder correctamente el 95% del tiempo, según uno de estos benchmarks. Eso sería admirable, no cabe duda.
¿Pero qué pasa cuando nos encontramos con una respuesta en ese exiguo 5% restante?
¿Podemos asumir el riesgo de tomar decisiones basadas en sus respuestas?
¿Vamos a revisar siempre la información que produce un parlanchín y complaciente asistente conversacional?
¿Tenemos el tiempo y los conocimientos suficientes para hacerlo?
Y si finalmente tomamos la decisión de cuestionar siempre las respuestas, ¿realmente sirven de algo estas herramientas?
Todas estas preguntas me parecen no solo pertinentes sino también acuciantes, en especial porque no podemos perder de vista el enorme impacto (económico, medioambiental) de creación, mantenimiento y explotación de estos sistemas inteligentes. La cuestión es si merece la pena consumir la energía necesaria para cargar completamente la batería de un móvil cada vez que generas una imagen en Canva. Si los sistemas basados en LLM se han de beber casi toda el agua del planeta, que sea por una buena razón, ¿no te parece?
Por otro lado, deberíamos valorar también que a menudo estamos utilizando toda esta pesada maquinaria en lugar de otras herramientas ya existentes que tienen un coste de operación mucho más razonable. Si quieres obtener los dominios de una larga lista de direcciones de correo electrónico hazme (¡haznos!) el favor de utilizar un simple SPLIT en una hoja de cálculo.
No obstante, desde la automatización de tareas rutinarias hasta la creación de contenido original pasando por la síntesis de grandes cantidades de información, cualquiera que tenga ojos en la cara puede ver que las posibilidades se antojan infinitas. Y cada vez son más las personas que comparten sus experiencias positivas con todo tipo de productos basados en IA generativa, aunque yo no puedo dejar de preguntarme si únicamente lo hacen cuando los resultados que obtienen quedan dentro de esa hipotética horquilla del 95% de éxito, cayendo así en un sesgo del superviviente de manual.
Ayer mismo, sin ir más lejos, me encontré con un interesante hilo en X donde un usuario explicaba cómo utiliza ChatGPT para diseñar situaciones de aprendizaje. Me alegra comprobar que los modelos generativos pueden ayudarnos a ser más eficientes y creativos. Y sí, creo que compartir estas experiencias positivas es fundamental para que más personas se animen a utlizarlos de manera correcta y segura.
Pero esto hoy va de abandonar la complacencia y buscarle las costuras al sistema, que las tiene.
Notion y sus rollups
Notion fue una de las herramientas pioneras a la hora de incorporar funciones de inteligencia artificial en sus espacios de trabajo. Tuve la oportunidad de probarlas mientras se encontraban en una fase temprana de desarrollo, allá por noviembre de 2022, funcionalidades que finalmente llegaron al público general unos pocos meses después, a comienzos de 2023. La IA de Notion ha recibido hace unas pocas semanas una actualización importante que en mi opinión la lleva a otro nivel.
La IA de Notion está basada en Claude (Anthropic) y ChatGPT4 (OpenAI) y ahora incluye también un servicial asistente conversacional que utiliza todo el conocimiento que almacenas en esta herramienta, así como la información del centro de ayuda de Notion, para responderte. Honestamente, pinta muy bien (de hecho me he suscrito, su propuesta de valor me parece excelente). Pero, ¿es totalmente fiable?
Para comprobarlo, vamos a analizar una conversación que mantuve con este asistente el domingo pasado mientras diseñaba una nueva plantilla (que acabo de publicar en la galería de plantillas oficial). Siguen unas cuantas capturas de pantalla comentadas, solo las justas y necesarias.
La conversación comienza con una pregunta sobre la posibilidad de utilizar propiedades de tipo rollup para agrupar las vistas de una base de datos, a sabiendas de la respuesta, que es ampliamente conocida por cualquier usuario de Notion con cierta experiencia.
El asistente de IA de Notion (el muchache no tiene nombre propio conocido) lo hace bastante bien, pero cae en una contradicción importante que, cómo no, me apresuro a indicarle.
Ahora va y se disculpa, que es lo que hacen los chatbots educados. Tenía dos posibilidades, mantener a muerte su primera afirmación (los campos calculados no pueden utilizarse para agrupar) o reconocer que la solución alternativa propuesta era correcta (un campo calculado puede tomar el valor de un rollup). Y opta por la primera, por razones desconocidas. ¿Lanzarán los asistentes virtuales monedas eléctricas?
Como mete la pata hasta el fondo, no me deja alternativa. Le arrincono (siempre con cariño).
Ante mi contundente respuesta no le queda otra que reconocer su error. Aún así, facilita información relevante al hacer ciertas consideraciones sobre el rendimiento cuando se utilizan agrupaciones basadas en campos calculados.
Finalmente, le hago una pregunta de control para ver cuánto sabe sobre los rollups de Notion.
La respuesta pone en evidencia que la IA de Notion está utilizando información extraída de anotaciones que yo mismo había registrado hacía muchos lunas en mi espacio de trabajo. Es decir, realmente está alimentándose de mis datos, como cabía esperar.
Sin embargo, por alguna razón no ha sabido manejar información contradictoria, tal vez procedente de una fuente externa. De hecho, precisamente ese mismo día había realizado una anotación relacionada con rollups y campos calculados en el PLE que mantengo en mi espacio de trabajo dentro de esta herramienta.
¿Qué opinas?
No me contestes aún, antes me gustaría presentarte otro ejemplo tomado de una herramienta distinta.
NotebookLM y los desdobles en FP
Otro producto que encuentro fascinante es NotebookLM. Una de esas herramientas experimentales y poco conocidas de Google, creadas por un pequeño e igualmente desconocido equipo, que sin embargo resulta extremadamente útil para analizar y resumir grandes cantidades de información. Y encima sin pasar por caja, no se puede pedir más.
NotebookLM trabaja con «cuadernos», algo así como espacios de trabajo a los que puedes subir archivos e incorporar documentos y presentaciones almacenadas en Google Drive, enlaces a sitios web y vídeos de YouTube o simplemente en los que pegar texto plano.
A partir de ahí toda esa información, NotebookLM genera una exhaustiva guía del cuaderno. Esta guía incluye un certero resumen del material aportado, preguntas sugeridas, asistentes de análisis, un agente conversacional al que preguntarle cosas sobre los materiales e incluso una espectacular función que genera un alucinante resumen de audio, un podcast a dos voces (por ahora solo en inglés) que suena espeluznantemente humano. Te cuento más sobre todo esto aquí.
Pero vamos al grano.
Utilizo mucho NotebookLM en mi trabajo como jefe de estudios de FP. Hace unos días creé un cuaderno con gran parte de la normativa que regula las enseñanzas de formación profesional en la Comunidad Valenciana, una cuantas decenas de esos documentos PDF escritos en legales de incómoda maquetación, que tan cuesta arriba se hacen.
Y no se me ocurrió otra cosa que preguntarle qué módulos son susceptibles de desdoble (o desdoblamiento 😳, como dice la normativa ) en cierto ciclo formativo de grado medio.
En los centros privados concertados, los desdobles permiten habilitar sesiones semanales adicionales de clase en determinados módulos cuando la matrícula supera cierto número de estudiantes, de manera que se activan grupos independientes, atendidos en paralelo por docentes distintos.
Pregunta sencilla, clara y directa para flexionar los músculos RAG de NotebookLM.
Así de primeras, NotebookLM dice que esa información no aparece en los documentos que le he facilitado. A pesar de eso hace lo que pueda y menciona cierta información relacionada que sí ha localizado (¡bien hecho!).
Yo, consciente de que he subido al cuaderno un archivo PDF que detalla las especialidades y módulos, con indicación del número de horas, que admiten desdoble, insisto e incluso le digo dónde debe buscar esa información.
La cosa va mejor, me dice dónde consultar la información que solicito (anexo I), lo que es absolutamente correcto (¡bien!). Pero no responde a mi pregunta sobre los módulos que pueden desdoblarse en el CFGM de instalaciones eléctricas y automáticas. Si lo tengo que mirar yo, mejor no te pregunto, sobretodo porque no has sido capaz (hablo contigo 🫵🏻, NotebookLM) de localizar por ti mismo esa información.
Insisto pues, vamos ya por la tercera interacción. ¡Y las que nos quedan!
Donde dije digo, ahora te digo Diego. NotebookLM se desdice y niega que ese documento contenga la información solicitada.
Este empieza a ser un diálogo para besugos. Pero no pierdo la esperanza. Repito mi petición mencionando esta vez de manera explícita el anexo I, al que el propio NetbookLM ha hecho referencia previamente.
Ahora se pierde un poco hablando de los cursos de especialización. Me dice que mire en otro lado. ¡Estamos apañados!
Le doy un poco de conversación, a ver si de ese modo consigue centrarse mejor en el asunto que nos ocupa.
NotebookLM sigue evidenciando un preocupante punto ciego, aunque las sugerencias que hace tienen cierto sentido.
Un poco ya a desesperado y a punto de tirar la toalla, repito la pregunta de hace dos interacciones, esta vez con la palabra «Anexo» con la inicial en mayúsculas, tal como el propio NotebookLM la había escrito en la cuarta interacción de la conversación.
Lo mismo. Estoy a punto de echarme a llorar.
Venciendo mi escepticismo natural, lo intento una vez más, utilizando en esta ocasión el término «desdoblamiento» (por mal que me suene 😅).
NotebookLM es paciente conmigo hasta decir basta, eso no se lo puede negar. Pero me dice que circule, que aquí no hay nada para mí.
Se me ocurre dar un rodeo y preguntarle por algo que guarda cierta semejanza, los módulos con exigencia de presencialidad en la modalidad semipresencial de un ciclo formativo distinto.
Esta vez lo clava 😲.
Ahora me lo traigo, como quien no quiere la cosa, de vuelta a los desdobles.
Sigue pareciendo un poco perdido, la verdad, aunque sus deducciones no dejan de ser razonables.
Llevo ya con esto un tiempo que me parece excesivo y tengo otras cosas que hacer, así que disparo mi última bala y…
¡Bingo! ✌️
Esta vez me he referido al ciclo exclusivamente por su nombre completo. Tal vez eso de «grado medio» le estaba confundiendo, lo que en absoluto me parece razonable en una herramienta que trabaja en el ámbito semántico.
Ahora sí, vamos con las conclusiones.
La promesa de una IA útil
Es obvio que los ejemplos que he presentado no son suficientes para generalizar ni sacar conclusiones definitivas.
A pesar de que se trata de casos aislados, obedecen a un uso real que en ningún caso es fruto de una selección sesgada. En mi opinión, ponen de manifiesto los riesgos que supone utilizar estas tecnologías de manera ciega y cuestionan su utilidad cuando las consecuencias de un uso irreflexivo pueden llegar a ser graves.
En el primer caso que te he presentado (recuerda, rollups, propiedades calculadas y agrupación de vistas en Notion), he tenido que aportar mi propio conocimiento previo del problema para finalmente lograr una respuesta satisfactoria por parte del asistente de IA. De no haberlo tenido (para qué pregunto si ya lo sé 🙄), me hubiera quedado con la convicción de que las propiedades calculadas no pueden utilizarse para resolver, aunque sea parcialmente, el problema que tenía entre manos.
En el segundo, los desdobles de módulos de FP en NetbookLM, he tenido que insistir lo indecible hasta obtener una respuesta correctamente fundamentada en los documentos facilitados a la IA generativa. Podría haberme rendido mucho antes. Y desde luego, hubiera llegado a la información que necesitaba mucho más rápidamente haciendo algo tan sencillo y saludable como leer por mí mismo el documento «2024 Desdobles.pdf». Inevitablemente me vienen ahora a la cabeza los humanos absolutamente dependientes de la tecnología que presenta la genial WALL-E.
En la primera situación las consecuencias no van más allá de ciertas carencias personales a la hora de usar los rollups de Notion. Y de una plantilla mejor o peor diseñada. Problemas ciertamente menores.
En la segunda, en cambio, podrían haber sido mucho peores. De haber confiado ciegamente en NotebookLM, algunos docentes de mi centro habrían perdido horas de concierto, lo que supone una nómina más baja. Esto es así puesto que la asignación al centro de esas horas lectivas adicionales pasa por un ineficiente proceso de solicitud manual en el que se deben consignar los módulos y horas adicionales que se solicita desdoblar, así como el número de estudiantes matriculados en cada uno de ellos.
A medida que el conocimiento que tenemos de un problema es menor, la cantidad de información que debemos manejar en la toma de decisiones aumenta y el tiempo del que disponemos para hacerlo se reduce, el riesgo de cometer un error grave al utilizar estos asistentes inteligentes es mayor. ¿Estamos dispuestos a asumirlo?
Estoy seguro de que a lo largo de este artículo habrás sacando tus propias conclusiones. Me encantará leerlas en los comentarios.
