ChatGPT es un modelo de lenguaje a gran escala desarrollado por OpenAI. Fue entrenado utilizando un conjunto masivo de datos y textos disponibles en Internet para aprender a generar texto conversacional en varios idiomas. Está programado utilizando una arquitectura de red neuronal conocida como «Transformer», que permite procesar grandes cantidades de información de texto de manera eficiente.

La tecnología «Transformer» es similar al algoritmo del coeficiente de coseno. Ambos buscan medir la similitud entre dos vectores. En el caso del algoritmo de atención de ChatGPT, se emplea para medir la similitud entre el vector del token actual y cada uno de los vectores de la secuencia de entrada, generando una matriz de atención.

En el contexto de un modelo de lenguaje como ChatGPT, el token de entrada se refiere al texto o conjunto de palabras que se proporciona como entrada al modelo. El modelo utiliza esta entrada para generar una respuesta o una continuación del texto. En cuanto al token actual, se refiere a una unidad de procesamiento o una palabra específica dentro del conjunto de tokens de entrada, el modelo procesa uno a uno estos tokens para generar una respuesta coherente. En términos generales, el token actual se refiere a la palabra o conjunto de palabras que el modelo esta procesando en un momento dado mientras genera una respuesta, mientras que el token de entrada se refiere al conjunto de palabras o texto que se proporciona como entrada al modelo.

Posteriormente, se aplica una función softmax a cada elemento de la matriz para obtener una distribución de atención, esta distribución se utiliza para ponderar los elementos de la matriz de valor. El algoritmo del coeficiente de coseno también se utiliza para medir la similitud entre dos vectores. En específico, se calcula el coseno del ángulo entre dos vectores, y este valor es utilizado como una medida de similitud.

Por ejemplo si se toma la siguiente entrada: «El perro corre en el parque»; La entrada es ingresada en una capa de embedding, donde cada token es convertido en un vector numérico. Cada uno de estos vectores representa una característica semántica del token. Los vectores de embedding son ingresados en una capa de atención, donde se analizan las relaciones entre los tokens. Por ejemplo, se puede determinar que «perro» y «corre» están relacionados y que «parque» es el lugar donde sucede la acción. La representación vectorial generada en la capa de atención es ingresada en una capa de codificación, donde se aplican operaciones adicionales para analizar el texto y generar una representación más detallada. Por ejemplo, se puede determinar que la acción de «correr» es realizada por el sujeto «perro» en un lugar específico «parque». La representación generada en la capa de codificación es utilizada por la capa de decodificación para generar una respuesta coherente y natural. Por ejemplo, se puede generar la respuesta «El perro está corriendo en el parque».

Los vectores de embedding se generan mediante un proceso de entrenamiento automático en el cual se proporciona al algoritmo un gran conjunto de datos de texto y se entrena para aprender a asociar cada token con un vector numérico. Estos vectores son entonces utilizados como entrada para el modelo de procesamiento del lenguaje natural. Los vectores de embedding tienen varias propiedades interesantes, como similaridad semántica, es decir, palabras similares tendrán vectores similares, lo que permite que el modelo tenga una comprensión semántica del lenguaje y sea capaz de realizar tareas como la clasificación de texto, generación de texto, traducción automática, entre otras.

Una fórmula matemática aproximada y simplificada, del algoritmo de atención de chatGPT es la siguiente:

atten = softmax(Q * K^T / sqrt(d_k)) * V

Donde:

• Q es la matriz de consulta, que representa el token actual que se está procesando
• K es la matriz de clave, que representa cada token en la secuencia de entrada
• V es la matriz de valor, que representa el significado de cada token
• d_k es la dimensión de los vectores de clave

La función softmax es utilizada para calcular una distribución de atención, es decir, un conjunto de pesos que indica cuánto se debe prestar atención a cada token en la secuencia de entrada, esto es una distribución de probabilidad. La multiplicación de la matriz de valor con la distribución de atención es lo que permite generar un vector de atención, que representa la importancia de cada token en la secuencia de entrada para el token actual.

Qué puede hacer ChatGPT

Generar textos, completar frases, responder a preguntas de acuerdo a su base de conocimiento, realizar resúmenes, clasificar textos, realizar traducciones, generar códigos y por lo tanto programar. Todas estas capacidades se pueden adaptar a cualquier entorno y contexto, lo que le permite automatizar muchas tareas que el profesional de la información realizaría habitualmente. Por ejemplo, la indización y resumen, la catalogación, la clasificación de contenidos, el desarrollo de lenguajes documentales, tesauros, ontologías, curación de contenidos, publicaciones y artículos. Y además, también puede desarrollar servicios complejos como la recuperación de información, el servicio de información y referencia, recopilación de recursos, casi cualquier tarea que se circunscriba al entorno de Internet. De hecho, si se le pregunta a ChatGPT, sobre las tareas y servicios puede llevar a cabo en el contexto de la Biblioteconomía y Documentación la respuesta es contundente y sorprendente…

En el contexto de la Biblioteca especializada y universitaria…

Búsqueda y recuperación de recursos: ayudar a los usuarios a encontrar recursos relevantes en la biblioteca especializada o en bases de datos de información; Asesoramiento en investigación: proporcionar asesoramiento a los investigadores sobre cómo encontrar y utilizar recursos relevantes para sus proyectos de investigación; Interacción con el catálogo: ayudar a los usuarios a buscar y reservar materiales en el catálogo de la biblioteca especializada; Información sobre servicios: proporcionar información sobre los servicios disponibles en la biblioteca especializada, como préstamo de materiales, acceso a bases de datos, etc; Acceso remoto: permitir a los usuarios acceder a los recursos de la biblioteca especializada a través de una interfaz de chatbot; Automatización de tareas administrativas: llevar a cabo tareas administrativas, como el seguimiento de préstamos, la gestión de reservas, etc.; Anotaciones y recomendaciones: permitir a los usuarios anotar y recomendar recursos en la biblioteca especializada; Generación de estadísticas: generar estadísticas sobre el uso de los recursos de la biblioteca especializada; Búsqueda avanzada: proporcionar opciones de búsqueda avanzada para ayudar a los usuarios a encontrar información más precisa y relevante; Integración con otras herramientas: integrarse con otras herramientas de la biblioteca especializada y universidad, como el sistema de gestión de bibliotecas y las plataformas de publicación científica; Accesibilidad: proporcionar acceso a recursos en diferentes formatos para personas con discapacidades; Personalización: personalizar la experiencia del usuario en función de sus preferencias y historial de uso; Análisis de datos: analizar los datos del uso de los recursos de la biblioteca especializada para mejorar la experiencia del usuario y tomar decisiones informadas sobre el suministro de recursos; Interacción en tiempo real: proporcionar una respuesta en tiempo real a las preguntas y consultas de los usuarios; Servicios de indexación y metadatos: proporcionar servicios de indexación y metadatos para describir y organizar los recursos de la biblioteca especializada; Servicios de repositorio: proporcionar servicios de repositorio para almacenar y compartir datos y recursos científicos; Servicios de edición y corrección: proporcionar servicios de edición y corrección para asegurar que los recursos de la biblioteca especializada cumplen con las normas y estilos de la biblioteca y universidad; Servicios de archivo y conservación: proporcionar servicios de archivo y conservación para preservar los recursos importantes de la biblioteca especializada; Servicios de formación: proporcionar formación a los usuarios sobre cómo utilizar los recursos y servicios de la biblioteca especializada; Servicios de traducción: proporcionar servicios de traducción para recursos en diferentes idiomas; Servicios de documentación: proporcionar servicios de documentación, como el registro de las publicaciones de la biblioteca especializada y la elaboración de informes.

En el contexto de la Documentación en la empresa…

Búsqueda y recuperación de documentos: ayudar a los empleados a encontrar documentos relevantes en el sistema de gestión de documentos de la empresa; Clasificación y organización de documentos: ayudar a los empleados a clasificar y organizar los documentos de la empresa de manera eficiente; Creación y edición de documentos: ayudar a los empleados a crear y editar documentos de forma rápida y sencilla; Validación y aprobación de documentos: ayudar a los empleados a validar y aprobar documentos de acuerdo con las políticas y procedimientos de la empresa; Acceso remoto a documentos: permitir a los empleados acceder a los documentos de la empresa desde cualquier lugar y dispositivo a través de una interfaz de chatbot; Automatización de tareas administrativas: llevar a cabo tareas administrativas, como la gestión de permisos de acceso a documentos y la gestión de versiones de documentos; Integración con otras herramientas: integrarse con otras herramientas de la empresa, como el correo electrónico, el calendario y las aplicaciones de gestión de proyectos para mejorar la eficiencia y la colaboración; Anotaciones y comentarios en documentos: permitir a los empleados añadir anotaciones y comentarios a los documentos para facilitar la colaboración y la revisión de los mismos; Generación de informes: generar informes sobre el uso de los documentos de la empresa y los usuarios activos; Seguridad de la información: garantizar la seguridad de los documentos de la empresa mediante medidas de seguridad como el cifrado y la autenticación de usuarios; Servicios de traducción: proporcionar servicios de traducción para documentos en diferentes idiomas; Servicios de edición y corrección: proporcionar servicios de edición y corrección para asegurar que los documentos cumplen con las normas y estilos de la empresa; Servicios de archivo y conservación: proporcionar servicios de archivo y conservación para preservar los documentos importantes de la empresa; Servicios de formación: proporcionar formación a los empleados sobre cómo utilizar los recursos y servicios de documentación de la empresa.

ChatGPT a prueba

Como las potencialidades de ChatGPT son enormes, decidimos ponerlo a prueba realizando tareas complejas que requerirían de un especialista en Documentación para su ejecución. Son las siguientes: 1) Prueba de clasificación CDU; 2) Prueba de elaboración de un Tesauro; 3) Prueba de programación de un software de clasificación automática; 4) Prueba de búsqueda y recuperación de información.

1. Prueba de clasificación CDU – prueba1-chatgpt-cdu PDF

La prueba de clasificación ha sido muy sorprendente. Pues se plantearon temas de clasificación complejos como «nanopartículas para la neuroestimulación cerebral, para el tratamiento de enfermedades como el Alzheimer«, o bien «Desarrollo de robots conversacionales usando procesamiento del lenguaje natural y algoritmos de reducción y representación del espacio vectorial, así como de cálculo de coeficiente de similaridad o coeficiente del coseno«. Y fueron razonablemente bien resueltas. Esto demuestra, que el bot es capaz de interpretar correctamente el sentido de lo que se pregunta, que incorpora distintas clasificaciones decimales y que es capaz de deducir cuál es la respuesta más adecuada o correcta para cada contexto, proporcionando un número de clasificación coherente. Si bien, aún genera algunos errores en el uso de nomenclaturas, parecen bastante fáciles de solucionar, y muestra un potencial de clasificación muy interesante, que reduciría el tiempo que emplearía un documentalista o bibliotecario para realizar la tarea.

2. Prueba de elaboración de un Tesauro – prueba2-chatgpt-tesauro PDF

La prueba de elaboración de un tesauro ha consistido en el planteamiento de un tema cabecera «Urbanismo» en torno al cual, se tiene que elaborar una lista de términos candidatos, con los que poder construir una estructura jerárquica, de acuerdo al grado de especificidad de los mismos. ChatGPT, seleccionó 40 términos candidatos, de acuerdo a su criterio de relevancia y pertinencia. Posteriormente se le pidió que ejecutara su representación jerárquica a tres niveles. Si bien, la selección de términos puede ser discutible, su organización fue correcta, rápida y eficiente. Claramente distingue el grado de especialización de los términos. También es capaz de añadir los indicativos TC, TE, TG, TE1, TE2, así como términos relacionados, añadir otros términos nuevos, anteriormente no referido y por lo tanto editar el resultado con información proporcionada por el usuario, e incluso añadir las traducciones de los términos, para convertirlo en un tesauro multilingüe.

3. Prueba de programación de un software de clasificación automática – prueba3-chatgpt-programa PDF

Una de las posibilidades de ChatGPT es la capacidad para desarrollar programas y escribir códigos en muy diversos lenguajes de programación. En esta ocasión, se propone el desarrollo de un programa de clasificación automática en lenguaje PHP que sea capaz de realizar las consultas SQL en la base de datos MySQL, en donde se encontraría una tabla con la base de conocimiento (estos son los documentos) que serían objeto de clasificación. Si bien al comienzo de la prueba, el bot considera que la tarea es demasiado amplia, y que requiere una mayor concreción, también es verdad que realiza una primera aproximación al código, estableciendo las conexiones a la base de datos, y la estructura condicional básica para iniciar el proyecto de clasificación automática. Posteriormente, para que ChatGPT pueda desarrollar el código, es necesario precisar que se le está evaluando, y que profundice en alguna de las múltiples funciones del programa. En ese caso, comienza a proporcionar códigos más precisos y que encajan en el planteamiento y contexto iniciales. Dicho de otra forma, la programación que desarrolla el bot, requiere de supervisión e instrucciones, que permitan dar las claves del proyecto, por ejemplo, el tipo de algoritmo a utilizar, umbrales, límites, tratamiento de los datos, categorías de clasificación, tipos de clasificación, etc. Una vez se estipulan, ChatGPT puede implementarlas y actualizarlas en el código que ha escrito. Por tanto, se puede decir que es capaz de realizar programas complejos, pero con el guiado adecuado, y en tal caso, requerirá la posterior edición y adaptación del código. No se puede esperar que el código funcione perfectamente en primera instancia. Aún así, es un avance muy importante, que puede ayudar a la productividad y a la creación de sistemas y automatizaciones.

4. Prueba de búsqueda y recuperación de información – prueba4-chatgpt-buscar PDF

Las capacidades de búsqueda y recuperación de información están limitadas a la base de conocimiento preestablecida para su entrenamiento. Esto significa que ChatGPT no está abierto a la Web en tiempo real. Esto supone una limitación a la hora de ofrecer resultados, tal como se aprecia en la prueba. Sin embargo, la versión de pago, también conocida como ChatGPT3 sí es capaz de realizar búsquedas en Google, lo que implica una capacidad fundamental para ofrecer un servicio de información y referencia, inclusive acceder a los catálogos bibliográficos, bases de datos científicas, o cualquier otro recurso de información.

Conclusiones

Se puede concluir, que a pesar de que ChatGPT no es perfecto, y tiene lagunas y carencias sobre todo en su apartado de búsqueda y recuperación de información en Internet, al menos en la versión abierta, presenta capacidades y potencialidades muy notables. La posibilidad de crear tesauros, clasificar, programar, catalogar y realizar muchas de las tareas que realizaría un profesional de la información, lo convierten en una herramienta poderosa si se sabe usar correctamente. También supone una amenaza para las actividades profesionales que venían desempeñando los bibliotecarios, archiveros, documentalistas y profesionales de la información, ya que podría automatizar en un alto porcentaje sus tareas. Esto obliga a reflexionar sobre las funciones, roles y tareas de alto valor añadido que deberían desarrollarse en el contexto de la Documentación, rediseñar y confluir la formación en los entornos adecuados, cada vez más vinculados con las tecnologías de la información, a su desarrollo, a la informática, al desarrollo de proyectos más complejos en los que se requiere una mayor cualificación profesional. De lo contrario se corre el riesgo de que en unos años (no demasiados), este tipo de sistemas, conviertan en parcialmente obsoleto el trabajo que se viene desarrollando. Es por ello, por lo que se debe prestar atención a estos avances y ser capaces de adaptarse al cambio e introducir nuevos contenidos, más coherentes con respecto a las necesidades reales del sector, que se anticipen a los cambios que se van a producir irremediablemente.

Bibliografía relacionada

• Alshater, M. (2022). Exploring the role of artificial intelligence in enhancing academic performance: A case study of ChatGPT. Available at SSRN. https://dx.doi.org/10.2139/ssrn.4312358
• Anders, B. A. (2023). Why ChatGPT is such a big deal for education. C2C Digital Magazine, 1(18), 4. https://scalar.usc.edu/works/c2c-digital-magazine-fall-2022—winter-2023/why-chatgpt-is-bigdeal-education
• Aydın, Ö., & Karaarslan, E. (2022). OpenAI ChatGPT generated literature review: Digital twin in healthcare. Available at SSRN 4308687. https://dx.doi.org/10.2139/ssrn.4308687
• Azaria, A. (2022). ChatGPT Usage and Limitations. http://azariaa.com/Content/Publications/ChatGPT.pdf
• Castelvecchi, D. (2022). Are ChatGPT and AlphaCode going to replace programmers?. Nature. https://doi.org/10.1038/d41586-022-04383-z
• Castillo-Gonzalez, W. (2022). ChatGPT y el futuro de la comunicación científica. Metaverse Basic and Applied Research, 1, 8-8. https://doi.org/10.56294/mr20228
• Cotton, D. R., Cotton, P. A., & Shipway, J. R. (2023). Chatting and Cheating. Ensuring academic integrity in the era of ChatGPT. https://doi.org/10.35542/osf.io/mrz8h
• Deng, J., & Lin, Y. (2022). The Benefits and Challenges of ChatGPT: An Overview. Frontiers in Computing and Intelligent Systems, 2(2), 81-83. https://doi.org/10.54097/fcis.v2i2.4465
• Else, H. (2023). Abstracts written by ChatGPT fool scientists. Nature. https://doi.org/10.1038/d41586-023-00056-7
• Gao, C. A., Howard, F. M., Markov, N. S., Dyer, E. C., Ramesh, S., Luo, Y., & Pearson, A. T. (2022). Comparing scientific abstracts generated by ChatGPT to original abstracts using an artificial intelligence output detector, plagiarism detector, and blinded human reviewers. bioRxiv. https://doi.org/10.1101/2022.12.23.521610
• Gilson, A., Safranek, C., Huang, T., Socrates, V., Chi, L., Taylor, R. A., & Chartash, D. (2022). How Well Does ChatGPT Do When Taking the Medical Licensing Exams? The Implications of Large Language Models for Medical Education and Knowledge Assessment. medRxiv. https://doi.org/10.1101/2022.12.23.22283901
• Shijaku, R., & Canhasi, E. ChatGPT Generated Text Detection. https://www.researchgate.net/profile/Ercan-Canhasi/publication/366898047_ChatGPT_Generated_Text_Detection/links/63b76718097c7832ca932473/ChatGPT-Generated-Text-Detection.pdf
• Stokel-Walker, C. (2022). AI bot ChatGPT writes smart essays-should academics worry?. Nature. https://doi.org/10.1038/d41586-022-04397-7
• Tutek, M. ChatGPT: What can large pretrained language models say about the future? https://www.ieee.hr/_download/repository/ChatGPT__What_can_large_PLMs_say_about_the_future.pdf
• Zhai, X. (2022). ChatGPT user experience: Implications for education. Available at SSRN 4312418. https://dx.doi.org/10.2139/ssrn.4312418