El viernes 5 de junio de 2015, finalizó el ciclo de conferencias sobre Tecnologías de la Documentación en la Facultad de Ciencias Sociales y Humanidades de la Universidade Nova de Lisboa. Durante los días que aconteció, se presentaron las últimas novedades en cuanto a desarrollo de aplicaciones y distribuciones documentales, desarrollo de webcrawlers, buscadores y finalmente el primer contacto con el sistema AXYZnews de agregación de canales de sindicación y vigilancia informacional.
Desarrollo de programas webcrawler y buscadores: Mbot y WauSearch
Todas estas características ya eran conocidas y pueden ser consultadas en detalle en la página oficial de Mbot. Sí resulta inédito el funcionamiento del buscador WauSearch (página oficial de WauSearch), en el que se explica el proceso de transformación de las consultas de los usuarios en un modelo de consulta final que es enviada a los buscadores Google, Bing y Yahoo, para obtener una lista de resultados que será procesada a continuación. Esto significa que WauSearch es capaz de descargar automáticamente las páginas de resultados de los principales buscadores y generar una semilla «seed» que será rastreada por el webcrawler, analizando en profundidad dichos resultados y obteniendo otros nuevos. Todo ello supone un hack o puerta trasera, que WauSearch está utilizando para dirigir el análisis del webcrawler, evitando grandes costes e infraestructuras, que serían imposibles de asumir.
Este proceso de adición de resultados, logra proporcionar información que los buscadores no habían incorporado, complementando sus resultados originales, con los que genera el webcrawler Mbot. De esta forma el usuario de WauSearch obtiene información original de Google, Bing, Yahoo y Mbot, sin repeticiones y con un método de ordenación o ranking de resultados propio. Por estos motivos WauSearch se convierte en una plataforma de pruebas que trata de aprender de la experiencia del usuario en las búsquedas, que permite modificar los algoritmos de ordenación de resultados, el método de rastreo del webcrawler, el interfaz y representación de la información, todo ello bajo el control del investigador.
AMPdoc 2.0 Ecosistema de aplicaciones documentales
AXYZnews. Sistema de vigilancia informacional
Estos motivos, entre otros muchos que se explican en el prezi de la presentación, me han involucrado necesariamente en el desarrollo de una investigación que tiene una misión social, democrática, científica y tecnológica. Se trata de crear un sistema de agregación de contenidos que pueda ser utilizado en España a pesar de la nueva Ley de Propiedad Intelectual. Se trata de un software diseñado para la investigación de los medios de comunicación, de sus publicaciones, contenidos y el seguimiento y vigilancia de la información a partir de diversos métodos de monitorización y filtrado. Su diseño incorpora módulos de configuración, estado/mantenimiento, estadísticas, importación de canales de sindicación, edición de canales de sindicación, monitorización del procesamiento, edición de filtros, portada de contenidos, tiempo real de información, contenidos filtrados, buscador, mapa interactivo de contenidos, bloc de contenidos y noticias guardadas. Por otra parte, se explicó el funcionamiento de los núcleos de procesamiento continuo de de datos. Estos núcleos, permiten a AXYZnews recuperar todas las noticias y contenidos de los canales de sindicación, de forma permanente, sin duplicidades, de forma eficiente y eficaz.
Aunque AXYZnews se ha demorado en el tiempo, por fin ha sido finalizado en una primera versión plenamente funcional. El siguiente paso será su puesta a disposición de la comunidad académica, científica y de la sociedad para que puedan aprovechar todas las ventajas y capacidades que brinda este sistema. En este sentido, en breve se expondrán las distintas versiones de AXYZnews. Es muy probable que exista una versión en blanco (sin contenidos), un AXYZnews con los medios de comunicación de Portugal, otro específico para los medios de comunicación de España, Estados Unidos, Alemania, Reino Unido, Francia, México y Brasil. No obstante, es muy probable que se añadan nuevas versiones especializadas en Biblioteconomía y Documentación y distintos sectores de la Medicina. En cuanto a la fecha de lanzamiento definitiva, se tiene previsto hacer coincidir con la presentación definitiva de AXYZnews en España. Por tanto en el mes de septiembre con toda probabilidad tenga lugar el lanzamiento como software de código abierto, Open Source. Desde mblazquez.es se seguirá informando de las novedades que van a ir sucediéndose en las próximas semanas.