Zahoribo: versión 1.2.0.
Hace varios días he actualizado Zahoribo a la versión 1.2.0., cuyo histórico de novedades puede seguirse a través de esta página.
En esta ocasión dichas novedades vienen de la mano de una actualización del histórico de boletines indexando más años, nueva funcionalidad y algunas correcciones.
Indexadas más de 1.200.000 páginas nuevas
Se han añadido aproximadamente 1.200.000 páginas nuevas correspondientes a los años 2006,2007,2008 y 2009 de los boletines principales del buscador: BOE, BORME, DOE y boletines provinciales de Cáceres y Badajoz. Se puede hacer un seguimiento del contenido indexado a través del calendario de la aplicación.
Problemas en la sala de máquinas
Aunque desde el punto de vista técnico queda pendiente escribir un artículo más amplio sobre como está organizado el buscador, en esta ocasión diré que la actualización de contenidos ha supuesto un nuevo reto porque el índice del servidor en el que se ha realizado la operación había llegado a uno de sus límites. Al intentar indexar el contenido se generaba el siguiente error:
too many string attributes (current index format allows up to 4 GB).
Antes de añadir este 1,2 millones de páginas el índice estaba dividido en 4 partes. Tras el error, he tenido que dividirlo en 5, para que el tamaño de cada índice estuviera por debajo de esos 4 GB. Es una solución temporal hasta que reorganice el servidor y la configuración del motor de búsqueda.
Métricas
En el momento de indexar este contenido, la noche del 26 al 27 de Julio, teníamos los siguientes datos:
- servidor 1: 1.119.507 páginas dividas en dos índices. Dichos índices ocupan un total de 6,2 GB y el tiempo de indexado son aproximadamente 20 minutos. Este servidor tiene 2 cores, 4 GB de memoria RAM y disco SSD.
- servidor 2: 4.593.410 páginas divididas en cinco índices. Dichos índices ocupan un total de 34 GB y el tiempo de indexado son aproximadamente 115 minutos. Este servidor tiene 4 cores, 8 GB de RAM y disco SSD.
La base de datos completa ocupa 17 GB.
Listado de plenos de ayuntamientos
Para tener una visión global del contenido que hay indexado por cada ayuntamiento he añadido en la vista del calendario unos enlaces sobre el nombre de las poblaciones que te llevan a una pantalla con el listado de documentos, plenos…etc., correspondiente a cada consistorio.
Otras mejoras y correcciones
He intentado hacer más simpática la pantalla para cuando la plataforma está en modo mantenimiento quedando de la siguiente manera:
Antes esta página era un texto sin apenas formato y sin personalidad ninguna. Ahora creo que queda mucho mejor.
Además, he solucionado un error relacionado con el contenido que se mostraba al hacer clic en los enlaces de los correos electrónicos enviados en las alertas. Antes se mostraba el contenido correcto de la alerta…y otros resultados correspondientes a otras fechas, lo cual generaba mucho ruido. Ahora únicamente se muestran únicamente los resultados de la alerta quedando mucho más limpio y productivo.
Y hasta aquí las mejoras más importantes de esta versión 1.2.0 de Zahoribo. Cualquier comentario, duda, sugerencia o corrección será bienvenido.
¡Chimpún!
