martes, 21 de diciembre de 2010

Ya está disponible la versión 3.2SR1 de Palo BI Suite !!


Este nuevo release trae una nueva demo : "Bikers Best Demo" que se instala automáticamente con el one step setup. Se pueden ver ejemplos de Framesets, Navegación y GEO Widget (con Google Maps y paso de parámetros, en acción. En las nuevas demos vienen ejemplos de las macros (PHP) y su uso. Descargar en http://ow.ly/3szEB 

Adicionalmente pueden generarse "snapshots" XLSX y WSS directamente desde los reportes además de PDF.

martes, 23 de noviembre de 2010

Novedades en el Roadmap BI/DW de Microsoft

Microsoft anunció la semana pasada las novedades que traerá la nueva versión de SQL Server cuya liberación está planificada para fines del 2011.

El nuevo release tiene el nombre "Denali" y viene marcado principalmente por mejoras para el desarrollo de proyectos de Datawarehouse y Business Intelligence.

Motor Columnar

Ya es un hecho que muchos fabricantes de bases de datos están adoptando las tecnologías de base de datos columnares mejor diseñadas para aplicaciones analíticas orientadas más a la consulta que al manejo de transacciones.

Microsoft está haciendo lo suyo con Vertipaq el motor columnar in memory que ya es parte de PowerPivot, el nuevo ad-in de Excel 2010, que ya es capaz de manejar millones de transacciones. Actualmente esta tecnología está muy ligada al libro Excel, de hecho los datos se almacenan como parte de este último, y la única forma de compartirlo es mediante su publicación en Sharepoint. Esto último además le impone una limitande de 2GB al tamaño del archivo.
Aunque puede ser suficiente para compartir dashboards y algunos análisis no lo es para una plataforma más robusta de BI que soporte por ejemplo seguridad a nivel de elementos de sus dimensiones. Por ejemplo para separar los datos de dos áreas/grupos de usuarios para que unos no puedan ver los datos de los otros hay que construir 2 libros lo que obviamente es un problema.

Las buenas noticias son que Vertipaq o el nuevo motor columnar (nombre de proyecto "Apollo") pasará a ser parte del core de SSAS (analysis services) en donde sí habrá manejo de grandes volúmenes y seguridad.

Nuevo Modelo Semántico


Algo que también hacía falta es un modelo unificado para SSRS y SSAS (reporting services y análisis services). Este modelo unificado será el BISM el cual contendrá el modelo semántico (futuro) para SSRS y SSAS. Con esto habrá un solo modelo para reportes sobre fuentes relacionales (tablas) y multidimensionales no obligando a quienes solo deseen emitir reportes a general un modelo dimensional.

Lo anterior no significa que el UDM sea dejado de lado (al menos no por bastante tiempo más). Ambos modelos coexistirán. El BISM incorpora a DAX a Analysis Services, lenguaje de consulta y expresiones que hoy utiliza PowerPivot, lo que hará que los modelos puedan ser accedidos mediante un lenguaje más simple para los usuarios. DAX podrá consultar modelos dimensionales y relacionales así como tablas no relacionadas entre sí y permitirá construir consultas de forma más intuitiva.

Excel


Excel continuará siendo el cliente BI por excelencia y soportará tanto UDM como BISM.

Crescent


Es el nombre del proyecto de una nueva herramienta de reportes ad hoc y de visualización que promete ser más interactiva, visual y moderna.

Reporting Services

Adicionalmente a todas las mejoras en los gráficos gracias a la compra de tecnología de Dundas, debería consultar de forma nativa mediante MDX al BISM y probablemente también mediante DAX aunque habrá que esperar a que Microsoft aclare un poco más el roadmap.


Tal como podemos observar, el mercado de plataformas BI, será cada día más entretenido y competitivo.



miércoles, 27 de octubre de 2010

Palo BI Suite 3.2 Ad portas

En solo unos días más, el 31 de octubre de 2010, será liberada la versión 3.2 de Palo Bi Suite. Entre las características nuevas están:

- Publicación desde Excel de los reportes a la web y lectura desde Excel de los reportes publicados en el server
- Instalador unificado (instala plug-in Excel, server y web, etl)
- Mayor personalización de la interfaz web de las aplicaciones
- Incremento de la performance del motor olap

Adicionalmente junto con este release sería liberada la versión que hace uso de GPUs (procesadores gráficos de video) para acelerar las operaciones de cálculo. Esta versión especial de Palo Olap es el Palo Olap Accellerator. Esta es una de las características que personalmente más espero a tener disponible ya que abre un mundo de posiblidades para los planificadores.

El uso de GPUs permite que estaciones de trabajo y servidores de bajo costo utilicen la capacidad de multiproceso paralelo de estos procesadores especializados logrando un poder de procesamiento que no estaba al alcance (al menos a un bajo costo) para los usuarios de negocio.

Imaginen a un planificador en el departamento de RRHH de una empresa simular distintos escenarios de sueldos, compensación, bonos,etc para miles de trabajadores y tener la respuesta en segundos. En el caso del retail fijar metas diarias de venta no solo a nivel de categorías sino de SKUs, simular escenarios de cambio de precios, costos,etc. O prorratear costos de marketing o administrativos a nivel de producto en cada punto de venta.

Sin duda el 3.2 será un release que nos traerá bastantes novedades

lunes, 18 de octubre de 2010

Publicación de reportes desde Excel a Palo Web

Una de las nuevas funcionalidades que estarán disponibles en Palo BI Suite 3.2 es la publicación directa de reportes desde Excel a Web y su posterior recuperación y ejecución desde el server por parte de los usuarios que utilicen Excell como interfaz.

He aquí un video demostrando esta útil característica.

lunes, 2 de agosto de 2010

QlikView: una herramienta más del arsenal

Me parece interesante comentar y transcribir una discusión reciente en un blog de especialistas en QlikView. El tema era el por qué es necesario modelar y construir un Datawarehouse y no sólo construir toda la aplicación de apoyo a la toma de decisiones utilizando sólo la herramienta QlikView, tal como lo promueve  el marketing de dicha compañía.

La verdad es que en la mayoría de las empresas no se encuentran las condiciones ideales para que los datos sean utilizados directamente por las aplicaciones analíticas. Es común apreciar problemas de calidad de datos, codificación y/o clasificación de productos o clientes que no concuerdan entre los distintos sistemas, necesidad de transformaciones de los datos, etc.

Para quienes deseen revisar la discusión original pueden verla en este enlace. A continuación menciono lo más relevante:

1.- La gente de marketing de QlikView al parecer siempre olvida que para lograr esa bella forma de visualización  y análisis SE REQUIERE de un datawarehouse con diseño sólido y bien construido. Los datos, la mayoría de las veces, no se encuentran disponibles de la forma ideal que muestran las demos.

2.- Usted podrá construir aplicaciones bien integradas con QlikView pero cuando se trata de metadata, mantenimiento, integración desde múltiples fuentes, data lineage, manejo de la historia, se queda corto. Es una excelente herramienta pero debería ser utilizada como un front-end y no como un reemplazo al datawarehouse.

3.-  Los datos deberían ser almacenados en un formato neutral respecto del vendedor y de una forma tan abierta como sea posible.

4.- Los datos deben estar disponibles para que sean trabajados por otras herramientas con funcionalidades que requieran los usuarios.

5.- QV replica el efecto Excel. Datos proliferenado en distintos recipientes

6.- Se generan múltiples fuentes de la verdad, algo que debe evitarse en una buena implementación. También terminan generándose Data Marts no integrados unos con otros favoreciendo las múltiples verdades.

7.- Deben considerarse las regulaciones extremas sobre privacidad en gobiernos que piden a gritos datamanagement y arquitecturas sofisticadas que acompañen sus datos y solución de BI.
 8.- Carencias de control y administración de Metadata. Un pilar sobre el cual cualquier arquitectura de administración debe estar construida.
9.- En a realidad muchas y especialmente las grandes empresas NUNCA permiten el acceso directo a los sistemas transaccionales lo cual es correcto por lo que se hace necesario construir un datastore y refrescarlo de forma periódica. En la medida que aumenten los datos llegará a ser un reto a la arquitectura  del repositorio.

Lo cierto es que QlikView, independientemente de lo innovador de su tecnología y de que no se trata tan solo de un visualizador sino que además posee un poderoso motor que correlaciona la información “in-memory”, es sólo un arma más del arsenal de herramientas que pueden utilizarse para sacar provecho a los datos contenidos en el datawarehouse corporativo.

Es interesante el hecho de que el mensaje de marketing haya sido tan atractivo para los usuarios finales y muchos gerentes de sistemas. El mensaje es no se complique diseñando y construyendo sus datamarts, datawarehouse ni cubos. No gaste tiempo valioso en estas actividades y dé poder a los usuarios finales y construya sus aplicaciones directamente conectadas a sus fuentes de datos. Obviamente aún existe una deuda con los usuarios finales tanto en facilidades de uso de las herramientas BI y capacidades de autoservicio que obtengan como resultado menores tiempos de implementación y mayor satisfacción.

No concuerdo con que sea más demoroso hacer un cubo que una bd in-memory para QlikView. Un ejemplo es Cognos PowerPlay desde sus antiguas versiones. Bastaba indicar los datos fuentes ya sea en archivos planos o tablas de una BD y el wizard de su módulo Transformer diseñaba las dimensiones, jerarquías y con otro click se cargaba el cubo y se visualizaba . ¡Cubos instantáneos más rápido que con QlikView y sin lenguajes propietarios de extracción!.

Los usuarios desean construir sus propios análisis y tener la facilidad de integrar sus datos externos. No desean esperar meses para que sus análisis estén disponibles. Estas aspiraciones las están tratando de satisfacer también empresas como Microsoft con PowerPivot y MS SQL Server 2008 R2 en donde se mezcla el autoservicio de los usuarios finales con la administración de los profesionales de TI.

Lamentablemente los sistemas de decisión no son solo cubos como los de Cognos PowerPlay o bases de datos in-memory como la de QlikView. Necesitamos datos limpios, estandarizados, accesibles en formatos abiertos por las distintas herramientas de software. Necesitamos además la “fuente única de la verdad” la cual no puede estar toda contenida en un solo cubo de PowerPlay o una base de datos de QlikView.

viernes, 2 de julio de 2010

Nueva Demo de Palo Web

Para quienes estén interesados en ver cómo se vé Palo en la web he aquí el enlace:

Ir a Palo Web Demo

Que lo disfruten!

miércoles, 30 de junio de 2010

Pivot Tables y Palo Olap


Para quienes gusten de trabajar con las tablas pivote de Excel hay una muy buena noticia. Con el Palo ODBO provider es posible conectarse a los cubos de Palo desde Excel 2003, 2007 o 2010. Lo anterior es relevante sobre todo para usuarios que ya estaban acostumbrados a trabajar con esta útil herramienta de Excel.

Antes de poder acceder un cubo con el ODBO provider, debemos indicar en el Modeller cuáles serán las dimensiones de Tiempo y la que contendrá las métricas ya que en un cubo estándar de Palo estas no requieren de una diferenciación especial.


Las reglas que deberemos respetar son:

1.- En cada cubo que se desee acceder debe existir una dimension llamada "Measures"
2.- Cada dimensión deberá tener solo 1 elemento de nivel superior. El equivalente a "All".
3.- Las jerarquías paralelas de Palo no serán permitidas. Para cada elemento un único padre es permitido.

Un detalle importante al trabajar con MDX es el cambio de la estructura de la dimensión de Tiempo. En un cubo tradicional de Palo comúnmente usamos
una dimension que contiene los elementos de los años, por ej.: 2009,2010,2011 y otra que contiene los meses de Enero a Diciembre, así el cruce de ambas nos proporciona el contexto de tiempo que estamos visualizando.

Para ajustarse a MDX ,y trabajar correctamente, el ODBO provider de Palo requiere que la dimensión de tiempo contenga todos los elementos de tiempo. La dimensión quedaría de la siguiente forma: 2009_H1_Q1_M12_W4_D1 donde

H: será mitad del año
Q: será trimestre
M: será mes
W: será semana
D: será el día

o
Año hasta Mes Año hasta Día

Si bien es cierto que Palo no requiere de este tipo de dimensiones, es necesario que la ocupemos si vamos a acceder nuestro cubo con MDX. Los prefijos pueden ser distintos pero lo importante es que nos den información sobre en qué nivel estamos posicionados.

Los niveles son opcionales siendo válido por ejemplo tener 2009_D1 (año-día) o la estructura completa.