Jedox AIssisted Planning para Series de Tiempo

 A continuación un video demostrando la facilidad con la que se puede efectuar una predicción de ventas/demanda utilizando series de tiempo. El asistente de Series de Tiempo es uno de los cuatro disponibles actualmente. Los otros son los de Predicción Basada en Drivers, Preparación de Datos y Selección de Drivers.

Preparación de Datos Para Forecasting con Jedox AIssisted Planning

El sueño de un usuario de negocio enfrentado a una herramienta de machine learning para efectuar sus proyecciones, es que una vez entregados los datos obtenga resultados inmediatos.

Al querer obtener una predicción de la posible demanda de sus productos por parte de sus clientes, un usuario de negocios podría verse tentado a simplemente alimentar de datos al algoritmo predictivo. Craso error.

Una de las principales consideraciones que debemos tener en cuenta antes de poder efectuar una predicción, es la calidad de los datos históricos que se utilizarán para la selección y entrenamiento de los algoritmos. Sin datos de calidad el resultado será malo resultando simplemente en un desperdicio de tiempo y recursos.

La preparación de datos es una parte fundamental pero también puede resultar compleja para un usuario de negocios no familiarizado con herramientas y algoritmos de machine learning.

• Separar en Segmentos
• Detectar anomalías (outliers) en las series de tiempo
• Suavizar los datos
• Extrapolar/Interpolar valores en donde estos no existan en la fuente 

Todo lo anterior puede resultar complejo, sobre todo si se hace sin las herramientas adecuadas, pero aquí es donde hace su aparición el asistente de Jedox AIssisted Planning.

Separar en Segmentos

Cuando vemos las ventas mensuales de todos nuestros clientes, a un nivel agregado las series tienden a verse regulares pero no será lo mismo cuando ahondamos en los niveles jerárquicos de los datos según su clasificación.

Si deseamos analizar las ventas de nuestros clientes, será útil segmentarlos por la cantidad de observaciones disponibles (6, 12, 24, 36, más), frecuencia de compra (todos los meses, algunos meses, esporádicamente), volumen de compra. Por ejemplo no tiene sentido, ni para la preparación como para la predicción, agrupar a clientes que solo tienen 6 meses de compras junto a los que tienen 36 meses. También es conveniente eliminar a todos los que tengan pocas o ninguna observación (en este caso venta mensual).

El asistente de Jedox solicita tener al menos 36 meses (observaciones) para producir un pronóstico confiable.

En la etapa de preparación de los datos, la segmentación es útil para detectar de mejor forma las anomalías, discriminar cuándo un valor es realmente anómalo, por que escapa a la tendencia o cuando un valor efectivamente debe ser cero. Esa venta extraordinaria en un mes del año, ¿se repite todos los años o es una excepción? ¿Cómo trataremos los datos de clientes que no compran todos los meses vs los que exhiben un comportamiento regular? ¿Debe interpolarse un valor o permanecer en cero? 

Una buena segmentación posteriormente nos servirá tanto para una mejor detección de anomalías como para seleccionar el mejor algoritmo predictivo para un determinado grupo de clientes.

Data Preparation Wizard de Jedox AIssisted Planning

Para facilitar el trabajo al usuario de negocios, Wizard de AIssisted Planning de Jedox agrega automáticamente los escenarios “Outlier”, “Interpolation”, “Extrapolation” y “Prediction” al cubo de datos seleccionado por el usuario. Los resultados son almacenados transparentemente para el usuario en los distintos escenarios sin necesidad de que el usuario se preocupe de exportar e importar datos. Un beneficio adicional es que Jedox permite que se entreguen datos a nivel agregado y que los resultados se distribuyan hacia los niveles inferiores ponderando los valores históricos de ventas por ejemplo para una categoría de clientes en los casos en que no se desea procesar cliente a cliente los datos.

Así si se selecciona “OnlyNodes” se está indicando que queremos proyectar la serie de datos agregados. Si seleccionamos “onlyBases” le estamos indicando que queremos que lo haga para todo los elementos base de la jerarquía. En el ejemplo si la dimensión “Customer” tiene mil elementos, el asistente hará la preparación para cada uno de los mil clientes.

Detección de Outliers e Interpolaciones

Como mencioné anteriormente, para obtener una buena predicción es indispensable tener datos históricos de buena calidad. También es necesario decidir si algunos valores faltantes deben ser reemplazados o “suavizados” para que no alteren la predicción.

En el cuadro anterior se aprecian peaks en las ventas que podrían ser excepciones y no necesariamente obedecen a un comportamiento habitual de compras del cliente.

Para detectar esos outliers y obtener sugerencias de reemplazo del dato, Jedox AIssisted Planning nos provee un asistente de preparación de datos con varios algoritmos de detección, el cual además nos permite generar los valores a ser interpolados o extrapolados en caso de ser necesario.

El asistente nos muestra gráficamente los datos fuente en el escenario “Actual” y nos permite reemplazar los valores utilizando los que están en la columna “Outlier” o “Interpolation”. Como mencioné en el artículo anterior aquí es donde el conocimiento del negocio por parte del usuario cobra importancia. La ausencia de ventas puede deberse a que falta el dato o a que realmente no se vendió y si no se vendió esto quizás fue una excepción en este cliente.

Ya obtenidos los “outliers” e interpolaciones podemos decidir si reemplazamos los valores de nuestro escenario “Actual Adj.” por las sugerencias del wizard.

Una vez preparados los datos ya estamos listos para realizar nuestro pronóstico pero eso es tema de un siguiente post.

Inteligencia Artificial para la Planificación Financiera y Comercial

 Hoy en día las empresas y muchos usuarios de negocio están escuchando sobre las oportunidades que ofrece la Ciencia de Datos (Data Science) y quienes la dominan, los Data Scientists o Científicos de Datos. Al fin el avance de la tecnología, la capacidad y el poder de los sistemas de computación hacen posible lo que hace algunos años era difícil de lograr: procesar grandes volúmenes de datos y exprimirlos hasta sacar información valiosa para el negocio.

Si bien es cierto que ahora es posible extraer información de los datos existentes en la empresa y mejorarlos con datos de fuentes externas los usuarios de negocio se enfrentan obstáculos tales como la ausencia de un científico de datos en las filas de su organización, lo complejas que se ven las múltiples plataformas disponibles en el mercado y la idea de que todo es “Big Data”. Esta última idea ha hecho que muchas organizaciones se hayan enfrentado a proyectos que consideran plataformas complejas de difícil y costosa implementación en tiempo y recursos que terminan manejando lo mismos datos estructurados que manejaban antes.

Para un usuario de negocios pensar en big data o en tener un científico de datos al interior de su equipo hace que el deseo de contar con los beneficios de la ciencia de datos se vea lejano.

No todo es Big

En primer lugar debemos aclarar que no todo se trata de “big data”. Más importante es “good data” y “right data”. No es más importante tener un gran volumen de datos a disposición que el tener los datos correctos y de buena calidad. Por ejemplo, si deseo hacer un pronóstico de la demanda de mis productos para un cliente o grupo de clientes basándome en su historia de compras de los últimos 36 meses no necesito una gran cantidad de datos sino más bien necesito que los mismos sean los apropiados y que no contengan errores u omisiones. Tampoco necesitaré Hadoop, Spark, etc. Podemos tener un gran volumen de información pero no necesariamente necesitaremos una plataforma compleja para manejarla.

¿Y qué hay del Científico de Datos?

 Junto con el desarrollo de software, implementación de algoritmos predictivos y la aparición de plataformas de machine learning algunas empresas han desarrollado asistentes o “wizards” potenciados por Inteligencia Artificial. La dificultad asociada a la elección del mejor algoritmo para predecir valores a partir de una serie histórica o determinar qué factores tienen un impacto en el rendimiento futuro de un producto o identificar anomalías en los datos ya no es tal, y aún más, no es obligatoria la presencia de un científico de datos al interior de la organización.

Los “wizards” o asistentes son capaces de evaluar nuestros datos, detectar anomalías, sugerir correcciones y como si esto fuese poco seleccionar qué algoritmo predictivo se ajusta mejor a estos. Trabajo de muchas horas e incluso días pueden ser drásticamente reducidos a un par de horas y, en algunas ocasiones, solo minutos.

¿Qué continúa siendo importante?

Para obtener el máximo de provecho para nuestro negocio de la ciencia de datos y de estos asistentes que casi nos parecen mágicos lo importante es conocer el negocio.

¿Cómo se comportan nuestros productos o clientes? ¿Cuál es la frecuencia de sus compras?, ¿es un cliente ocasional o frecuente? Lo mismo es cierto para nuestros productos. Un analista de negocio que conoce bien su negocio sabe cuándo un dato se debe a una anomalía y no es parte del comportamiento habitual de su producto/cliente. ¿Se trató de una venta o compra única?, ¿es así cómo se comporta su producto, cliente o segmento de los mismos?

Todo lo anterior es crucial para una actividad de suma importancia: preparar los datos. Para obtener una buena predicción es indispensable disponer de los datos correctos y no necesariamente de todos los datos disponibles. Es aquí donde el conocedor del negocio es importante. No se trata solo de procesar y predecir números. Hay que conocer el contexto.

Definir el nivel de granularidad al cual se efectuará el pronóstico también requiere de conocimiento. Mientras las series de datos aparecen regulares a nivel agregado a medida de que ahondamos en el nivel de detalle estas se pueden tornar irregulares y terminar siendo de poco o ningún valor para la predicción. No es lo mismo pronosticar las compras de todos los clientes, de un segmento de ellos o de uno en particular. Determinar hasta qué punto los datos pueden ser valiosos es tarea del analista del negocio.

En la preparación de datos el analista se ve enfrentado a la tarea de eliminar los datos anómalos (“outliers”). El asistente con inteligencia artificial puede mostrarle las anomalías e incluso sugerirle los valores necesarios para mejorar los datos que serán valiosos para la predicción pero es responsabilidad del analista decidir cuándo reemplazarlos.

Finalmente testear y validar. Ejecutar varias veces el proceso predictivo, ver cómo se ven los datos predichos comparados con escenarios reales y cuánto se acerca la predicción a la realidad es otra tarea más del analista que continúa siendo de importancia.

En un próximo artículo revisaremos como funciona uno de estos asistentes o “wizards” utilizando el servicio AIssisted Planning de #Jedox potenciados por Inteligencia Artificial.

Y estas son mis funcionalidades favoritas de Jedox 5.1

Jedox AG ha anunciado nuevas y útiles características, tales como “OLAP cell locking” y “predictive splashing”, “copy like” utilizando reglas y atajos para el ingreso de datos,  para su nuevo release 5.1. Para quienes estén trabajando con cubos de planificación dichas características son algo muy útil y deseable de tener a disposición para facilitar el trabajo de los analistas de planificación y presupuestos.

“Data Driven Modelling”. Este es un nuevo wizard o asistente que nos permite definir un cubo desde cero utilizando los datos fuente en una hoja Excel. El asistente crea las dimensiones, jerarquías y procesos ETL necesarios para la carga periódica de los datos lo que obviamente es un acelerador en el proceso de desarrollo.

“OLAP cell locking” se refiere a la capacidad de “congelar” algunos valores indicando que dichos valores no serán afectados por los cálculos efectuados en una operación de “splash” o prorrata de valores. Digamos que deseamos incrementar las ventas anuales en un 10% pero dejando Enero y Febrero intactos. Ahora esto puede efectuarse seleccionando las celdas y haciendo click en un nuevo botón de la barra de complementos de Jedox-Excel.

“Copy Like using Rules”. ¿Cuántas veces nos han consultado sobre esta posibilidad nuestros clientes/usuarios? Si disponemos de reglas de cálculo por supuesto que también desearíamos tener la posibilidad de utilizarlas para el llenado de otras celdas/escenarios “materializando” dichos valores.

“Predictive Splashing” ahora nos permite predecir valores de forma masiva basados en la historia de nuestros datos. Como nos indica el ejemplo contenido en el boletín “What´s new?”, si ingresamos el comando “predict 2011:2012:2013” en una celda de  “2014”, Jedox Olap Server calculará el resultado de la regresión lineal de los tres años ya indicados resultando en un nuevo escenario de ventas completamente poblado (productos, regiones, meses) para el 2014. ¡Fantástico!

 “Usabilidad”. Si deseamos mayor velocidad y usabilidad durante el ingreso de valores podemos utilizer los siguientes atajos: k para miles y M para millones. Ej.: #5k (en lugar de #5000). #7M (en lugar de #7000000).

“R”. Y para quienes necesiten mayor poder analítico/predictivo/estadístico, el ETL de Jedox ahora incluye un nuevo componente (transformation) para integración con R.

Presupuesto de Gastos con Jedox

Les dejo un enlace a un video demostrativo de cuán fácil puede ser construir una aplicación simple de Presupuesto de Gastos con Jedox.

Video Demo Jedox 3.3

Hemos publicado un video demostrando las funcionalidades básicas de Jedox 3.3. La primera parte es pincipalmente de las capacidades en Excel.




La segunda parte muestra funcionalidad básica de la publicación Web.

Palo Mobile pronto estará disponible

Ya fue enviada para su revisión, en AppStore de Apple, Palo Mobile 1.0 el cual funcionará inicialmente en Ipad.
Esperamos que pronto podamos tenerlo en nuestras manos...

Mientras tanto unas imagenes de cómo luce la aplicación:

Ya está disponible la versión 3.2SR1 de Palo BI Suite !!

Este nuevo release trae una nueva demo : "Bikers Best Demo" que se instala automáticamente con el one step setup. Se pueden ver ejemplos de Framesets, Navegación y GEO Widget (con Google Maps y paso de parámetros, en acción. En las nuevas demos vienen ejemplos de las macros (PHP) y su uso. Descargar en http://ow.ly/3szEB 

Adicionalmente pueden generarse "snapshots" XLSX y WSS directamente desde los reportes además de PDF.

Nuevo Esquema de Licenciamiento de Palo BI Suite

La semana pasada Jedox ha cambiado el esquema de licenciamiento de su producto Palo BI Suite. A contar de ahora se adopta el esquema de suscripción anual (incluye producto mas soporte) y se cambia desde usuario concurrente a usuario nominado. Esto último permitirá reducción en los costos de entrada de proyectos con menos usuarios.

Adicionalmente a la reducción en los precios debido al cambio de esquema se ha creado la alternativa de Supported Open Source (SOS), esto es, para empresas que no desean adquirir la versión Premium (anteriormente comercial) pero desean tener garantía sobre el producto y alternativa de consultas a soporte técnico. La SOS no tiene límite de usuarios a diferencia de la Premium que sí se licencia por rango de usuarios nominados. La alternativa de SOS está ahora disponible también para el popular Palo for Excel.

Para clientes actuales que deseen adquirir licencias bajo el esquema de usuarios concurrentes, esto será posible hasta el 15 de febrero de 2010. De todas maneras dependiendo la instalación hay suficientes alternativas para evaluar la más conveniente en cada caso.

A continuación la matriz con las diferencias entre las distintas distribuciones:

Roadmap para Palo BI Suite 3.0

Finalmente Jedox dió a conocer el roadmap de liberación de la nueva versión 3.0 de su suite open source (detalles). Si bien es cierto ya se había anunciado como disponible,la verdad es que lo que hoy en día está disponible para descarga en su sitio solo incluye el motor Olap in Memory Palo en su versión 3.0 y los demás componentes importantes, especialmente Worksheet-Server, en versiones anteriores a este release. Adicionalmente este download es un trial de 30 días de la versión Enterprise o Comercial que incluye componentes que no estarán disponibles el la versión gratuita.

También disponible en el sitio web de Jedox está la versión Community o gratuita pero lamentablemente en código fuente el cual debe ser compilado en la plataforma destino, tarea reservada solo para usuarios técnicos avanzados.

Sin duda Palo Bi Suite 3.0 dará que hablar ya que uno de sus componentes, Worksheet-Server el cual convierte cualquier aplicación Excel en una aplicación 100% web, que hasta la fecha solo estaba disponible pagando varios miles de euros por su licencia, también pasa a ser Open Source. Worksheer-Server permite a un usuario final desarrollar interfaces complejas de planificación con cero código y por supuesto será la interfaz preferida para acceder al potente motor multidimensional Palo. Un avance mayor en WSS 3.0 es que su interfaz es Ajax y se convierte en un verdadero Excel en la web pero con capacidades multidimensionales y dinamismo.

La verdadera versión 3.0 de Palo BI Suite estará disponible en beta para Julio 1 de 2009 y se espera un release candidate para Septiembre 1 de 2009. He aquí un detalle de los componentes que se incluirán en esta distribución:

Versión Gratuita

-Palo 3.0 In memory Olap

-Worksheet-Server 3.0

-Palo ETL Server

-Soporte exclusivamente de parte de la comunidad

Versió Comercial

-Palo 3.0 In memory Olap

-Escabilidad Extendida (multicore/multi-cpu , shared memory, multiequipos)

-Worksheet-Server 3.0

-Palo ETL Server

-Supervision Server (workflows, alertas, compliance)

-Conectores SAP

-Conectores ODBO/MDX para acceder Palo (lectura/escritura) desde Excel 2007 via Pivot Tables

-Soporte y garantía sobre el producto

Jedox ya es un potente competidor para productos comerciales de planificación y presupuestos como Cognos Tm1. Oracle Hyperion y sin duda esta nueva versión dará bastante que hablar y lo posicionará aun mejor respecto de sus competidores.

Jedox Libera Palo BI Suite 3.0

Jedox anunció la liberación de la tan esperada Palo BI Suite 3.0 en donde se incluye en un solo distribuible Palo Olap Server 3.0, ETL Server, Supervision Server y Worksheet-Server.

Lamentablemente aun tendremos que esperar por Worksheet-Server 3.0 (la actual distribución contiene WSS 2.011sr1) con su interfaz Ajax mejorada la cual lo convertirá en un verdadero Excel en la web con el agregado de acceso a BDs OLAP.

Trataremos de revisar en los próximos días las novedades de ETL Server.

Planificación en Tiempos de Crisis

En una época en que en todas las empresas la orden del día es ahorrar debido al momento recesivo de la economía, y se es más reacio a la compra de licencias de software, tal vez sea el momento de evaluar alternativas Open Source para no posponer la aplicación de herramientas de software en un ámbito especialmente sensible en este momento.

Sin duda el planning en tiempos de recesión es más relevante y se debe contar con herramientas que nos hagan más fácil reaccionar a los cambios del mercado. Contar con modelos que nos permitan visualizar rápidamente, por ejemplo, qué pasaría si hay una diferencia en el tipo de cambio, el precio de los combustibles, la mayor o menor contratación de recursos humanos, inflación, disminución en las ventas o márgenes, etc. y además alimentarlos y explotarlos de manera colaborativa con otros usuarios al interior de la organización pueden marcar una diferencia en la toma de decisiones en tiempos de incertidumbre.

Los planes de las empresas son confeccionados en un momento dado del tiempo con una serie de supuestos que eran válidos para ese momento en particular. El problema se presenta cuando bruscamente cambia el escenario económico y los departamentos de planificación se ven enfrentados a la problemática de confeccionar una serie de escenarios y simulaciones que reflejen estados de resultados, flujos de caja, adaptaciones en rrhh, análisis de gastos, etc. y solo cuentan con Excel. En este punto el problema puede ser mayor y consumir un tiempo precioso de los planificadores los que a la larga tal vez se deban conformar con informes macro debido a la imposibilidad de reformular a nivel de detalle los escenarios posibles en los diferentes ámbitos de interés.

A quienes no quieran sufrir este tipo de dificultades ,y se animen a probar, les invito a descargar el motor Olap Palo de Jedox AG especialmente indicado para confeccionar planes y presupuestos aquí. La herramienta es muy potente, multiusuarios y (muy indicado para estos tiempos) grátis. Espero los comentarios de quienes se animen.

Uso de GPUs como mecanismo Acelerador de Consultas OLAP

Y mientras Microsoft se retira del mercado del Planning, Jedox continúa innovando.

Jedox junto a la Albert-Ludwig’s University de Freiburg - con auspicio de la German Research Foundation - estan colaborando en un proyecto de investigación que persigue la optimización de los métodos de acceso a datos multidimensionales en bases de datos OLAP In-Memory.

El desarrollo se basa en el servidor OLAP open source Palo de Jedox . La idea es utilizar las rápidas y potentes GPUs comúnmente utilizadas para juegos de video para acelerar las consultas al motor OLAP. Según el equipo han logrado incrementos de hasta 40 veces su actual rendimiento.

Un prototipo de esta versión GPU será presentada en la feria CeBIT este año ocasión en la cual también se presentará la versión multiprocesador de Palo 3.0.

En el campo cientìfico se ha comenzado a utilizar las GPU para cálculos complejos. Las tarjetas gráficas modernas consisten de muchos pequeños cores de procesadores los cuales paralelizan y concecuentemente aceleran los  cómputos. Fabricantes de chips como Nvidia y AMD introdujeron procesadores gráficos com mayor poder de procesamiento que las CPU comvencionales en el 2008.

Palo - Jedox

Comienzo este blog comentando una solución de software orientada a la problemática de la Planificación y Presupuestos. Tema muy ligado a las tecnologías OLAP en el terreno del business intelligence (por algo he invertido tiempo los últimos 15 años ligado e este tema).

A través los años en que he trabajado en el mundo del software me ha tocado ver muchos buenos y exitosos productos los cuales siempre comparten tres características claves para su éxito:

1) resuelven un problema que es importante para sus potenciales usuarios
2) enfrentan la solución de una forma sencilla o al menos así lo percibe el usuario final (independientemente de la sofisticación de su desarrollo).
3) tienen un precio aceptable

Este es el caso del producto Palo (Olap al revés) de la empresa alemana Jedox AG (www.jedox.com). Tengo contacto con ellos al menos desde hace unos cinco años revisando las primeras versiones de su producto Worksheet-Server de data previa a la de Palo y que comentaré en otro post.

Palo es un motor OLAP, más exactamente MOLAP, con capacidad de lectura y escritura, lo que lo hace especialmente indicado para aplicaciones de planificación/presupuestos en donde además de poder visualizar la información es necesario ingresar datos para simular escenarios del tipo what-if. Puede trabajarse desde varias interfaces pero para los usuarios de negocios las más apropiadas son Excel y OOCalc. El producto instala un complemento desde el cual se puede crear el modelo con uno o multiples cubos, definir reglas de negocios, seleccionar vistas, pivotear, ingresar datos,etc.

La comunicación desde las planillas hacia el servidor es del tipo "cell based" o celda a celda, en la filosofía de Tm1 (ahora de Cognos) y Alea (ahora de Infor).

Una de las facilidades que más llaman la atención a quienes trabajan en los departamentos de control de gestión es la capacidad de ingresar un valor en una celda a nivel agregado, por ejemplo "Total de Ventas Anuales" cruzada con "Total de Locales", etc. y ver como Palo distribuye automáticamente el valor en sus celdas hijas. Calcular decrementos de un 5% en los gastos de toda la empresa o definir un nuevo total de ventas "like" algun año anterior, es realmente simple.

El motor OLAP es mutiplataforma y multiusuarios pudiendo instalarse en servidores Windows o Linux en 32 y 64 bits. Para quienes deseen comenzar la opción más sencilla es descargando el motor junto a su plug-in Excel aquí. El motor es del tipo In Memory Database, es decir guarda toda la información en memoria, y permite que una vez modificado el dato pueda ser apreciado el impacto en el cubo o el modelo por otros usuarios que tengan acceso a la información. Adicionalmente pueden definirse agregaciones en tiempo real modificando las dimensiones y continuar trabajando sin ser necesario bajar el servidor.

Habiendo conocido otros productos de planificación y presupuestos (bastante caros y en ocasiones trabajosos de implementar) resulta impresionante la facilidad de uso y poder de Palo (el cual además es gratis pues cuenta con licencia Open Source) gracias a una clara concepción que tuvo el equipo de desarrollo de este producto de software. Un producto bien concebido y además con la opción de gratuidad lo que no es despreciable ya que un motor de este tipo fácilmente cuesta varias decenas de miles de dólares si viene de un fabricante mayor (Oracle/Essbase, IBM/Cognos Planning o Tm1, SAP,etc)

Creanme que resuelve problemas del mundo real desde pequeñas a grandes empresas. Una invitación para los planificadores o controles de gestión que deseen explorar una alternativa para huir de la pesadilla de manejar presupuestos colaborativos en Excel.