Calidad de datos, datos estructurados y no estructurados

Leo en dmreview un interesente artículo denominado "Data quality, structured and unstructured data". A pesar de la importancia creciente de la gestión de datos dentro de las organizaciones lo cierto es que no se está realizando convenientemente por la empresas.
Y es fundamental tener en cuenta la importancia de los datos no estructurados en una organización. Según estudios realizados por la industria BI se indica que hasta el 85 por cierto de los datos de una compañía residen en áreas clasificadas como no estructuradas (emails, videos, fotos, blogs, mesajería instantánea, wikis...). Y mientras todas estas herramientas y recursos incrementan la comunicación también representan información perdida ya que no se organiza convenientemente de forma que ayude a la toma de decisiones. Por otro lado nos encontramos con la CALIDAD DE DATOS, reconocida como uno de los procesos más importantes en el área de gestión de datos. Sin un marco de trabajo de gestión global de la calidad de datos es casi imposible alcanzar el objetivo de la INTELIGENCIA DE DATOS. Constituye por tanto un reto para las organizaciones gestionar conmenientemente la CALIDAD DE DATOS por un lado y los DATOS NO ESTRUCTURADOS por otro, gestión de datos global en definitiva. Y es aquí donde se cuestiona la capacidad del software comercial para llevar a cabo esta labor frente la OPEN SOURCE. La carencia de la flexibilidad de las soluciones comerciales hacen que el análisis de datos no estructurados en el proceso de análisis de datos estructurados sea una tarea casi imposible lo que lleva a las organizaciones a obviar esta tipología de datos en aras de los datos estructurados para la toma de decisiones. Por no mencionar el elevado coste de las licencias que las hace únicamente asequibles a las grandes corporaciones. Las soluciones de datos basadas en open source pueden hacer del análisis de datos no estructurados y datos estructurados parte de una jerarquía global de la gestión de datos creando una solución que es global, precisa y focalizada en el proceso de gestión de datos a largo plazo.

sigue habiendo movimientos en business intelligence

Business Objects ofrecerá a sus clientes la posibilidad de emplear la tecnología de analísis predictivo de dataming SPSS como parte de de la plataforma business objects XI. Los usuarios de Business Objects XI con la tecnología de análisis predictivo de datamining podrán explotar las predicciones de negocio para tomar decisiones que ayuden a generar ingresos, posibiliten control de gastos y mitigen el riesgo. Resulta interesante la cantidad de movimientos en el ámbito de BI a la que estamos asistiendo no creeis?

¿se presta la atención adecuada a la seguridad de las BBDD?

Leo un artículo muy interesante vía dmreview titulado "The Time Has Come for Database Security". Me parece un tema realmente interesante. Y es que aunque las BBDD han estado entre nosotros durante mucho tiempo, tan sólo en años recientes se ha prestado atención a la seguridad de éstas y ésta se ha realizado incluso así de forma prograsivamente lenta. Recientes vulnerabilidades y el creciente reconocimiento de la falta de inversión en este campo además del potencial riesgo que supone están forzando a las organizaciones a prestar atencióna a la seguridad de sus BBDD. El autor plantea 4 questiones importantes:
1) ¿Merece la pena proteger los datos que residen en las BBDD?
2) ¿Es posible e incluso sencillo que los datos caigan en manos de la personas equivocadas?
3) ¿Cuál es la naturaleza de la amenaza?¿Es seria? ¿Es una paranoia?
4) Si los datos se comprometen, ¿tendría un efecto negativo en la línea de flotación del negocio?En otras palabras ¿Por qué deberíamos preocuparnos?
Es importante tener en cuenta que las bases de datos disponen de información sensible. Tradicinalmente la infraestructura de seguridad de las organizaciones se ha focalizado en el perímetro pero es necesario considerar que las bases de datos tienen vulnerabilidades específicas que requieren métodos de protección al margen de los firewalls y los sistemas IDS/IPS. Por otro lado el incremento en la complejidad de las BBDD tiene como consecuencia la aparición de nuevas vulnerabilidades que pueden ser explotadas. Es necesario tener en cuenta que la motivación del "hacking" se ha transformado completamente en los últimos años. Se trata de un objetivo puramente comercial (se trata de un gran negocio). Pensemos sino en las transacciones fraudulentas que se realizan con las tarjetas de crédito obtenidas directamente de las BBDD. Por otro lado, muchos de los ataques provienen desde dentro de la organización, desde DBA's pasando por administradores de sistemas. Asimismo se plantea la siguiente cuestión: ¿Ser responsables de acuerdo a las leyes de tipo Sarbanes-Oxley y Basilea II implica disponer de sistemas más seguros? Parece que no, obviamente. El mensaje es claro: Los sistemas de BBDD no son tan seguros como debieran y ésto está dañando los negocios. Y hay que tener en cuenta que este riesgo es demasiado grande como para ignoralo........

business intelligence para la mediana empresa

Uno de los nichos que considero importantes en todo lo relacionado con la tecnología es el de la pequeña y mediana empresa. Normalmente se encuentran reacias a adoptar soluciones tecnológicas fundamentalmente por temas de funcionalidad (adaptabilidad) y coste. Más aún si hablamos de soluciones de inteligencia de negocios debido al coste de las licencias y su carácter digamos más global y orientado a la gran empresa. Parece que las compañías de BI se están dando cuenta de esta circunstancia como el caso de business objects que ha diseñado una solución de planificación, presupuestación y predicción orientada a la pequeña y mediana empresa posibilitando el acceso a herramientas financieras que ayuden a linear gastos con objetivos de negocio estratégicos. Las características claves y los beneficios de la solución incluyen: aplicaciones pre-paquetizadas para la planificación estratégica, modelado visual, planificación unificada y reporting así como metodologías estándar de planificación. Particularmente creo que la mediana y pequeña empresa suponen una gran oportunidad para los vendors de BI en general y de SOFTWARE LIBRE en particular al estar exentos de licencias.

una de aviones y software BI

La compañia American Airlines emplea el software SPSS para guiar las decisiones de negocio. En palabras de King Douglas (analista senior del departamento de inventigación de clientes de American Airlines) "la capacidad de nuestro departamento para proporcionar respuestas a importantes preguntas de negocio y procurar información a los decisores en el transcurso de horas en lugar de días o semanas ha sido uno de los grandes retos en la historia de la industria aeronáutica". La misión del departamento de investigación de clientes es simple: "miramos dónde hemos estado, dónde estamos y hacia dónde vamos en términos de satisfacción de clientes y analizamos cómo se está consiguiendo este objetivo". Señalar que a mitad de la década de los 90 gran cantidad de esa información estaba almacenada en ordenadores mainframe y tenía que ser integrada manualmente. Posteriormente se llevó a cabo una labor de integración, análisis y reporting a un entorno basado en windows y construido en software SPSS de toda esa información. El departamento anteriormente citado almacena información operacional que maneja diferentes variables relativas a la experiencia del cliente en el vuelo entre otras con objeto de mejorar su competitividad frente a otras compañías. Al parecer el retorno de inversión obtenido y el incremento de productividad ha sido tan altos que han recibido el "Technology ROI Award" de Nucleus Research.
Una vez más se comprueba cómo el software de BI (en este caso predictivo) puede ayudar a las compañías a incrementar la productividad, retener y adquirir nuevos clientes en base a la información obtenida en breve espacio de tiempo así como el cada vez mayor auge de las soluciones BI en todo tipo de industrias, en este caso aeronáutica.

La importancia de la oficina de gestión estratégica

Norton y Kaplan hacen referencia a la posibilidad y las bodades derivadas de la implantación de una OMS en una organización:

El potencial de la estrategia diseñada por una organización queda en multitud de ocasiones reducido por una falta de alineamiento de la propia estrategia con los
procesos de gestión de la organización, con los procesos clave de gestión y falta de coordinación a través de unidades de negocio/funcionales.
Las atribuciones específicas serían:
1.- Gestión del scorecard (actualización de objetivos, medidas, "targets", entrenamiento y educación, estandarización de terminología y definición de medidas)
2.- Alineamiento de la organización (desarrollo y aplicación en cascada de BSC en diferentes niveles
jerárquicos de la organización).
3.- Comunicación de la estrategia.
4.- Revisiones de la estrategia.
5.- Gestión de la iniciativas (Monitorizar todas las iniciativas estratégicas a fin de asegurarse que son gestionadas para mejorar las medidas del sistema BSC, asegurándose (en
algunos casos) que se disponen de los suficientes recursos y que se focaliza especialmente en iniciativas inter-funcionales e inter-departamentales).
6.- Actualización y desarrollo de la estrategia (en las reuniones de gestión deberían discutirse datos relativos a la evolución de indicadores, validez de las hipótesis iniciales en función de KPI’s, posibles actualizaciones de la estrategia).
7.- Planificación y presupuesto.
8.- Alineamiento de los empleados.
9.- Gestión de conocimiento.
Entiendo uno de los aspectos inhibidores del establecimiento de la oficiona de gestión estratégica en una organización es la justificación del presupuesto asignado a esta unidad si bien hay que tener en cuenta los beneficios que redundan del diseño y sobre todo CORRECTA IMPLANTACIÓN de la estrategia, implantación a la que puede ayudar sin duda la OMS.

¿centrados en la estrategia?

Debo confesar que los cuadros de mando (tanto en su implementación tecnológica como en el marco teórico subyacente)
es uno de los ámbitos del business intelligence que más interés me ha suscitado, especialmente por su importancia en el rendimiento de una organización.

En este "post" me gustaría hacer referencia a la siguiente pregunta: ¿están las empresas españolas CENTRADAS en la estrategia?
Tengo la percepción de que NO, sobre todo en pequeñas y medianas empresas, si bien hay casos de éxito en la implementación de BSC como el metro de Madrid, incluido en el "hall of fame" del "balanced scorecard collaborative" . Según un artículo del país del 18 de Junio del 2006, en una visita del doctor Kaplan a la escuela de negocios Esade afirmó que"los recursos que verdaderamente proporcionan ventajas competitivas son los valores intangibles" y que el equipo directivo "tiene que saber cómo satisfacer y fidelizar a sus clientes, cómo mejorar el funcionamiento de los procesos de gestión internos y cómo trasladar al conjunto de trabajadores la misión y los valores de la compañía". Y lo que es a mi juicio más importante "Si en la estrategia no se contemplan todos estos valores intangibles la empresa estará perdiendo la base de su posterior crecimiento financiero". Asimismo en el citado artículo se pone de manifiesto que "la razón de los fracasos empresariales se debe en 7 de cada 10 casos a una mala ejecución de la estrategia, no a su diseño". Y es que una implementación errónea de la estrategia es debida fundamentalmente a la percepción que los empleados tienen de su FUNCIÓN dentro de la organización. NO OBSTANTE parece que después de 15 años desde que Norton y Kaplan idearan el BSC las empresas españolas parecen empezar a interiorizar su método como es el caso de NOVARTIS, que desde hace seis años han ido creando una estrategia integradora que reconoce "no sólo qué hacemos sino cómo lo hacemos". ¿Hasta qué punto la empresa española es consciente de la importancia de implementar un cuadro de mando corporativo? Me temo que en relativamente pocos casos. Y es que gestionar los activos intangibles resulta complejo a la hora de obtener beneficios si bien hay que tener en cuenta que el 75% del valor de una compañía en el mercado deriva de estos activos.....

business intelligence 2.0

Mucho se ha hablado de la web 2.0. En este punto me gustaría hacer referencia a un artículo en el que se describe entre otros aspectos qué características presenta el denominado BI 2.0. Según el citado artículo el BI 2.0 es un término que encapsula multitud de nuevos e importantes conceptos sobre la manera en que usamos y explotamos información en negocios, organizaciones y gobierno. En el citado artículo se mencionan tecnologías como SOA, procesamiento en tiempo real y "dirección por eventos ", aspectos íntimamente ligados al BI 2.0. El objetivo del BI 2.0 es reducir la latencia (acortar el tiempo entre la apareción del evento y la realización de la acción de respuesta a tal evento). Con el BI 2.0 los datos no se almacenan en una base de datos y se extraen para el análisis. El BI 2.0 utiliza procesamiento de flujos de eventos. Esta aproximación procesa flujos de eventos en memoria, ya sea en paralelo con procesos de negocio actuales o como un proceso indepediente. . Entre las características que configuran el business intelligence 2.0 se encuentran: dirección por eventos, en tiempo real, análisis automático (la capacidad para comparar cada evento individual con lo que normalmente se esperaría basado en el pasado o el rendimiento futuro predicho con anterioridad), "foward looking" (fundamentada en predicciones futuras), orientado a procesos y escalable (este aspecto es crítico debido a que los flujos de evnetos pueden ser impredecibles y ocurrir en volúmenes muy altos).
Altamente recomendable la lectura de este artículo...

BI y telefonía móvil

Information Builders ha lanzado un nuevo software denominado WebFocus Mobile Favorites que posibilita a los profesionales la organización de informes a través de dispositivos móviles.
Según los ejecutivos de information Builders la nueva generación de "smartphones" ofrecen pantallas de mayor resolución y mayores capacidades de navegación lo que los hace aptos para mostrar información de este tipo. Los usuarios de esta nueva aplicación podrán acceder a dashboards conteniendo información de negocio, información que residirá en servidores web. Lo más distintivo de la solución aportada por information builders es su independencia respecto el dispositivo móvil empleado. Recordemos que la posibilidad de acceder a información BI a través de dispositivos móviles no es nueva. Sin ir más lejos Cognos y Microstrategy ofrecen esta funcionalidad desde hace tiempo pero estaba limitada únicamente a dispositivos Blakberry. Por el contrario Business Objects comenzó a ofrecer en Mayo el software que permite la interacción con información BI desde Blackberrys, Windows Mobile y otros dispositivos móviles.
Como podemos observar las compañías de inteligencia de negocio no quieren permanecer al margen del desarrollo al que estamos asistiendo en relación a la telefonía móvil, aspecto que considero especialmente útil y atractivo.

Sobre la importancia de los indicadores clave de rendimiento

De todos es sabido que cuanto más rápido y con mayor precisión se accedan y se revisen las KPI’s y se actúe consecuentemente, mayor será la probabilidad de que una empresa tenga éxito. Las compañías denominadas “best-in-class” tienen mayor predisposición a crear dashboards, scorecards y reporting así como revisar las KPI’s frecuentemente. Según un informe de AberdeenGroup, esta predisposición ha posibilitado que estas organizaciones hayan tenido mejoras en el rendimiento durante los 12 últimos meses en áreas tales como procesos y rendimiento organizacional, rendimiento financiero y rendimiento de cara a los clientes. El éxito de cualquier programa de gestión de rendimiento depende de una estrategia efectiva para definir, seguir y actuar de acuerdo a KPI’s.. Según el citado informe las compañías “best-in-class” han implementado estrategias KPI, capacidades y tecnologías que han derivado en resultados positivos hacia la mejora del rendimiento:

El 70% de las compañías Best-in-Class han mejorado su rendimiento en el tiempo requerido para la toma de decisiones.

El 33% han incrementado su cuota de mercado por encima del 10%.

El 47% han incrementado sus ingresos y rendimiento por encima del 10%.

Cuando se trata de implementar estrategias KPI, las organizaciones “Best-in-Class” tienen de lejos capacidades establecidas para soportar KPI’s como por ejemplo el establecimiento de comités o procesos para definir KPI’s y hacerlas visibles a los managers de las líneas de negocio. Otro aspecto que me resulta especialmente interesante es que las citadas compañías que emplean una aproximación al scorecard lo realizan en conjunción con un sistema de balanced scorecard real (concretamente un 42%), empleando mapas estratégicos y desarrollando métricas hacia objetivos a nivel departamental con objeto de conseguir un alineamiento estratégico. En conclusión, para obtener un rendimiento “Best-in-Class” una organización debe:

1) Institucionalizar una estrategia KPI, una “cultura KPI” para alinear la estrategia con los objetivos corporativos.

2) Revisar continuamente las definiciones KPI.

3) Proporcionar un fácil acceso a la información KPI a todas las personas encargadas de la toma de decisiones.

Seguridad y minería de datos

Un software de Detección y Prevención de Intrusos, IDS/IPS, monitoriza redes y equipos en tiempo real en busca de comportamientos sospechosos no susceptibles de ser detectados por dispositivos de seguridad convencionales. ¿Por qué el empleo de data-mining? ¿Qué nos puede proporcionar a nivel de IDS? Idealmente, un sistema IDS identificaría todo tipo de intrusiones (o intentos de intrusión) y llevaría a cabo o recomendaría las acciones necesarias para parar el ataque.Para determinar como pueden ayudarnos las técnicas de data-mining en la detección de intrusos más avanzada es importante conocer cómo trabajan los sistemas IDS actualmente para identificar una intrusión. Existen dos aproximaciones para la detección de intrusiones: detección de usos incorrectos/fraudulentos y detección de comportamientos “anormales” en la red. La detección de usos “fraudulentos” es la habilidad para identificar intrusiones basadas en un patrón conocido para la actividad “maliciosa” (denominadas firmas). La segunda aproximación, detección de “comportamientos anormales”, constituye el intento de identificar tráfico malicioso basado en desviaciones respecto a los patrones establecidos de tráfico de red normales. La mayor parte de los sistemas IDS que pueden ser adquiridos emplean la primera de las dos técnicas. La mayoría ellos incorporan un conjunto de “firmas” específicas para vulnerabilidades o exploits específicos de los sistemas. La mayoría de los proveedores de sistemas IDS también proporcionan actualizaciones de firmas regulares en un intento de mantener el ritmo de aparición de nuevas vulnerabilidades en los sistemas. La justificación del empleo de técnicas de data-mining en los sistemas IDS viene determinada por las deficiencias o carencias que estos sistemas presentan al margen de la efectividad de las firmas desarrolladas para la detección de vulnerabilidades:

- Variantes: El problema viene determinado por las modificaciones temporales o inmediatas que puede sufrir el exploit para el cual ha sido diseñada la firma del IDS.

- Falsos positivos: se fundamenta en la consideración por parte del IDS de tráfico normal de red como tráfico malicioso básicamente por la dificultad intrínseca vinculada al desarrollo de firmas para vulnerabilidades específicas.

- Falsos negativos: detección de ataques para las que no existen firmas de manera que el sistema IDS no alerta de una posible intrusión maliciosa al no disponer de una firma que detecte la misma.

- Sobrecarga de datos: otro aspecto no vinculado a la detección de usos fraudulentos de tráfico en red viene determinado por la necesidad de un análisis de tráfico efectivo y eficiente. Dependiendo de la herramienta IDS la cantidad de datos que

requiere verificar aumenta de forma considerable y logs generados pueden llegar a alcanzar millones de registros.

¿Cómo pueden ayudarnos las técnicas de datamining? Mediante la adicción de mayor nivel de análisis o “refinamiento” en la detección de tráfico de red no convencional.

Variantes: la técnica de datamining posibilita la detección de patrones comunes en la explotación de vulnerabilidades específicas a través de variantes distintas de un mismo exploit, actividad difícilmente realizable a través del establecimiento de firmas concretas.

Falsos positivos: las técnicas de datamining permiten detectar secuencias recurrentes de alarmas con objeto de detectar tráfico de red válido.

Acerca del análisis en tiempo real

Leo en dmreview un interesante informe "Real-time analytics: The importance of Strategic Alignment and Ease of Use" en el que se afirma que el almacenamiento de información y la capacidad analítica son componentes fundamentales para la operación efectiva de la empresa si bien constituyen sólo los primeros pasos en el camino hacia conseguir el mejor rendimiento financiero. En el mismo artículo se hace referencia a la barreras existentes en el camino hacia el rendimiento corporativo óptimo, a saber:
a) Múltiples sistemas, formatos de datos y terminología.- Con frecuencia no existe un origen centralizado para toda la información corporativa debido a la dificultad de integrar sistemas diferentes, tipos de datos, esquemas de bases de datos e información de producto. Es siempre complejo y costoso desde mi punto de vista integrar información de diferentes fuentes.
b) Preocupación relativa a la calidad del dato.- Se trata de un problema que supone a las empresas un coste monetario importante. Parece que las empresas cada vez son más conscientes del problema que supone el disponer de calidad en los datos con los que se trabaja y el coste económico asociado a una baja calidad de los mismos.
c) Falta de consenso en relación a las métricas empleadas.- Cada departamento dispone de métricas relativas a su dinámica de funcionamiento de forma independiente con lo que la unanimidad resulta compleja no existiendo claridad en la toma de decisiones por parte del CEO de la organización. Usar una métrica adecuada y común posiblita el alineamiento estratégico interdepartamental
d) Emplear la métrica incorrecta.- No todas las métricas son adecuadas y la elección resulta en ocasiones difícil. En el informe se hace referencia a los beneficios por rendimiento como métrica de la referencia.
e) Complejidad de los sistemas.- La disponibilidad de sistemas altamente sofisticados presenta inconvenientes en dos áreas: 1) Son complejos y requieren de un experto para crear los informes deseados. 2) Están diseñados como aplicaciones genéricas dificilmente "customizables". No obstante disponer de datos centralizados, usando datos de alta calidad y con la métrica adecuada no son suficientes para proporcionar una respuesta ágil. Se requiere de una solución analítica en tiempo real que pueda ser empleada por el usuario de negocio permitiéndole realizar acciones del tipo drill-down e incluso crear sus propios informes. Particularmente estoy de acuerdo con todo lo expuesto y que una vez más se hace especial mención al alineamiento corporativo como factor clave para la obtención de análisis óptimos, alinemiento al que hacen referencia en multitud de artículos Norton y Kaplan.

el mercado de BI sigue convulso

He tenido la ocasión de leer un artículo en relación a la integración de productos SAS con Teradata en el que se hace referencia a la posibilidad de realizar complejos análisis dentro del datawarehouse eliminando de esta manera del tiempo y el coste de tener que extraer datos al software de SAS. No obstante lo más interesante resulta la comparación que se establece en relación a la adquisisición de Business Objects por SAP y por qué los CEO's de SAS y Teradata consideran que su unión es la más importante a tener en cuenta en la industria. Argumentan entre otros aspectos que en ningún caso se ha planteado una fusión de las dos compañías y que en definitiva se pretendía juntar los dos best-in-class de ambos "mundos".

Como no podría ser de otra manera los ejecutivos de SAS minimizan la adquisición de Business Objects por SAP indicando que las aplicaciones de business objects son muy "simples" en relación a los que ofrece SAS a nivel analítico y de reporting argumentando que SAS va un pasó más allá de una visión histórica de la información de una organización. Por otro lado el CEO de SAS afirmó que SAP procedía de esa manera porque su solucióon BI-Datawarehouse había fracasado. Una vez más se constanta que el mercado de BI es cada vez más dinámico, la lucha es feroz, la amalgama de soluciones disponibles cada vez aumenta más y que la linea divisioria en cuanto a funcionalidades de los distintos vendors cada vez es más delgada.

nuevo blog BI en español

Hoy comienza a andar este blog que espero que constituya un lugar de reflexión en torno al apasionante campo del business intelligence, área de los sistemas de información que me ha suscitado gran interés gracias al Máster en BI de la Universidad Oberta de Cataluña. Espero que podáis perdonarme los posibles errores que pueda cometer dada mi escasa experiencia profesional en este ámbito.