La tecnología se mueve a través del período de expectativas infladas y la desilusión antes de alcanzar la productividad. ¿Dónde está Big Data?

Hace años, la firma de investigación Gartner acuñó el término ” Hype Cycle” para explicar cómo las nuevas tecnologías tienden a pasar por distintas fases de aceptación en el mercado, desde las expectativas infladas a la desilusión hasta la productividad.

 

¿Dónde está Big Data en este ciclo?

En primer lugar, una revisión rápida sobre Big Data: Esta jerga muy utilizada se refiere a un conjunto de tecnologías diseñadas para trabajar con grandes volúmenes de datos más allá de los sistemas tradicionales de administración de bases de datos. Estas invenciones se derivan de las necesidades, a principios de la última década, de empresas de Internet como Google, Yahoo y Facebook para gestionar datos de usuarios y sistemas a una escala que la industria no había diseñado previamente.

“No es un sustituto de lo anterior”

Software como Hadoop fue lanzado como código abierto, y generó nuevas startups para suministrar y mantener estos sistemas complejos. Como la mayoría de las nuevas tecnologías, Big Data no es un sustituto directo de lo que ocurrió antes. Para lograr la capacidad deseada, se han hecho concesiones de diseño. Por ejemplo, una implementación de Hadoop consiste en muchos servidores de productos que trabajan en paralelo. Esta configuración funciona extremadamente bien para las tareas que se pueden calcular en paralelo (se debe pensar en un virus analizando millones de archivos), pero terriblemente para el trabajo que no se puede hacer en paralelo (de hecho, una única computadora de alto rendimiento es a menudo más rápida para tales tareas). Como hemos utilizado estas tecnologías en nuestras unidades de negocio, hemos aprendido que deben ser usadas ​​juiciosamente para maximizar el valor. Para el problema correcto, como consumir cada tick de precios de múltiples bolsas de valores, hemos encontrado que Big Data es una solución rentable. Del mismo modo, hemos tenido éxito con aplicaciones de inteligencia de negocios que hubieran tomado más tiempo y costado más con soluciones “tradicionales”.

Big Data no es una panacea

Hemos tenido éxito con la base de datos agrupada de Cassandra, basándonos en ella y en ElasticSearch para almacenar nuestro Gráfico de Conocimiento utilizando nuestra propia tecnología CM-Well. Pero la suite Big Data no es una panacea. Hemos encontrado que compartir recursos entre proyectos (multi-tenancy) es más frágil de lo que debería ser. El personal de ingeniería necesita un nuevo entrenamiento y tiempo para entender lo que es un paradigma muy diferente. Los errores crean aplicaciones de bajo rendimiento que ponen en duda la estrategia. Sistemas como HBase y Cassandra se pueden utilizar para dominar datos, pero se requiere mucho más cuidado que resolver utilizando tecnología más madura. Más allá de eso, los fundamentos no cambian. La buena gestión de proyectos, la sólida arquitectura de la información, la visión clara y la estrategia son tan vitales como lo fueron. Esto nos lleva de nuevo a donde Big Data está en el “Hype Cycle”. Creo que estamos más allá de la desilusión y nos estamos moviendo hacia la productividad, pero eso viene con la advertencia de que esto es sólo otra herramienta en la caja. Para el problema correcto, un martillo funciona muy bien, pero a veces también se necesita un cincel.