{"id":5256,"date":"2013-07-29T13:51:13","date_gmt":"2013-07-29T11:51:13","guid":{"rendered":"http:\/\/www.palentino.es\/blog\/?p=5256"},"modified":"2013-07-29T19:32:23","modified_gmt":"2013-07-29T17:32:23","slug":"big-data-herramientas-para-el-analisis-de-datos-y-aplicaciones-distribuidas","status":"publish","type":"post","link":"https:\/\/www.palentino.es\/blog\/big-data-herramientas-para-el-analisis-de-datos-y-aplicaciones-distribuidas\/","title":{"rendered":"Big Data, Herramientas para el an\u00e1lisis de datos y aplicaciones distribuidas"},"content":{"rendered":"

El Big Data<\/strong> no es algo nuevo, como concepto o t\u00e9rmino es usado ya desde hace una d\u00e9cada. Cada vez somos m\u00e1s conscientes de la cantidad de datos que generamos, es por ello, que cada vez lo empleamos y mencionamos m\u00e1s.<\/p>\n

\u201cData is the new oil\u201d<\/strong>
\nde Clive Humby -2006<\/p>\n

El se\u00f1or Clive, expuso esa \u00a0famosa frase hace tiempo.
\nLos datos son el Nuevo petr\u00f3leo, los datos son dinero.<\/strong> \u00a0Los datos son eternos.<\/p>\n

Pero realmente si nos paramos a analizar este aforismo del Big Data, no es precisamente del todo cierto.<\/p>\n

\u00bfY por qu\u00e9 no?<\/strong><\/p>\n

<\/p>\n

Primero porque el petr\u00f3leo no es una fuente renovable, por el contrario, los datos no se acaban nunca, se crean constantemente, son eternos mientra existan sistemas. \u00a0No son una fuente de recursos agotable. El crecimiento de informaci\u00f3n es exponencial,dia a dia. Hoy trabajamos con miles de exabytes<\/strong> de informaci\u00f3n. Por ejemplo, 5 exabytes es una cantidad tan grande, que podr\u00edan almacenarse todos los dialectos e idiomas empleados a lo largo de la historia de la humanidad.<\/span><\/p>\n

Aunque la analog\u00eda principal de los datos con el petr\u00f3leo, se refer\u00eda al hecho de rentabilizar o ganar dinero f\u00e1cilmente con la informaci\u00f3n<\/strong>, eso tampoco es realmente cierto, los datos para poder aprovecharlos, es necesario estructurarles antes de obtenerles<\/strong>, c\u00f3mo y quien los va a analizar, donde los vamos a almacenar.<\/p>\n

Una forma \u00a0mejor de crear analog\u00eda al Big Data es tal y como define Jer Thorp en Harward Business Review<\/strong>:<\/p>\n

\u201c Encontrar valor en los datos es mucho m\u00e1s un proceso de cultivar, que uno de extraer o refinar\u201d.<\/strong><\/p>\n

Lo que hay que hacer es saber c\u00f3mo estructurar los datos a largo plazo, en un entorno controlado, solamente estructurando bien los datos, obtendremos resultados.<\/strong><\/p>\n

Se tiende asociar Big Data a grandes datos, pero no solamente son grandes cantidades de datos<\/b>.
\nNo solamente son exabytes. Para que algo sea considerado big data, necesita cumplir una regla:
\nLa regla de las cuatro V, o cuatro dimensiones del Big data<\/strong>, tal y como determin\u00f3 \u00a0en 2012 IBM.<\/p>\n

Volumen\u00a0<\/strong> (Volume).
\nGeneramos datos cada segundo. Grandes cantidades<\/p>\n

Velocidad<\/strong> (Velocity).
\nGeneramos informaci\u00f3n r\u00e1pidamente.<\/p>\n

Variedad<\/strong> (Variety).
\nLos datos son diferentes en contextos distintos.<\/p>\n

Veracidad<\/strong> (Veracity) \u2013 Ampliaci\u00f3n de la ley original por parte de IBM.
\nAdem\u00e1s es preciso que los datos sean correctos, ciertos. \u00a0Es necesario desconfiar de lo que nos ofrece la informaci\u00f3n.<\/p>\n

\"4-frentes-de-expasion-del-bigdata\"<\/a><\/p>\n

Para aquellos que no conozcan Hadoop<\/strong><\/a>, forma parte de una plataforma de c\u00f3digo abierto para procesar big data. Pero un mito que realmente no es cierto es que Big Data significa Hadoop. Aunque Hadoop pueda hacer muchas cosas interesantes, existen otros productos.<\/p>\n

http:\/\/es.wikipedia.org\/wiki\/Hadoop<\/a><\/p>\n

\"hadoop\"<\/a>

Enlace oficial<\/p><\/div>\n

Al igual que ocurre en muchas tecnolog\u00edas, no podemos ser esclavos de un solo producto tecnol\u00f3gico<\/strong>. \u00a0Puesto que el Big data es algo m\u00e1s que un producto conocido.
\nMuchos ingenieros en su d\u00eda a d\u00eda o transcurso profesional, comenten un error, casarse con una determinada tecnolog\u00eda<\/strong>. Se casan con frameworks, lenguajes, CMS, al igual que con Big Data.<\/p>\n

\u201cCasarse con un software es un pecado capital, gran error en un mundo en constante evoluci\u00f3n y cambio.\u201d<\/strong><\/p>\n

Software desarrollado por las compa\u00f1\u00edas m\u00e1s grandes del mundo poseen sistemas que procesan el big data.<\/p>\n

Pentaho<\/strong> est\u00e1 construyendo el futuro de an\u00e1lisis de negocios. Herramienta BI de software libre.
\nhttp:\/\/www.pentaho.com\/<\/a><\/p>\n

Netezza de IBM<\/strong>
\nhttp:\/\/en.wikipedia.org\/wiki\/Netezza<\/a><\/p>\n

Vertica de HP<\/strong>
\nhttp:\/\/www.vertica.com\/<\/a><\/p>\n

Greenplum de EMC<\/strong>
\n<\/b>http:\/\/en.wikipedia.org\/wiki\/Greenplum<\/a><\/p>\n

DataFlux de SAS<\/strong>
\nhttp:\/\/www.dataflux.com\/home.aspx?lang=es-es<\/a><\/b><\/p>\n

Todas las grandes empresas quieren crear sistemas que procesen esta informaci\u00f3n.<\/p>\n

\u201cLa clave esta en encontrar un software que se ajuste bien a las tecnolog\u00edas\u201d<\/strong><\/p>\n

Sepamos algo m\u00e1s …<\/p>\n

Big Data<\/b>\u00a0(o\u00a0grandes datos) en TI corresponde a una referencia a sistemas<\/strong> que manipulan grandes\u00a0conjuntos de datos\u00a0(o\u00a0data sets<\/i>). Las dificultades m\u00e1s generales en estos casos se centran en la captura, el almacenado, la b\u00fasqueda, compartici\u00f3n, el an\u00e1lisis,\u00a0y visualizaci\u00f3n<\/strong>.<\/p>\n

El l\u00edmite superior de procesamiento se ha ido desplazando a lo largo de los a\u00f1os, de esta forma los l\u00edmites que estaban fijados en 2008 rondaban los \u00f3rdenes de\u00a0petabytes<\/a>\u00a0a\u00a0zettabytes<\/a>\u00a0de informaci\u00f3n.<\/p>\n

Los cient\u00edficos con cierta regularidad encuentran limitaciones<\/strong> debido a la gran cantidad de datos en ciertas \u00e1reas, tales como la\u00a0meteorolog\u00eda, la\u00a0gen\u00f3mica,\u00a0la\u00a0conect\u00f3mica, las complejas simulaciones de procesos f\u00edsicos,\u00a0y las investigaciones relacionadas con los procesos biol\u00f3gicos y ambientales.<\/p>\n

Las limitaciones tambi\u00e9n afectan a los\u00a0motores de b\u00fasqueda en Internet, a los sistemas\u00a0finanzas\u00a0y a la inform\u00e1tica de negocios.<\/p>\n

Los\u00a0data sets\u00a0crecen en volumen debido en parte a la introducci\u00f3n de informaci\u00f3n ubicua procedente de los\u00a0sensores inal\u00e1mbricos\u00a0y los dispositivos m\u00f3viles del constante crecimiento<\/strong> de los hist\u00f3ricos de aplicaciones (logs), c\u00e1maras (sistemas de\u00a0teledetecci\u00f3n), micr\u00f3fonos, lectores de\u00a0radio-frequency identification.<\/p>\n

La capacidad para almacenar datos de la humanidad se ha doblado a un ritmo de cuarenta meses desde los\u00a0a\u00f1os ochenta.En 2012 , cada d\u00eda fueron creados cerca de 2,5 trillones\u00a0 de bytes de datos.<\/p>\n

“Big data”\u00a0 ha incrementado la demanda de especialistas<\/strong> en gesti\u00f3n de la informaci\u00f3n y empresas como Software AG, Oracle Corporation, IBM, Microsoft, SAP, EMC y HP<\/strong> se han gastado m\u00e1s de 15 millones de d\u00f3lares<\/strong> en proyectos de software que s\u00f3lo se especializan en la gesti\u00f3n de datos y an\u00e1lisis. En 2010, este sector por s\u00ed solo val\u00eda m\u00e1s de\u00a0 100 mil millones de d\u00f3lares y est\u00e1 creciendo a casi el 10 por ciento al a\u00f1o: Aproximadamente el doble de r\u00e1pido que el negocio del software en su conjunto<\/p>\n

Las econom\u00edas desarrolladas hacen uso cada vez mayor de las tecnolog\u00edas de uso intensivo de datos. Hay 4,6 millones de suscripciones de tel\u00e9fonos m\u00f3viles en todo el mundo y hay entre mil millones y 2 billones de personas con acceso a Internet.<\/p>\n

La Capacidad efectiva del mundo para el intercambio de informaci\u00f3n a trav\u00e9s de redes de telecomunicaciones era 281 petabytes en 1986, 471 petabytes en 1993, 2,2 exabytes en 2000, 65 exabytes en 2007, y se prev\u00e9 que la cantidad de tr\u00e1fico que fluye a trav\u00e9s de Internet alcanzar\u00e1 los 667 exabytes anuales para el a\u00f1o 2013.<\/p>\n

En 2004, Google public\u00f3 un documento sobre un proceso llamado MapReduce<\/strong> que utiliza dicha arquitectura. El Framework MapReduce<\/strong> ofrece un modelo de programaci\u00f3n paralela y la aplicaci\u00f3n asociada para procesar gran cantidad de datos. Con MapReduce, las consultas se dividen y se distribuyen a trav\u00e9s de los nodos paralelos y procesamiento<\/strong> en paralelo (El Map Step<\/strong>). Este framework tuvo un \u00e9xito incre\u00edble, y motivo a que otros quisieran copiar el algoritmo. Esto condujo a que, una implementaci\u00f3n del framewok MapReduce fuese adoptado por un proyecto de c\u00f3digo abierto<\/strong> de Apache<\/strong> llamado Hadoop<\/strong>, pero como desarrollar\u00e9 m\u00e1s adelante no es el \u00fanico.<\/p>\n

Respecto a la tecnolog\u00eda<\/b><\/p>\n

Big Data requiere tecnolog\u00edas excepcionales<\/strong> para procesar eficientemente grandes cantidades de datos dentro de unos tiempos transcurridos que sean tolerables<\/strong>. Un informe de McKinsey<\/strong> (una de las mayores consultoras del mundo) en 2011 sugiere que las tecnolog\u00edas adecuadas incluyen las pruebas A \/ B, de reglas de asociaci\u00f3n de aprendizaje, clasificaci\u00f3n, an\u00e1lisis de conglomerados, crowdsourcing, fusi\u00f3n de datos y la integraci\u00f3n, el aprendizaje conjunto, los algoritmos gen\u00e9ticos, aprendizaje autom\u00e1tico, procesamiento del lenguaje natural, redes neuronales, reconocimiento de patrones , detecci\u00f3n de anomal\u00edas, modelos de predicci\u00f3n, regresi\u00f3n, an\u00e1lisis de los sentimientos, procesamiento de se\u00f1ales, supervisados \u200b\u200by no supervisados \u200b\u200baprendizaje, simulaci\u00f3n, an\u00e1lisis de series temporales y la visualizaci\u00f3n<\/strong>.<\/span><\/p>\n

Grandes vol\u00famenes de datos multidimensionales<\/strong> tambi\u00e9n pueden ser representados como tensores<\/strong>, los cuales se pueden manejar de manera m\u00e1s eficiente mediante c\u00e1lculo tensor, tales como el aprendizaje subespacio multilineal<\/strong>.<\/p>\n

Las tecnolog\u00edas adicionales que se aplican a grandes vol\u00famenes de datos incluyen bases de datos masivos de procesamiento paralelo (MPP<\/strong> \/Massively Parallel-Processing) , basado en b\u00fasquedas aplicaciones de miner\u00eda de datos<\/strong>, redes de sistemas de archivos distribuidos, bases de datos distribuidas<\/strong>, la infraestructura basada en la nube (aplicaciones, almacenamiento y recursos inform\u00e1ticos) e Internet.<\/p>\n

Algunas, pero no todas las bases de datos relacionales MPP tienen la capacidad de almacenar y gestionar petabytes de datos. Esto impl\u00edcita la capacidad de cargar, controlar, copias de seguridad y optimizar el uso de las grandes tablas de datos en el RDBMS.<\/p>\n

Los profesionales que emplean grandes procesos de an\u00e1lisis de datos son generalmente hostiles al almacenamiento compartido<\/strong>, m\u00e1s lento, prefiriendo<\/strong> el almacenamiento de conexi\u00f3n directa<\/strong> (DAS) en sus diversas formas de disco de estado s\u00f3lido (SSD<\/strong>) a alta capacidad SATA\u00a0<\/strong> dentro de los nodos de procesamiento en paralelo.<\/p>\n

La percepci\u00f3n es que el almacenamiento compartido en \u00a0arquitecturas SAN y NAS son relativamente lentas<\/strong>, complejas y costosas. Entrega de informaci\u00f3n real o casi en tiempo real es una de las caracter\u00edsticas definitorias de an\u00e1lisis de Big Data. Por lo tanto, se evita la latencia cuando y donde sea posible. \u00a0El costo de una SAN en la escala necesaria para las aplicaciones de an\u00e1lisis es mucho m\u00e1s alto que otras t\u00e9cnicas de almacenamiento.<\/p>\n

Hay ventajas y desventajas para el almacenamiento compartido en el an\u00e1lisis de datos grandes, pero los profesionales del an\u00e1lisis a partir de 2011 no lo est\u00e1n muy a favor<\/strong>.<\/p>\n

CRITICAS<\/strong><\/span><\/p>\n

Las cr\u00edticas al paradigma de Big Data son de dos tipos, los que cuestionan las implicaciones del enfoque de s\u00ed mismo<\/strong>, y los que cuestionan la forma<\/strong> en que se hace actualmente.<\/p>\n

“Un problema fundamental es que no sabemos mucho acerca de los micro-procesos emp\u00edricos subyacentes que conducen a la aparici\u00f3n de las redes Big Data”.\u00a0 En su cr\u00edtica, Snijders, Matzat y\u00a0 Reips \u00a0matizan que las suposiciones se hacen acerca de las propiedades matem\u00e1ticas que no pueden en absoluto reflejar lo que realmente est\u00e1 sucediendo a nivel de micro-procesos<\/strong>.<\/p>\n

Mark Graham se ha centrado en particular en la idea de que siempre se van a necesitar grandes vol\u00famenes de datos para ser analizados en sus contextos sociales, econ\u00f3micos y pol\u00edticos. A pesar de que las empresas invieren grandes sumas para obtener una visi\u00f3n de la informaci\u00f3n que entra por los proveedores y clientes, menos del 40% de los empleados tienen procesos y habilidades lo suficientemente maduros para hacerlo interpretarlos<\/strong>. Para superar este d\u00e9ficit de conocimiento, El big data debe ser complementada con “gran juicio”, seg\u00fan un art\u00edculo publicado en la Harvard Business Review.<\/p>\n

En la misma l\u00ednea, se ha se\u00f1alado que las decisiones basadas en el an\u00e1lisis de grandes vol\u00famenes de datos est\u00e1n inevitablemente basados en informaci\u00f3n del pasado, o, como mucho, la actual<\/strong>. Pero alimentados por un gran n\u00famero de datos sobre experiencias pasadas, los algoritmos pueden predecir el desarrollo futuro si el futuro es similar al pasado.<\/p>\n

En la Salud y la biolog\u00eda, los m\u00e9todos cient\u00edficos convencionales se basan en la experimentaci\u00f3n. Para estos enfoques, el factor limitante son los datos relevantes que puedan confirmar o refutar la hip\u00f3tesis inicial.\u00a0 Un nuevo postulado se acepta ahora en biociencias: La informaci\u00f3n proporcionada por los datos en grandes vol\u00famenes sin hip\u00f3tesis previa es complementaria y a veces necesario para los enfoques convencionales basados \u200b\u200ben la experimentaci\u00f3n.<\/p>\n

Defensores de la privacidad<\/strong> del consumidor est\u00e1n preocupados por la amenaza a la vida privada<\/strong> representada por el aumento de almacenamiento e integraci\u00f3n de la informaci\u00f3n de identificaci\u00f3n personal.<\/p>\n

Danah Boyd ha expresado su preocupaci\u00f3n por el uso de grandes vol\u00famenes de datos en contentos privados descuidando la ciencia como la el objeto del estudio y muestra. Grupos de expertos han publicado varias recomendaciones a los pol\u00edticos para proteger la vida privada y el derecho a la intimidad.<\/p>\n

Respecto al Concepto de Miner\u00eda de Datos<\/strong><\/p>\n

La miner\u00eda de datos<\/b>\u00a0es\u00a0un subcampo interdisciplinario de\u00a0ciencias de la computaci\u00f3n\u00a0 y se define comos el proceso de c\u00e1lculo de descubrir patrones en grandes conjuntos de datos\u00a0que involucra m\u00e9todos en la intersecci\u00f3n de\u00a0la inteligencia artificial\u00a0,\u00a0aprendizaje autom\u00e1tico\u00a0,\u00a0las estad\u00edsticas\u00a0y\u00a0los sistemas de bases de datos.<\/p>\n

El objetivo general del proceso de miner\u00eda de datos es extraer informaci\u00f3n de un conjunto de datos y transformarla en una estructura comprensible para su uso posterior.<\/strong><\/p>\n

El t\u00e9rmino es una\u00a0palabra de moda\u00a0,\u00a0y con frecuencia es mal utilizado para referirse a cualquier tipo de datos a gran escala<\/strong> o de procesamiento de la informaci\u00f3n (\u00a0recogida\u00a0,\u00a0extracci\u00f3n\u00a0,\u00a0almacenamiento\u00a0,\u00a0an\u00e1lisis\u00a0y estad\u00edsticas), pero tambi\u00e9n se generaliza a cualquier tipo de\u00a0sistema de apoyo inform\u00e1tico, incluyendo\u00a0inteligencia artificial,aprendizaje autom\u00e1tico\u00a0y\u00a0la inteligencia empresarial.\u00a0En el uso de la palabra, la palabra clave es\u00a0el descubrimiento<\/i>, com\u00fanmente definido como “detectar algo nuevo”.<\/p>\n

La tarea real de la miner\u00eda de datos es el an\u00e1lisis autom\u00e1tico o semi-autom\u00e1tico de grandes cantidades de datos para extraer interesantes patrones previamente desconocidos<\/strong>, tales como grupos de registros de datos (\u00a0an\u00e1lisis de conglomerados\u00a0), los registros de inusuales (detecci\u00f3n de anomal\u00edas\u00a0) y dependencias (\u00a0miner\u00eda de reglas de asociaci\u00f3n\u00a0).\u00a0Esto generalmente implica el uso de t\u00e9cnicas de bases de datos tales como\u00a0\u00edndices espaciales\u00a0<\/strong>.<\/p>\n

Por ejemplo, el paso de la miner\u00eda de datos puede identificar varios grupos en los datos, que luego se puede utilizar para obtener resultados de la predicci\u00f3n m\u00e1s precisa, en un sistema de soporte de decisiones<\/strong>.<\/p>\n

La miner\u00eda de datos utiliza la informaci\u00f3n de los datos del pasado<\/strong> para analizar el resultado de un problema o situaci\u00f3n particular que pueda surgir.\u00a0La miner\u00eda de datos analiza los datos almacenados en gestores.\u00a0Esos datos particulares pueden venir de todas partes del negocio, desde la producci\u00f3n hasta la gesti\u00f3n<\/strong>.\u00a0Los gerentes tambi\u00e9n utilizan la miner\u00eda de datos para decidir sobre las estrategias de comercializaci\u00f3n de su producto<\/strong>.\u00a0Se pueden utilizar los datos para comparar y contrastar entre los competidores<\/strong>.\u00a0La miner\u00eda de datos interpreta los datos en el an\u00e1lisis en tiempo real que puede ser utilizada para aumentar las ventas, la promoci\u00f3n de nuevos productos, o eliminar producto que no est\u00e1 de valor a\u00f1adido a la empresa<\/strong>.<\/p>\n

 <\/p>\n

 <\/p>\n

Anexo Herramientas para el an\u00e1lisis de datos BIG DATA<\/strong><\/p>\n

http:\/\/es.wikipedia.org\/wiki\/Hadoop<\/a><\/p>\n

http:\/\/pig.apache.org\/<\/a><\/p>\n

http:\/\/hive.apache.org\/<\/a><\/p>\n

http:\/\/www.cloudera.com\/content\/cloudera\/en\/why-cloudera\/hadoop-and-big-data.html<\/a><\/p>\n

http:\/\/www.cloudera.com\/content\/cloudera\/en\/products\/cdh\/impala.html<\/a><\/p>\n

http:\/\/en.wikipedia.org\/wiki\/MapReduce<\/a><\/p>\n

 <\/p>\n

Os dejo unos enlaces de herramientas empleadas para el an\u00e1lisis estad\u00edstico.<\/strong><\/p>\n

Herramientas de an\u00e1lisis estad\u00edstico.<\/strong><\/p>\n

Statistical Analysis tools:<\/strong><\/p>\n