¿Qué es Big Data y por qué es importante para una organización?

La fácil definición de análisis, inteligencia empresarial y Big Data

Big Data Analítica. Minería de datos. Inteligencia de negocios. Hmmm

Pregunte a diez personas qué significan estos términos y es probable que obtenga quince respuestas diferentes. ¿Alguna vez quisiste una explicación simple de cada uno y cómo difieren (probablemente, ya que estás leyendo esto :)? Dejame explicar. (Para aquellos que desean una respuesta más detallada, consulte mi publicación reciente aquí: BI, Big Data, análisis: ¿Cuál es la diferencia? – Clear Peak)

[Los súper técnicos no siguen leyendo, lo siguiente te volverá loco].

En términos simples …

Business Intelligence (BI) es un método para comprender cómo le está yendo a una empresa al observar los datos en sus sistemas informáticos. Por ejemplo, si una empresa ejecutaba Salesforce.com: la plataforma de éxito del cliente para hacer crecer su negocio: la plataforma de éxito del cliente para hacer crecer su negocio para rastrear su actividad de ventas y SAP u Oracle para rastrear sus libros financieros, la inteligencia de negocios puede extraer los datos desde ambos sistemas en una única base de datos integrada (contenedor) y proporciona una vista simplificada de la información. Piense mirando al revés el desempeño de la compañía en múltiples sistemas en cuadros y gráficos. La tecnología se vuelve compleja pero el concepto es sencillo. Por cierto, los profesionales en Tecnología de la Información (TI) consideran que este tipo de datos están “estructurados”, que es otra forma de decir que los datos se encuentran en contenedores (de base de datos) que son fáciles de entender (bueno … al menos para nerds como yo) .

Por el contrario, Big Data es un método para comprender los patrones y comportamientos de las personas, como los clics en aplicaciones de redes sociales y sitios web corporativos (entre muchos otros). ¿Por qué una empresa querría hacer eso? Para que puedan determinar qué quieren los clientes (en función de su comportamiento) y brindarles una mejor experiencia “digital” para que puedan comprar más con el tiempo. A medida que la publicidad se traslada a las aplicaciones y a la web, esta capacidad se vuelve cada vez más importante a medida que se venden a usted y a mí. Por cierto, los profesionales en TI consideran que este tipo de datos son “no estructurados”, que es otra forma de decir que los datos se encuentran en archivos sueltos que deben recopilarse, integrarse y analizarse. Piense en tomar cientos de miles de notas escritas a mano y buscar información tiende a atravesarlas. Doloroso ¿verdad?

La minería de datos es un método para aplicar las matemáticas a grandes conjuntos de datos y encontrar tendencias útiles o interesantes. Piense en buscar “tendencias desconocidas conocidas” (tendencias que desea comprender pero que no ha resuelto) y “tendencias desconocidas desconocidas” (tendencias que no sabía buscar). La minería de datos puede ocurrir sobre los sistemas de BI y Big Data o cualquier otra base de datos ordinaria. La magia está en la capacidad de identificar cosas que suben o bajan juntas a través de conjuntos de datos que son simplemente demasiado grandes para que los humanos puedan clasificarlos. Es algo poderoso (especialmente para geeks como yo).

La analítica es un método para visualizar datos de una manera fácil de entender. Piense en un mapa de calor o diagrama de clúster. Nuestros cerebros están conectados para comprender imágenes y “los datos como una imagen” es de lo que se trata la analítica. Analytics puede ubicarse sobre los sistemas de BI y Big Data o cualquier otra base de datos ordinaria. Los análisis pueden contar historias con datos que no entenderemos de otra manera. Ahora esto es algo que todos podemos “entender”.

[ver más haciendo clic aquí]

Hola, tengo un artículo realmente útil aquí que puede ayudarte a entender Big Data.

Contiene todo lo que necesita saber: Big Data: solo tan perspicaz como los que lo analizan – Brandwatch
Un extracto –

“Inteligente, pero humilde, una de las premisas clave de Nate Silver es que si bien el llamado Big Data produce una rica fuente de información predictiva, es tan perspicaz como quienes lo analizan. En otras palabras, el análisis cuenta y, sin él, el uso a lo que ponemos datos es inaceptablemente falible …

… Es un momento emocionante en el mundo de los datos, y el uso que le damos a los datos y cómo manejamos el volumen, la variedad y la velocidad de Big Data es una pregunta que muchos afirman haber abordado con sus excelentes servicios o metodologías “.

Lea el artículo completo aquí: Big Data: solo tan perspicaz como los que lo analizan – Brandwatch

Algunas reflexiones sobre por qué es importante ¿Cuáles son los problemas con big data?

El mayor problema con los grandes datos verdaderos (datos masivos, menos estructurados, heterogéneos, difíciles de manejar, incluidos y más allá del rango de petabytes) es que son incomprensibles para los humanos a escala. No podemos conseguir máquinas que nos ayuden lo suficiente. Y, sin embargo, los grandes datos siguen creciendo. Entonces nos estamos ahogando en nuestros propios datos.

El aumento de la computación ubicua y cada vez más puntos finales que se comunican en sus propios circuitos de retroalimentación con la nube mantienen el crecimiento de los datos a tasas de dos dígitos. No podemos seguir el ritmo.

De la era de Zettabyte: tendencias y análisis

Los puntos finales, todos esos dispositivos portátiles y dispositivos portátiles encantadores, por ejemplo, o sensores, sin servidores en la nube para comunicarse y aprovechar la potencia de procesamiento son bastante inútiles, tanto depende del back-end o “la nube”. Estas máquinas en la nube sin las entradas humanas más inteligentes son inarticuladas, sin comprender a los brutos, incluso cuando están en grupos de miles y son fáciles de alcanzar. Y pueden amplificar el ruido o los errores en los datos tan fácilmente como amplificar la señal o proporcionar información, lo que no es útil. Entonces, ¿qué pueden ayudarnos a hacer?

Google hace más de una década desarrolló una forma en que Yahoo clonó para distribuir datos a través de grandes grupos de productos básicos y procesar trabajos por lotes simples para comenzar a extraer grandes conjuntos de datos sobre una base de lotes ad-hoc de manera rentable. Ese método ha evolucionado como Hadoop. Luego, en el frente de la base de datos más convencional, hay formas de escalar análisis usando tecnologías de bases de datos relacionales modificadas y no relacionales. Ver ¿Cómo se analizan los grandes datos?

Solo una pequeña fracción de la población es lo suficientemente experta con estos métodos para dar sentido a los grandes datos. (Ver Dar sentido a los grandes datos)

Hay pirámides de comprensión que los humanos tienen que construir con los datos que están generando. Solo el ápice de cada pirámide es accesible para la población en general. Se requiere mucho trabajo, la mayoría en la base de cada pirámide.

Así que imagina el dilema aquí como una pila de desafíos. Entre estos desafíos están los siguientes:

  1. Reconocimiento: identificación de qué es qué en los datos. Ver http://www-labs.iro.umontreal.ca
  2. Descubrimiento : formas eficientes de encontrar los datos específicos que pueden ayudarlo. Ver http://www.pwc.com/us/en/technol
  3. Modelado y simulación: formas inteligentes de modelar los problemas que los grandes datos pueden resolver para que las entradas humanas puedan dar como resultado salidas útiles. Ver http://www.pwc.com/us/en/technol
  4. Semántica : formas efectivas y eficientes de contextualizar los datos para que sean relevantes para individuos y grupos específicos. Ver http://www.pwc.com/us/en/technol
  5. Análisis : formas efectivas de analizar y visualizar los resultados de los datos. Consulte Reformar la fuerza laboral con las nuevas analíticas.
  6. Almacenamiento, transmisión y procesamiento : formas eficientes de tomar entradas humanas y actuar en lotes o transmisiones de grandes datos para poder extraer información de ellos. Reasignación del paisaje de la base de datos

Estas disciplinas solo están rascando la superficie del problema. Hay sub-desafíos debajo de los desafíos. Y cada desafío requiere su propio nivel especial de comprensión. Somos ineficientes en la asignación de recursos para resolver desafíos específicos de big data, debido a la creciente totalidad del problema mayor. Cada inversionista o individuo dispuesto y talentoso que trabaja el problema generalmente solo ve algunas piezas del problema.

Y luego, sin mencionar el tema de entender lo que los humanos quieren y necesitan para comenzar, o lo que el mundo natural necesita para sostener la vida a gran escala … Después de todo, esos son los problemas más fundamentales con los que todos estamos tratando de lidiar.

Las máquinas necesitarán grandes datos para ayudarnos a avanzar en el estado del arte de la analítica en muchas áreas del esfuerzo humano, incluida la protección del medio ambiente, así como la inteligencia residente en tales campos como la robótica, la realidad aumentada, los vehículos autónomos … La lista continúa y en. Algunas otras ideas sobre temas relacionados están aquí:
http://www.quora.com/Alan-Morrison/answers

Aunque ciertamente no es un término nuevo, ‘Big Data’ todavía está ampliamente forjado con conceptos erróneos o comprensión difusa. Big Data, aunque imposible de definir específicamente, generalmente se refiere a cantidades de almacenamiento de datos en exceso de un terabyte (TB).

Big Data tiene tres características principales: volumen (cantidad de datos), velocidad (velocidad de entrada y salida de datos), variedad (rango de tipos de datos y fuentes).

  • Volumen : el volumen describe la cantidad de datos generados por organizaciones o individuos. Big Data generalmente se asocia con esta característica.
  • Velocidad : la velocidad describe la frecuencia con la que se generan, capturan y comparten datos.
  • Variedad : Big data significa mucho más que filas y columnas. Significa texto, video y audio no estructurados que pueden tener impactos importantes en las decisiones de la compañía, si se analizan adecuadamente a tiempo.

Ejemplos de Big Data:

Un ejemplo de big data podría ser petabytes (1,024 terabytes) o exabytes (1,024 petabytes) de datos que consisten en miles de millones a billones de registros de millones de personas, todos de diferentes fuentes (por ejemplo, web, ventas, centro de contacto con clientes, redes sociales, dispositivos móviles datos y así sucesivamente). Los datos son típicamente datos poco estructurados que a menudo son incompletos e inaccesibles.

  • Twitter produce más de 90 millones de tweets por día.
  • eBay utiliza dos almacenes de datos a 7,5 petabytes y 40 PB, así como un clúster Hadoop de 40 PB para búsqueda, recomendaciones de consumidores y comercialización.
  • Walmart maneja más de 1 millón de transacciones de clientes cada hora, que se importan a bases de datos que se estima que contienen más de 2.5 petabytes (2560 terabytes) de datos, el equivalente a 167 veces la información contenida en todos los libros de la Biblioteca del Congreso de los EE. UU.

Big Data es una colección de conjuntos de datos grandes y complejos que ya no se pueden administrar con herramientas de administración de datos disponibles. Más que el tamaño, es la importancia del contenido lo que hace que los datos sean cruciales para las empresas. Sus datos deben ser accesibles y fácilmente recuperables para obtener las máximas ganancias. Sin embargo, la recopilación, el almacenamiento, la recuperación y el análisis de estos enormes datos plantean serios desafíos. Por lo tanto, surge la necesidad de soluciones de big data para gestionar datos locos de los tiempos actuales.

Big data se hace más grande con cada día que pasa y los datos comerciales continúan explotando. Las empresas buscan administrar y analizar eficientemente los datos comerciales para obtener una ventaja competitiva.

Fuente: Big Data Analytics

El proceso de escrutinio de grandes conjuntos de datos para descubrir patrones ocultos, enlaces desconocidos, tendencias del mercado, inclinaciones de los clientes y otra identificación de información comercial útil conocida como Big Data Analytics. El análisis de Big Data utiliza técnicas avanzadas para deducir información de grandes y diversos conjuntos de datos como estructurado / no estructurado, transmisión / lote o diferentes tamaños. Big Data es información disponible en gran volumen, alta velocidad o gran variedad. Los grandes datos provienen de sensores, dispositivos, video / audio, redes, archivos de registro, aplicaciones transaccionales, web y redes sociales, generados en tiempo real y a gran escala.

El análisis de Big Data permite a los analistas, investigadores y usuarios empresariales tomar decisiones mejores y más rápidas utilizando técnicas analíticas avanzadas como análisis de texto, aprendizaje automático, análisis predictivo, minería de datos, estadísticas y procesamiento de lenguaje natural, etc.

Las organizaciones están utilizando el poder de las acumulaciones proporcionadas por big data. La empresa utiliza los conocimientos proporcionados por grandes conjuntos de datos para que el proceso de toma de decisiones sea efectivo.

Inferir información valiosa de grandes cantidades de datos estructurados y no estructurados de distintas fuentes en diferentes formatos requiere la estructura y las herramientas adecuadas. Para obtener el máximo impacto comercial, este proceso requiere una combinación precisa de personas, procesos y herramientas analíticas.

· Información oportuna de la gran cantidad de datos almacenados en las bases de datos de la compañía, fuentes externas de terceros, Internet, redes sociales y sensores remotos.

· Monitoreo y pronóstico en tiempo real de eventos que impactan el desempeño del negocio o la operación

· Capacidad para encontrar, adquirir, extraer, manipular, analizar, conectar y visualizar datos con las herramientas

· Identificar información significativa que pueda mejorar la calidad de las decisiones.

· Mitigar el riesgo optimizando las decisiones complejas de eventos no planificados más rápidamente

· Aborda la velocidad y escalabilidad, movilidad y seguridad, flexibilidad y estabilidad.

Inspira Enterprise: el proveedor líder de soluciones de TI en India ofrece las mejores soluciones de análisis en asociación con SAS.