que é BIG DATA? Introdução, Tipos, Características, Exemplo

Antes de irmos para a introdução ao Big Data, você primeiro precisa saber

O que são dados?

As quantidades, caracteres ou símbolos nos quais as operações são realizadas por um computador, que podem ser armazenados e transmitidos na forma de sinais elétricos e gravados em mídia de gravação magnética, óptica ou mecânica.

Agora, vamos aprender a introdução do Big Data

O que é Big Data?

Big Data é uma coleção de dados de grande volume, mas crescendo exponencialmente com o tempo. São dados com tamanho e complexidade tão grandes que nenhuma das ferramentas tradicionais de gerenciamento de dados pode armazená-los ou processá-los com eficiência. Big data também é um dado, mas com um tamanho enorme.

Neste tutorial, você aprenderá,

Exemplos de Big Data

A seguir estão alguns dos exemplos de Big Data-

O Bolsa de Valores de Nova Iorque gera sobre um terabyte de novos dados comerciais por dia.

Mídia social

A estatística mostra que 500 + terabytes de novos dados são ingeridos nos bancos de dados do site de mídia social Facebook , todo dia. Esses dados são gerados principalmente em termos de uploads de fotos e vídeos, trocas de mensagens, colocação de comentários, etc.

Um único Motor a jato pode gerar Mais de 10 terabytes de dados em 30 minutos de tempo de vôo. Com muitos milhares de voos por dia, a geração de dados chega a muitos Petabytes.

Tipos de Big Data

A seguir estão os tipos de Big Data:

  1. Estruturada
  2. Não estruturado
  3. Semi-estruturado

Estruturada

Quaisquer dados que podem ser armazenados, acessados ​​e processados ​​na forma de formato fixo são denominados dados 'estruturados'. Ao longo do tempo, o talento em ciência da computação obteve maior sucesso no desenvolvimento de técnicas para trabalhar com esse tipo de dados (onde o formato é bem conhecido de antemão) e também na obtenção de valor dele. No entanto, hoje em dia, estamos prevendo problemas quando o tamanho desses dados aumenta muito; os tamanhos típicos estão na faixa de vários zetabytes.

Você sabe? 10vinte e umbytes igual a 1 zetabyte ou um bilhão de terabytes formulários para zetabyte .

Olhando para esses números, pode-se entender facilmente por que o nome Big Data é dado e imaginar os desafios envolvidos em seu armazenamento e processamento.

Você sabe? Os dados armazenados em um sistema de gerenciamento de banco de dados relacional são um exemplo de um 'estruturada' dados.

Exemplos de dados estruturados

Uma tabela 'Funcionário' em um banco de dados é um exemplo de Dados Estruturados

ID do Empregado Nome do empregado Gênero Departamento Salary_In_lacs
2365 Rajesh Kulkarni Macho Finança 650000
3398 Pratibha Joshi Fêmea Admin 650000
7465 Shushil Roy Macho Admin 500000
7500 Shubhojit Das Macho Finança 500000
7699 Priya Sane Fêmea Finança 550000

Não estruturado

Quaisquer dados com forma ou estrutura desconhecida são classificados como dados não estruturados. Além de serem enormes, os dados não estruturados apresentam vários desafios em termos de processamento para derivar valor deles. Um exemplo típico de dados não estruturados é uma fonte de dados heterogênea contendo uma combinação de arquivos de texto, imagens, vídeos, etc. esses dados estão em sua forma bruta ou formato não estruturado.

Exemplos de dados não estruturados

A saída retornada pela 'Pesquisa Google'

Semi-estruturado

Os dados semiestruturados podem conter as duas formas de dados. Podemos ver os dados semiestruturados como um formato estruturado, mas na verdade não é definido com, por exemplo, uma definição de tabela em relacional DBMS . Um exemplo de dados semiestruturados são dados representados em um arquivo XML.

Exemplos de dados semiestruturados

Dados pessoais armazenados em um arquivo XML-

Prashant RaoMale35 Seema R.Female41 Satish ManeMale29 Subrato RoyMale26 Jeremiah J.Male35

Crescimento de dados ao longo dos anos

Por favor, note que aplicação web os dados, que não são estruturados, consistem em arquivos de log, arquivos de histórico de transações, etc. Os sistemas OLTP são construídos para trabalhar com dados estruturados em que os dados são armazenados em relações (tabelas).

Características do Big Data

Big data pode ser descrito pelas seguintes características:

  • Volume
  • Variedade
  • Velocidade
  • Variabilidade

(i) Volume - O próprio nome Big Data está relacionado a um tamanho que é enorme. O tamanho dos dados desempenha um papel crucial na determinação do valor dos dados. Além disso, se um dado específico pode realmente ser considerado um Big Data ou não, depende do volume de dados. Por isso, 'Volume' é uma característica que precisa ser considerada ao lidar com Big Data.

(ii) Variedade - O próximo aspecto do Big Data é o seu variedade .

Variedade refere-se a fontes heterogêneas e à natureza dos dados, tanto estruturados quanto não estruturados. Nos primeiros dias, planilhas e bancos de dados eram as únicas fontes de dados consideradas pela maioria dos aplicativos. Hoje em dia, dados na forma de e-mails, fotos, vídeos, dispositivos de monitoramento, PDFs, áudio, etc. também estão sendo considerados nas aplicações de análise. Essa variedade de dados não estruturados apresenta certos problemas para armazenamento, mineração e análise de dados.

(iii) Velocidade - O termo 'velocidade' refere-se à velocidade de geração de dados. A rapidez com que os dados são gerados e processados ​​para atender às demandas, determina o potencial real dos dados.

O Big Data Velocity lida com a velocidade com que os dados fluem de fontes como processos de negócios, logs de aplicativos, redes e sites de mídia social, sensores, dispositivos móveis, etc. O fluxo de dados é maciço e contínuo.

(iv) Variabilidade - Isso se refere à inconsistência que às vezes pode ser mostrada pelos dados, dificultando assim o processo de ser capaz de manipular e gerenciar os dados de forma eficaz.

Benefícios do processamento de Big Data

A capacidade de processar Big Data traz vários benefícios, como

    • As empresas podem utilizar inteligência externa ao tomar decisões

O acesso a dados sociais a partir de mecanismos de pesquisa e sites como o Facebook e o Twitter estão permitindo que as organizações ajustem suas estratégias de negócios.

    • Melhor atendimento ao cliente

Os sistemas tradicionais de feedback do cliente estão sendo substituídos por novos sistemas projetados com tecnologias de Big Data. Nestes novos sistemas, Big Data e tecnologias de processamento de linguagem natural estão sendo usados ​​para ler e avaliar as respostas do consumidor.

    • Identificação antecipada de risco para o produto / serviços, se houver
    • Melhor eficiência operacional

As tecnologias de Big Data podem ser usadas para criar uma área de teste ou zona de aterrissagem para novos dados antes de identificar quais dados devem ser movidos para o armazém de dados . Além disso, essa integração de tecnologias de Big Data e data warehouse ajuda uma organização a descarregar dados acessados ​​com pouca frequência.

Resumo

  • Definição de Big Data: Big Data é definido como dados de grande tamanho. Bigdata é um termo usado para descrever uma coleção de dados de tamanho enorme, mas que cresce exponencialmente com o tempo.
  • Os exemplos de análise de Big Data incluem bolsas de valores, sites de mídia social, motores a jato, etc.
  • Big Data pode ser 1) estruturado, 2) não estruturado, 3) semiestruturado
  • Volume, variedade, velocidade e variação são algumas características de Big Data
  • Melhor atendimento ao cliente, melhor eficiência operacional, melhor tomada de decisões são algumas das vantagens do Bigdata