A visualização de dados é um forte aliado dos executivos e tomadores de decisões. Somente com ela é possível compreender  padrões nos dados, encontrar associações e realmente ter uma visão completa dos resultados para uma tomada de decisão.

Com o crescimento exponencial dos dados e a capacidade de processá-los em um Big Data, tornou a visualização de dados ainda mais importante e relevante. O grande desafio é como obter performance no momento dos gestores começarem a realizar as  descobertas.

Não existe frustração maior que a espera. Ninguém, durante uma determinada atividade, gosta de ficar horas esperando. Imagine você, gestor, realizando uma descoberta dos seus dados, aplicando filtros, fazendo drill down e drill up, e a aplicação de BI levar minutos para responder e apresentar o resultado esperado.

 

Essa demora pode até interferir no raciocínio que estava em mente e levar a perder a linha do pensamento. Bom, imagino que ninguém queira utilizar uma solução dessa.


 

Desafio de performance no Big Data

A performance, tempo de resposta da aplicação, é um dos grande desafios quando estamos falando de Big Data. Afinal, estamos falando de bilhões de registros. Como unir essa quantidade enorme de dados, em uma aplicação de visualização de dados, com performance e sem perda de dados?  Para isso deixaremos 3 dicas que ajudarão nesse objetivo.


 

# Dica 1: Acelerador de Big Data

Parece óbvio, mas o óbvio precisa ser dito 3 vezes, então vamos lá. O ecossistema mais básico de um Big Data é a utilização do Hadoop, HDFS para armazenamento e MapReduce para processamento.

 

A camada em que o MapReduce atua, pode ser substituída por outras soluções. Os aceleradores, como o Apache Spark. Esses acelerados trabalham de forma diferente do MapReduce. Eles utilizam a memória do Cluster Hadoop para realizar o processamento e por isso obtém até 100x mais performance. Comentamos mais sobre o Apache Spark em outro artigo.


 

# Dica 2: Visualização de dados adaptada ao Big Data

Outra dica relevante e muito importante é ser considerar a ferramenta de visualização de dados. Hoje podemos ver fabricantes de softwares de Business Intelligence, como a Qlik, que tem investido muito dos seus esforços em adaptar sua plataforma, por exemplo o Qlik Sense, para obter melhor performance quando o assunto é Big Data.

 

Nesse ponto preciso enfatizar a Qlik. Realmente estão fazendo um excelente trabalho. Tanto é que esse ano ela recebeu um prêmio de inovação da Cloudera (provedora de solução de Big Data). Confira.

 

A Qlik desenvolveu uma nova tecnologia de indexação de dados para Big Data e assim obteve sucesso em aumentando a performance das visualização de dados com grandes volumes.


 

# Dica 3: Utilize o conceito de Subset durante as análises

O conceito de subset é bem simples. Nada mais é do que fatiar a sua base de dados em pedaços menores. Dessa forma o processamento é feito em uma quantidade menor de registro e assim a performance é muito maior.

 

O grande desafio é como fazer um subset em tempo real de uma base de Big Data.

 

E mais uma vez eu volto a falar da Qlik. Estão fazendo um excelente trabalho quando o assunto é Big Data. Com esse propósito foi desenvolvido uma funcionalidade chamada “On Demand App”.

 

Seu propósito é justamente criar, em tempo de execução, um Subset do seu Big Data e assim oferecer uma excelente performance durante a exploração dos dados.

 

O funcionamento é simple e muito poderoso:

 

O gestor está fazendo uma análise por uma visão macro, ou seja, de todos os dados vindo de um Big Data. A partir do momento que ele começar a fazer as seleções e drills, iniciamos com a funcionalidade do “On Demand App”.

 

As seleções escolhidas pelo gestor são enviadas ao servidor do Qlik que cria um subset dos dados com base nessas seleções. Então, devolve um novo aplicativo contendo apenas os dados da seleção.

 

Esse comportamento garante alta performance ao usuário, além de permitir que ele volte ao cenário macro que estava anteriormente.

 

Acredito que com essas 3 dicas, você terá muito sucesso em otimizar a performance da sua visualização de dados em Big Data.

 

Gestores e tomadores de decisões não terão mais que esperar a aplicação responder para poder explorar os dados. Confie na Qlik como parceira de soluções.