Big data, data science, data driven e outros termos relacionados aos dados ganharam espaço nos negócios. Com isso, o uso do Amazon Kinesis também cresceu.

Afinal, as empresas precisam ser orientadas por informações confiáveis e atualizadas para entregar melhores resultados.

O Kinesis é uma solução AWS que facilita a coleta e a análise de dados em streaming. Ou seja, ajuda a superar os grandes desafios das estratégias de big data e data science: coletar e mensurar os dados.


Mas o que é streaming de dados?

Este é um conceito fundamental para entender o Amazon Kinesis. Primeiro, é importante observar que, neste caso, a palavra streaming não tem nada a ver com a Netflix ou outras plataformas de entretenimento.

Os dados em streaming são dados gerados continuamente por milhares de fontes e enviados simultaneamente em pequenos arquivos (normalmente, kilobytes). Neste exato momento, é provável que você esteja gerando este tipo de informação.

Atividades comuns ao dia a dia de qualquer pessoa na internet criam esses dados. Compras online, acompanhamento de preços de ações, movimentos em jogos, navegação em redes sociais, sensores de iOT (Internet das coisas) e uso de apps com navegação geoespacial (Waze e Uber, por exemplo) são operações que fornecem um enorme volume de informações.

O grande problema é: como utilizá-las em benefício do negócio? Afinal, processar tantos dados e gerar uma boa visibilidade para a empresa não é tarefa fácil.

Os modelos tradicionais de ações ligadas à inteligência de dados não atuam de forma simultânea. O padrão é fazer a coleta durante a execução das atividades, mas não fazer o carregamento e o tratamento dessas informações imediatamente. O normal é trabalhar com isso de forma periódica.

É para simplificar esta dinâmica que o Kinesis existe. A ferramenta permite que os processos de coleta e análise sejam realizados ao vivo. Isso permite que a empresa corrija um problema instantaneamente ou aumente rapidamente a escala de uma ação que está trazendo resultados positivos.


O que é o Amazon Kinesis?

É importante entender que não existe o Kinesis e, sim, os Kinesis, no plural. São quatro modelos desse serviço, com diferentes recursos e que, em alguns casos, podem ser utilizados juntos.

Amazon Kinesis Video Streams

É uma plataforma de vídeo stream.

Nela, é possível capturar, processar e armazenar vídeos de diversos tipos de dispositivos, como smartphones, câmeras de segurança, câmeras tradicionais, radares, drones e outros.

A aplicação do Kinesis Video Streams é bastante variada: uma das principais possibilidades é criar aplicativos para distribuir cursos, treinamentos, jogos e esportes usando streaming de vídeos ao vivo (Live Streaming) ou gravados (Streaming On Demand).

Amazon Kinesis Data Streams

É o recurso mais tradicional do Kinesis e está ligado à captura, processamento e armazenamento de fluxos de dados, o que permite a análise desses dados em tempo real.

No caso, o volume de dados suportado pelo Kinesis Data Streams é muito grande: são gigabytes de informações por segundo e que podem vir de centenas de milhares de origens diferentes.

A capacidade é definida pela quantidade de shards, que são fragmentos horizontais de um banco de dados. Cada pedaço é mantido em uma instância do servidor e é responsável pelo processamento de um fluxo específico. Dessa forma, a carga fica espalhada e a velocidade para acessá-la é maior.

No Amazon Kinesis Data Streams, um shard suporta 1MB/s ou até 1000 mensagens por segundo. Portanto, para uma demanda de desempenho de 20MB/s, são necessários 20 shards.

Segundo a Amazon, o Kinesis Data Streams, ou simplesmente KDS, é muito usado em softwares e plataformas para acompanhar transações financeiras, feeds de redes sociais e ações de rastreamento de localização, que geram uma grande quantidade de informações.

A partir da coleta, é possível analisar os dados e tomar decisões imediatas. Um exemplo dessa aplicação é visualizar uma falha do sistema e conseguir corrigi-la a tempo para não prejudicar os usuários.

Amazon Kinesis Data Firehose

É a solução para carregar dados de streaming em data lakes, data warehouses e serviços de análise.

O funcionamento é bastante simples. O primeiro passo é direcionar as diferentes origens de dados para o Kinesis Firehose. Ao passar pela ferramenta, as informações serão separadas, compactadas, transformadas (usando uma função Lambda, por exemplo) e criptografadas, para diminuírem de tamanho e ficarem mais seguras.

Depois, o Firehose será responsável por enviar os dados transformados ao destino desejado.

Nesse processo, não há nenhum problema de existir um alto volume de informações, pois o Kinesis Data Firehose escala automaticamente, quando há essa demanda.

Amazon Kinesis Data Analytics

É utilizado para análise de dados ao vivo.

O Kinesis Data Analytics funciona da seguinte forma: a partir da captura das informações, ele entra em ação para consultá-las e analisá-las. Após isso, envia esse conteúdo processado para ferramentas de análise.

Nessas plataformas, a empresa, que está usando o Data Analytics, poderá criar alertas. Assim, se determinadas informações aparecerem e algo estiver fora do padrão estabelecido, será possível executar uma ação de correção do problema.


Os benefícios de usar o Amazon Kinesis

1. Instantaneidade

O Amazon Kinesis permite consumir, armazenar e processar dados em tempo real. O delay entre a escrita do dado e a possibilidade de analisá-lo é menor que um segundo. Esse é o grande diferencial da ferramenta e garante insights instantâneos, que tendem a fazer total diferença no andamento das companhias que usam o Kinesis.

2. Pay-as-you-go

A empresa cliente só é cobrada pelo o que usar. Este modelo de cobrança da Amazon diminui os custos, porque evita a compra de recursos além do necessário.

3. Escalável

Outra característica das principais soluções AWS também está presente no Kinesis. A solução é altamente escalável e capaz de lidar com o processamento de dados de centenas de milhares de origens com alta velocidade de entrega, sendo ideal para plataformas de streaming, jogos on-line e plataformas de e-commerce.

4. Totalmente gerenciado

Com o Kinesis, não há necessidade de nenhum tipo de infraestrutura extra. A solução é capaz de executar qualquer modelo de aplicativo de streaming.

A UDS é parceira da AWS e, com 20 anos de história, já executou mais de 5 mil projetos para 900 clientes.

O trabalho com Kinesis e outras ferramentas faz parte do cotidiano de projetos desenvolvidos pela UDS em grandes empresas como Calvin Klein, DHL, C&A, ONU, TOTVS, Yamaha, Madero e outras. Trabalhar com dados é fundamental, mas, sem a orientação correta, a companhia pode ficar perdida no emaranhado de informações.

No projeto do CardPay, a carteira digital do Grupo Card, a UDS trabalhou dessa forma. Utilizando as soluções AWS Lake Formation e AWS Kinesis, a empresa cliente passou a ter uma visibilidade melhor dos dados e pode tomar decisões em tempo real. Isso tudo sem abrir mão de toda a estrutura de segurança necessária para as operações financeiras.

Fale com os especialistas da UDS e entenda como as soluções AWS podem ajudar a sua empresa a coletar, tratar e armazenar dados em grandes volumes.

Leave A Reply