{"id":3066,"date":"2022-02-14T10:00:00","date_gmt":"2022-02-14T13:00:00","guid":{"rendered":"https:\/\/uds.com.br\/blog\/?p=3066"},"modified":"2024-10-22T18:53:24","modified_gmt":"2024-10-22T21:53:24","slug":"amazon-kinesis-aws","status":"publish","type":"post","link":"https:\/\/uds.com.br\/blog\/amazon-kinesis-aws\/","title":{"rendered":"Amazon Kinesis – Tudo o que voc\u00ea precisa saber"},"content":{"rendered":"\n

Big data, data science, data driven e outros termos relacionados aos dados ganharam espa\u00e7o nos neg\u00f3cios. Com isso, o uso do Amazon Kinesis<\/mark><\/strong> tamb\u00e9m cresceu.<\/p>\n\n\n\n

Afinal, as empresas precisam ser orientadas por informa\u00e7\u00f5es confi\u00e1veis e atualizadas para entregar melhores resultados.<\/p>\n\n\n\n

O Kinesis \u00e9 uma solu\u00e7\u00e3o AWS que facilita a coleta e a an\u00e1lise de dados em streaming<\/mark><\/strong>. Ou seja, ajuda a superar os grandes desafios das estrat\u00e9gias de big data e data science: coletar e mensurar os dados.<\/p>\n\n\n\n

\"O<\/figure>\n\n\n\n

Mas o que \u00e9 streaming de dados?<\/strong><\/h2>\n\n\n\n

Este \u00e9 um conceito fundamental para entender o Amazon Kinesis. Primeiro, \u00e9 importante observar que, neste caso, a palavra streaming n\u00e3o tem nada a ver com a Netflix ou outras plataformas de entretenimento.<\/p>\n\n\n\n

Os dados em streaming s\u00e3o dados gerados continuamente por milhares de fontes e enviados simultaneamente em pequenos arquivos (normalmente, kilobytes). Neste exato momento, \u00e9 prov\u00e1vel que voc\u00ea esteja gerando este tipo de informa\u00e7\u00e3o.<\/p>\n\n\n\n

Atividades comuns ao dia a dia de qualquer pessoa na internet criam esses dados. Compras online, acompanhamento de pre\u00e7os de a\u00e7\u00f5es, movimentos em jogos, navega\u00e7\u00e3o em redes sociais, sensores de iOT (Internet das coisas) e uso de apps com navega\u00e7\u00e3o geoespacial (Waze e Uber, por exemplo) s\u00e3o opera\u00e7\u00f5es que fornecem um enorme volume de informa\u00e7\u00f5es.<\/p>\n\n\n\n

O grande problema \u00e9: como utiliz\u00e1-las em benef\u00edcio do neg\u00f3cio? Afinal, processar tantos dados e gerar uma boa visibilidade para a empresa n\u00e3o \u00e9 tarefa f\u00e1cil.<\/p>\n\n\n\n

Os modelos tradicionais de a\u00e7\u00f5es ligadas \u00e0 intelig\u00eancia de dados n\u00e3o atuam de forma simult\u00e2nea. O padr\u00e3o \u00e9 fazer a coleta durante a execu\u00e7\u00e3o das atividades, mas n\u00e3o fazer o carregamento e o tratamento dessas informa\u00e7\u00f5es imediatamente. O normal \u00e9 trabalhar com isso de forma peri\u00f3dica.<\/p>\n\n\n\n

\u00c9 para simplificar esta din\u00e2mica que o Kinesis existe. A ferramenta permite que os processos de coleta e an\u00e1lise sejam realizados ao vivo. Isso permite que a empresa corrija um problema instantaneamente ou aumente rapidamente a escala de uma a\u00e7\u00e3o que est\u00e1 trazendo resultados positivos.<\/p>\n\n\n\n

\"O<\/figure>\n\n\n\n

O que \u00e9 o Amazon Kinesis?<\/strong><\/h2>\n\n\n\n

\u00c9 importante entender que n\u00e3o existe o Kinesis e, sim, os Kinesis, no plural. S\u00e3o quatro modelos desse servi\u00e7o, com diferentes recursos e que, em alguns casos, podem ser utilizados juntos.<\/p>\n\n\n\n

Amazon Kinesis Video Streams<\/strong><\/h3>\n\n\n\n

\u00c9 uma plataforma de v\u00eddeo stream.<\/p>\n\n\n\n

Nela, \u00e9 poss\u00edvel capturar, processar e armazenar v\u00eddeos de diversos tipos de dispositivos, como smartphones, c\u00e2meras de seguran\u00e7a, c\u00e2meras tradicionais, radares, drones e outros.<\/p>\n\n\n\n

A aplica\u00e7\u00e3o do Kinesis Video Streams \u00e9 bastante variada: uma das principais possibilidades \u00e9 criar aplicativos para distribuir cursos, treinamentos, jogos e esportes usando streaming de v\u00eddeos ao vivo (Live Streaming) ou gravados (Streaming On Demand).<\/p>\n\n\n\n

Amazon Kinesis Data Streams<\/strong><\/h3>\n\n\n\n

\u00c9 o recurso mais tradicional do Kinesis e est\u00e1 ligado \u00e0 captura, processamento e armazenamento de fluxos de dados, o que permite a an\u00e1lise desses dados em tempo real.<\/p>\n\n\n\n

No caso, o volume de dados suportado pelo Kinesis Data Streams \u00e9 muito grande: s\u00e3o gigabytes de informa\u00e7\u00f5es por segundo e que podem vir de centenas de milhares de origens diferentes.<\/p>\n\n\n\n

A capacidade \u00e9 definida pela quantidade de shards, que s\u00e3o fragmentos horizontais de um banco de dados. Cada peda\u00e7o \u00e9 mantido em uma inst\u00e2ncia do servidor e \u00e9 respons\u00e1vel pelo processamento de um fluxo espec\u00edfico. Dessa forma, a carga fica espalhada e a velocidade para acess\u00e1-la \u00e9 maior.<\/p>\n\n\n\n

No Amazon Kinesis Data Streams, um shard suporta 1MB\/s ou at\u00e9 1000 mensagens por segundo. Portanto, para uma demanda de desempenho de 20MB\/s, s\u00e3o necess\u00e1rios 20 shards.<\/p>\n\n\n\n

Segundo a Amazon, o Kinesis Data Streams, ou simplesmente KDS, \u00e9 muito usado em softwares e plataformas para acompanhar transa\u00e7\u00f5es financeiras, feeds de redes sociais e a\u00e7\u00f5es de rastreamento de localiza\u00e7\u00e3o, que geram uma grande quantidade de informa\u00e7\u00f5es.<\/p>\n\n\n\n

A partir da coleta, \u00e9 poss\u00edvel analisar os dados e tomar decis\u00f5es imediatas. Um exemplo dessa aplica\u00e7\u00e3o \u00e9 visualizar uma falha do sistema e conseguir corrigi-la a tempo para n\u00e3o prejudicar os usu\u00e1rios.<\/p>\n\n\n\n

Amazon Kinesis Data Firehose<\/strong><\/h3>\n\n\n\n

\u00c9 a solu\u00e7\u00e3o para carregar dados de streaming em data lakes, data warehouses e servi\u00e7os de an\u00e1lise.<\/p>\n\n\n\n

O funcionamento \u00e9 bastante simples. O primeiro passo \u00e9 direcionar as diferentes origens de dados para o Kinesis Firehose. Ao passar pela ferramenta, as informa\u00e7\u00f5es ser\u00e3o separadas, compactadas, transformadas (usando uma fun\u00e7\u00e3o Lambda, por exemplo) e criptografadas, para diminu\u00edrem de tamanho e ficarem mais seguras.<\/p>\n\n\n\n

Depois, o Firehose ser\u00e1 respons\u00e1vel por enviar os dados transformados ao destino desejado.<\/p>\n\n\n\n

Nesse processo, n\u00e3o h\u00e1 nenhum problema de existir um alto volume de informa\u00e7\u00f5es, pois o Kinesis Data Firehose escala automaticamente, quando h\u00e1 essa demanda.<\/p>\n\n\n\n

Amazon Kinesis Data Analytics<\/strong><\/h3>\n\n\n\n

\u00c9 utilizado para an\u00e1lise de dados ao vivo.<\/p>\n\n\n\n

O Kinesis Data Analytics funciona da seguinte forma: a partir da captura das informa\u00e7\u00f5es, ele entra em a\u00e7\u00e3o para consult\u00e1-las e analis\u00e1-las. Ap\u00f3s isso, envia esse conte\u00fado processado para ferramentas de an\u00e1lise.<\/p>\n\n\n\n

Nessas plataformas, a empresa, que est\u00e1 usando o Data Analytics, poder\u00e1 criar alertas. Assim, se determinadas informa\u00e7\u00f5es aparecerem e algo estiver fora do padr\u00e3o estabelecido, ser\u00e1 poss\u00edvel executar uma a\u00e7\u00e3o de corre\u00e7\u00e3o do problema.<\/p>\n\n\n\n

\"O<\/figure>\n\n\n\n

Os benef\u00edcios de usar o Amazon Kinesis<\/strong><\/h2>\n\n\n\n

1. Instantaneidade<\/strong><\/h3>\n\n\n\n

O Amazon Kinesis permite consumir, armazenar e processar dados em tempo real. O delay entre a escrita do dado e a possibilidade de analis\u00e1-lo \u00e9 menor que um segundo. Esse \u00e9 o grande diferencial da ferramenta e garante insights instant\u00e2neos, que tendem a fazer total diferen\u00e7a no andamento das companhias que usam o Kinesis.<\/p>\n\n\n\n

2. Pay-as-you-go<\/strong><\/h3>\n\n\n\n

A empresa cliente s\u00f3 \u00e9 cobrada pelo o que usar. Este modelo de cobran\u00e7a da Amazon diminui os custos, porque evita a compra de recursos al\u00e9m do necess\u00e1rio.<\/p>\n\n\n\n

3. Escal\u00e1vel<\/strong><\/h3>\n\n\n\n

Outra caracter\u00edstica das principais solu\u00e7\u00f5es AWS tamb\u00e9m est\u00e1 presente no Kinesis. A solu\u00e7\u00e3o \u00e9 altamente escal\u00e1vel e capaz de lidar com o processamento de dados de centenas de milhares de origens com alta velocidade de entrega, sendo ideal para plataformas de streaming, jogos on-line e plataformas de e-commerce.<\/p>\n\n\n\n

4. Totalmente gerenciado<\/strong><\/h3>\n\n\n\n

Com o Kinesis, n\u00e3o h\u00e1 necessidade de nenhum tipo de infraestrutura extra. A solu\u00e7\u00e3o \u00e9 capaz de executar qualquer modelo de aplicativo de streaming.<\/p>\n\n\n\n

A UDS \u00e9 parceira da AWS e, com 20 anos de hist\u00f3ria, j\u00e1 executou mais de 5 mil projetos para 900 clientes.<\/p>\n\n\n\n

O trabalho com Kinesis e outras ferramentas faz parte do cotidiano de projetos desenvolvidos pela UDS em grandes empresas como Calvin Klein, DHL, C&A, ONU, TOTVS, Yamaha, Madero e outras. Trabalhar com dados \u00e9 fundamental, mas, sem a orienta\u00e7\u00e3o correta, a companhia pode ficar perdida no emaranhado de informa\u00e7\u00f5es.<\/p>\n\n\n\n

No projeto do CardPay, a carteira digital do Grupo Card, a UDS trabalhou dessa forma.<\/mark> <\/strong>Utilizando as solu\u00e7\u00f5es AWS Lake Formation e AWS Kinesis, a empresa cliente passou a ter uma visibilidade melhor dos dados e pode tomar decis\u00f5es em tempo real. Isso tudo sem abrir m\u00e3o de toda a estrutura de seguran\u00e7a necess\u00e1ria para as opera\u00e7\u00f5es financeiras.<\/p>\n\n\n\n

Fale com os especialistas da UDS<\/a> <\/strong>e entenda como as solu\u00e7\u00f5es AWS podem ajudar a sua empresa a coletar, tratar e armazenar dados em grandes volumes.<\/p>\n","protected":false},"excerpt":{"rendered":"

Amazon Kinesis coleta e processa streams de dados em tempo real, ajudando empresas a tomar decis\u00f5es r\u00e1pidas. Ele processa dados como logs e eventos, otimizando opera\u00e7\u00f5es e gerando insights imediatos.<\/p>\n","protected":false},"author":19,"featured_media":4701,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[438],"tags":[],"yst_prominent_words":[],"_links":{"self":[{"href":"https:\/\/uds.com.br\/blog\/wp-json\/wp\/v2\/posts\/3066"}],"collection":[{"href":"https:\/\/uds.com.br\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/uds.com.br\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/uds.com.br\/blog\/wp-json\/wp\/v2\/users\/19"}],"replies":[{"embeddable":true,"href":"https:\/\/uds.com.br\/blog\/wp-json\/wp\/v2\/comments?post=3066"}],"version-history":[{"count":0,"href":"https:\/\/uds.com.br\/blog\/wp-json\/wp\/v2\/posts\/3066\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/uds.com.br\/blog\/wp-json\/wp\/v2\/media\/4701"}],"wp:attachment":[{"href":"https:\/\/uds.com.br\/blog\/wp-json\/wp\/v2\/media?parent=3066"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/uds.com.br\/blog\/wp-json\/wp\/v2\/categories?post=3066"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/uds.com.br\/blog\/wp-json\/wp\/v2\/tags?post=3066"},{"taxonomy":"yst_prominent_words","embeddable":true,"href":"https:\/\/uds.com.br\/blog\/wp-json\/wp\/v2\/yst_prominent_words?post=3066"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}