Data Application para Analytics
Em 2022, o Modern Data Stack é um hype fundamental. Uma nova geração de ferramentas para criar Data Apps surge oferecendo facilidade de uso semelhante a um painel, com muito mais flexibilidade no back-end e no front-end.
As aplicações de dados modernas são analíticas, focadas em coletar insights (não transacional). Elas permitem que os usuários naveguem pelos dados em alto nível, combinem-os com outros conjuntos para exploração e façam pesquisas aprofundadas.
O que há de errado com o status quo?
Em 2021, à medida que o restante da stack de dados amadurece a uma velocidade vertiginosa, os painéis antigos não são mais suficientes como saída padrão da análise de dados.
Assim como as aplicações de dados, o BI é analítico, baseando-se em diversos conjuntos de dados para produzir insights úteis. As semelhanças param por aí. A saída de BI – relatórios executivos e painéis de analistas – tende a ser estática ou lenta, pois os data warehouses não foram construídos com velocidade ou simultaneidade em mente. Além disso, na maioria dos casos de uso de BI, você está analisando agregações históricas de longa duração dos dados. Em contraste, os aplicativos de dados estão analisando dados em tempo real para afetar decisões e ações imediatas.
Muitas aplicações fornecem dados direcionados que são relevantes para usuários, dispositivos ou máquinas individuais. Por exemplo, a personalização do cliente envolve a junção de informações históricas de um usuário específico com suas interações mais recentes no site. A otimização de rotas envolve projetar uma rota com base nesse veículo específico e na maneira ideal de chegar ao seu destino. Isso requer proficiência em pesquisas e consultas analíticas para fornecer insights rápidos.
DataViz geralmente são insuficientes para o analista de dados, forçado a encaixar seu trabalho em uma série de blocos sem contexto. Também são quase sempre insuficientes para o cientista de dados, incapaz de canalizar facilmente os resultados de sua modelagem para uma ferramenta de painel do tipo apontar e clicar. Podem ser insuficientes até mesmo para o construtor de painéis, condenado eternamente a “criar uma narrativa” a partir de uma página cheia de blocos quadrados e filtros inflexíveis.
As ferramentas de BI, apesar de todo o seu grande poder, têm duras limitações. Os usuários podem ler dados facilmente, mas essa interface amigável é uma faca de dois gumes que dificulta tanto a flexibilidade dos relatórios quanto o nível de interatividade. Eles também são tipicamente limitados à análise baseada em SQL, fechando a porta para uma grande parte do trabalho feito por equipes de dados em outras linguagens.
O principal poder de aderência dos painéis é que, geralmente, eles são bastante suficientes para o consumidor do dashboard, ou pelo menos mais suficientes do que as alternativas disponíveis. Para as partes interessadas que precisam agir nos dados, os painéis são definidos de forma padrão, muito fáceis de consumir e, o mais importante, exigem zero sobrecarga técnica para carregar e ler.
Isso contrasta com algo como um Jupyter Notebook, que é excelente para análises de dados mais complexas, mas, de forma realista, não pode ser compartilhado com partes interessadas não técnicas. O mesmo vale para uma infinidade de outras maneiras inteligentes de fornecer análise de dados: você pode criar coisas incríveis, mas elas não são úteis porque ninguém pode usá-las. E todos podem clicar em um link para abrir um painel simples.
Mas todos também podem usar planilhas do Excel, Google Docs, PowerPoints e PDFs. A inadequação dos painéis de ferramentas de BI como um modelo para análises ricas não impede que essa análise aconteça, apenas cria um “mercado negro” de trabalho de dados ad-hoc na maioria das organizações. Quem nunca enviou ou recebeu um ModelOutput-final(1).csv, tirou uma captura de tela de um Jupyter Notebook para copiar em um slide ou baixou um relatório de sua ferramenta de BI para abrir no Excel de maneira que você pudesse ajustar aquele detalhe que ela não deixaria você fazer?
Este é o verdadeiro problema de confiar apenas em painéis como saída padrão no mundo dos dados. Não é apenas sobre o quão eles são insuficientes como veículo para análise de dados complexos. É que suas deficiências provocam um submundo caótico de produtos de dados ainda piores, que geralmente são estáticos e obsoletos.
Então, qual é a melhor maneira?
Na verdade, não é tão inovador. Todos do lado da análise da equação querem mais flexibilidade, e todos do lado do consumo querem simplicidade, embora não às custas da interatividade. Ambos os lados podem concordar com o fato de que é confuso ter um conjunto de documentos soltos, sem versão, voando por aí.
“Data Application” é um termo abrangente para uma variedade de produtos de dados diferentes que permitem análises ricas e apresentação simples. Os aplicativos de dados podem parecer muito diversos – um painel simples de apontar e clicar, um documento de estilo de história com gráficos ao vivo, uma ferramenta de transformação de dois botões – mas sempre apresentam uma saída simples e concisa que contradiz um back-end de análise muito flexível. Assim como os sites, os data apps podem ser independentes e facilmente compartilhados com um grande público.
As planilhas do Excel são, na verdade, um ótimo exemplo de um aplicativo de dados (rudimentar)! A rica flexibilidade e complexidade estão disponíveis para o analista tecnicamente avançado, mas uma interface simples e interativa é apresentada ao usuário final. Talvez o Excel não seja o exemplo mais de ponta, mas serve para destacar o leque de possibilidades para o que pode ser considerado uma aplicação de dados. Para aqueles que duvidam da flexibilidade do Excel…
Algumas grandes organizações resolveram esse cenário criando aplicativos de dados sob medida, com infraestrutura e estruturas domésticas criadas por suas próprias equipes de engenharia. Embora esses aplicativos de dados únicos possam ser personalizados para atender a qualquer necessidade, a sobrecarga de desenvolvê-los e mantê-los é extremamente alta. Essa abordagem simplesmente não vale a pena para 99% das equipes.
As equipes de dados não precisam de acesso a um exército de desenvolvedores web esperando para transformar seus notebooks em aplicações web completas. Eles certamente não precisam aprender React por conta própria para trazer essa capacidade interna. As equipes de dados precisam apenas de uma estrutura para fazer análises e compartilhá-las, e a solução mais produtiva está no MDS, não em aplicações web artesanais e pontuais.
Uma nova integrante no MDS (Modern Data Stack)
Há uma nova geração de ferramentas surgindo nesse espaço que capacitam as equipes de dados a criar rapidamente Data Applications para toda sua organização. Além de permitir que os analistas criem interfaces mais flexíveis para os dados, essas ferramentas combinam a análise e a saída sem criar fragmentação em várias ferramentas. Isso significa que os profissionais de dados podem usar qualquer linguagem e estrutura que desejarem sem precisar separar seu trabalho da realidade por meio de capturas de tela ou exportação.
O Streamlit e o Dash permitem que os usuários façam a mesma coisa sem sair do Python, que se tornou a linguagem de script mais popular no mundo dos dados. O Hex adota uma abordagem híbrida, permitindo que os usuários façam análises em Python e SQL e, em seguida, usem um construtor de aplicativos de arrastar e soltar para construir Data Apps.
Todas essas ferramentas visam preencher a lacuna de compartilhamento entre profissionais de dados (técnicos) e consumidores de dados (menos técnicos) sem que nenhuma das partes precise fazer sacrifícios. Essa é a promessa dos Data Apps: análises ricas, saídas facilmente compartilhadas e consumidas e baixa sobrecarga para os times.
Conclusão
Os sistemas transacionais têm sido capazes de fornecer consultas simples e rápidas, mas não fornecem análises complexas. Os data warehouses podem conter petabytes de dados, mas você fica preso esperando segundos a minutos para carregar as consultas analíticas.
Felizmente, está surgindo um novo ecossistema de ferramentas para dar suporte a esses tipos de data applications.
Os profissionais de dados merecem continuar trabalhando com quaisquer linguagens e estruturas com as quais estejam familiarizados, sem precisar recorrer a exportações pontuais, capturas de tela órfãs ou ferramentas de BI inflexíveis na hora de compartilhar resultados com as partes interessadas.
Os consumidores de dados merecem acesso fácil a produtos de dados operacionalmente úteis e interativos. Eles nunca precisam pedir à equipe de dados um novo dump csv com uma entrada alterada. Eles também não deveriam ter que consumir todos os relatórios por meio do mesmo layout de painel cansativo!
Os painéis padrão merecem uma pausa. Já se passaram algumas décadas tentando atender às expectativas de todos sobre o que um bom relatório de dados deveria ser. Eles podem descansar e voltar a fazer os relatórios básicos de BI de primeira linha em que se destacam.
Arquivos csv soltos e decks de slides obsoletos merecem… o que quer que aconteça com eles. Sem piedade para dados ruins.
À medida que o Modern Data Stack continua a se expandir, as equipes de dados terão mais opções do que nunca quando se trata de trabalhar e compartilhar análises. O surgimento de aplicativos de dados e as ferramentas para construí-los manterão a análise de dados colaborativa, interativa e, acima de tudo: realmente útil.
A triggo.ai é uma startup especializada em MDS, com produtos e serviços para ajudar a acelerar os seus negócios. Fale com um especialista!
