Data Products para o melhor ROI de Analytics
Se você não sabe exatamente o que é Data Product, comece lendo este artigo: O que é Data Product?
Temos abordado de maneira enfática a necessidade de priorizar a governança de dados, o uso de data product como base de modelagem e mindset e, principalmente, o foco em aumentar o ROI e produzir valor. O objetivo deste artigo é funcionar como um driver neste sentido. Vamos lá?
No mundo atual, orientado por dados, as empresas estão coletando grandes quantidades de informações de várias fontes. No entanto, a mera ingestão de dados e criação de tabelas não é suficiente, as empresas devem encontrar uma maneira de colocá-los para trabalhar a fim de extrair insights valiosos que possam nortear em decisões críticas e impulsionar o crescimento.
Em vez da abordagem tradicional de replicar o trabalho para cada caso de uso, o modelo de produto de dados envolve a criação de soluções aproveitando produtos de dados padronizados e padrões de arquétipo de consumo. Essa abordagem simplifica a estratégia e a arquitetura de dados, reduz o trabalho e diminui o tempo necessário para que o valor gerado seja percebido. As organizações devem investir no conjunto certo de ferramentas e talentos para criar uma plataforma de dados robusta, com recursos de autoatendimento, para que as equipes de casos de uso criem soluções de forma rápida e fácil.
Embora todas as empresas reconheçam o poder dos dados, a maioria luta para liberar todo o seu potencial. O problema é que os investimentos em dados devem oferecer valor a curto prazo e, ao mesmo tempo, estabelecer as bases para o rápido desenvolvimento de usos futuros. Enquanto as tecnologias de dados evoluem de maneiras imprevisíveis, surgem novos tipos de dados e com volumes que aumentam dia após dia.
As experiências de empresas globais ilustram como as estratégias de dados predominantes hoje são ineficazes no gerenciamento desses desafios. Vamos dar o exemplo de dois casos.
O primeiro, um grande banco da Ásia-Pacífico, adotou a abordagem “big bang”, assumindo que poderia acomodar as necessidades de cada equipe de desenvolvimento de análise (engenharia de dados, analytics, ciência…) e usuário final de dados de uma só vez. A empresa lançou um programa massivo com o objetivo de criar pipelines para extrair todos os dados em seus sistemas fontes, limpá-los e agregá-los em um lake na nuvem, sem priorizar uma estratégia de governança, alinhando seus esforços com casos de uso de negócios e entregas de valor. Depois de passar quase três anos criando a nova plataforma, o banco descobriu que apenas alguns usuários, como aqueles que buscam dados históricos brutos para análise ad hoc, poderiam usá-la facilmente. Além disso, as necessidades arquitetônicas críticas de muitas aplicações em potencial, como feeds de dados em tempo real para ofertas personalizadas aos clientes, foram negligenciadas. Como resultado, o roadmap não gerou muito valor para a empresa.
A segunda empresa, um grande banco norte-americano, tinha equipes individuais explorando fontes de dados e sistemas existentes por conta própria e, em seguida, reunindo todas as tecnologias adicionais que seus casos de uso de negócios exigiam. As equipes criaram algum valor resolvendo desafios interessantes, como melhorar a segmentação de clientes para canais digitais e permitir relatórios de riscos eficientes. Mas o resultado geral foi uma confusão de pipelines de dados personalizados que não podiam ser facilmente reaproveitados. Cada equipe teve que começar do zero, o que tornou os esforços de transformação digital dolorosamente caros e lentos.
Então, se nem uma estratégia de dados monolítica nem de base funcionar, qual é a abordagem correta?
Descobrimos que as empresas têm mais sucesso quando tratam os dados como um produto. Quando uma empresa desenvolve um produto comercial, ela normalmente tenta criar uma oferta que possa atender às necessidades do maior número possível de usuários para maximizar as vendas. Muitas vezes, isso significa desenvolver um produto básico que pode ser personalizado para diferentes usuários. As montadoras de carros fazem isso, permitindo que os clientes adicionem uma variedade de opcionais, estofamento de couro, vidros escuros, dispositivos antirroubo e assim por diante aos modelos padrão.
Da mesma forma, os aplicativos digitais geralmente permitem que os usuários customizem seus painéis, incluindo a personalização do layout, esquemas de cores e conteúdo exibido, ou oferecem planos e estruturas de preços diferentes para diferentes necessidades do usuário.
Com o tempo, as empresas aprimoram seus produtos, adicionando novos recursos (modificações no motor que aumentam a economia de combustível em um carro ou novas funcionalidades em um aplicativo) e introduzem ofertas totalmente novas em resposta ao feedback do usuário, avaliações de desempenho e mudanças no mercado. Enquanto isso, as organizações buscam aumentar a eficiência da produção. Sempre que possível, eles reutilizam processos, máquinas e componentes existentes. (As montadoras, por exemplo, usam um chassi comum em carros diferentes e os desenvolvedores de aplicativos reutilizam blocos de código.) Tratar os dados da mesma maneira ajuda as empresas a equilibrar a entrega de valor com eles hoje e a preparar o caminho para obter mais valor deles no futuro.
Em nosso trabalho, vimos que as organizações que tratam os dados como um produto podem reduzir em até 90% o tempo necessário para implementá-los em novos casos de uso, diminuir seus custos totais de propriedade (tecnologia, desenvolvimento e manutenção) em até 30% e reduzir o risco e a carga de governança de dados.
A seguir, vamos explicar melhor o que constitui um produto de dados e descreveremos as práticas recomendadas para criar um.
O que é um produto de dados?
Um produto de dados fornece um conjunto de dados de alta qualidade e pronto para uso, onde as pessoas em uma organização podem acessar e aplicar facilmente a diferentes desafios de negócios. Ele pode, por exemplo, fornecer visualizações de 360º dos clientes, incluindo todos os detalhes que as unidades de negócios e sistemas de uma empresa coletam sobre eles: comportamento de compra on-line e na loja, informações demográficas, métodos de pagamento, interações com o atendimento ao cliente e muito mais. Ou pode fornecer visualizações completas dos funcionários ou de um canal, como as agências de um banco. Outro produto pode permitir “gêmeos digitais”, usando dados para replicar virtualmente a operação de ativos ou processos do mundo real, como peças críticas de máquinas ou uma linha de produção inteira da fábrica.
Como eles têm muitas aplicações, os produtos de dados podem gerar retornos impressionantes. Em um grande banco nacional, um produto de dados de clientes impulsionou quase 60 casos de uso, desde pontuação em tempo real do risco de crédito até chatbots que respondem às perguntas dos clientes, em vários canais. Esses aplicativos já fornecem $60 milhões em receita incremental e eliminam $40 milhões em perdas anualmente. E, à medida que o produto é aplicado a novos casos de uso, seu impacto continuará a crescer.
Os data products ficam em cima dos armazenamentos de dados operacionais existentes, como lakehouses. As equipes que os usam não precisam perder tempo pesquisando dados, processando-os no formato certo e criando conjuntos e pipelines personalizados (o que acaba criando uma bagunça arquitetônica e gerando ainda mais desafios de governança).
Abordagem de dados tradicional x modelo de produto de dados
Na abordagem tradicional de soluções de dados, as equipes de casos de uso identificam os dados de que precisam dos sistemas de origem e criam conjuntos e fluxos de dados apenas para suas soluções específicas. Isso leva a uma grande quantidade de trabalho replicado e uma arquitetura de dados complexa que é difícil de manter e usar para novas soluções.
Em uma abordagem de produto de dados, equipes de casos de uso constroem soluções utilizando padronizações e tecnologias de interconexão, seguindo arquétipos de consumo, o que reduz a complexidade, simplifica a arquitetura de dados empresariais e diminui o tempo necessário para perceber o valor.
Cada produto de dados oferece suporte a “consumidores” de dados com necessidades variadas, da mesma forma que um produto de software oferece suporte a usuários que trabalham em computadores com sistemas operacionais diferentes. Esses consumidores são sistemas, não pessoas, e nosso trabalho sugere que as organizações normalmente têm cinco tipos. Nós os chamamos de “arquétipos de consumo” porque eles descrevem para que os dados são usados. Eles incluem:
- Aplicações digitais: exigem dados específicos que são limpos, armazenados no formato necessário, talvez como mensagens individuais em um fluxo de eventos ou uma tabela de registros em um data mart (uma área de armazenamento de dados orientada para um tópico, função de negócios ou equipe) e entregues com uma frequência específica. Por exemplo, uma aplicação digital que rastreia a localização de um veículo precisará acessar em tempo real fluxos de eventos de GPS ou dados de sensores. Um aplicativo de marketing projetado para encontrar tendências no comportamento de navegação do cliente precisará acessar grandes volumes de dados de log da web sob demanda (geralmente chamados de dados de “batch”) de um data mart.
- Sistemas de análise avançada: esses também precisam de dados limpos e entregues em uma determinada frequência, mas devem ser projetados para permitir sistemas de aprendizado de máquina e IA como mecanismos de simulação e otimização para processá-lo.
- Sistemas de relatórios: necessitam de dados altamente governados (dados com definições claras que são gerenciados de perto para qualidade, segurança e alterações) para serem agregados em um nível básico e entregues de forma auditada para uso em painéis ou atividades regulatórias e de conformidade. Normalmente, os dados devem ser entregues em lotes, mas as empresas estão cada vez mais adotando modelos de autoatendimento e atualizações diárias incorporando feeds em tempo real.
- Sandboxes Discovery: isso permite a análise exploratória ad hoc de uma combinação de dados brutos e agregados. Cientistas e engenheiros de dados frequentemente os usam para se aprofundar nos dados e descobrir novos casos de uso em potencial.
- Sistemas externos de compartilhamento de dados: esses devem aderir a políticas e acordos rigorosos sobre onde os dados ficam e como eles são gerenciados e protegidos. Os bancos usam esses sistemas para compartilhar insights sobre fraudes uns com os outros, por exemplo, e os varejistas para compartilhar dados com fornecedores na esperança de melhorar as cadeias de suprimentos.
Cada arquétipo de consumo requer tecnologias diferentes para armazenar, processar e entregar dados, e exige que essas tecnologias sejam montadas em um padrão específico, que é essencialmente um modelo arquitetônico de como as tecnologias necessárias devem se encaixar. Por exemplo, um padrão para um sandbox provavelmente incluiria tecnologias para configurar um ambiente self-service multiusuário que pode ser acessado por engenheiros de dados em toda a empresa. O padrão para um sistema de análise avançada usando feeds de dados em tempo real pode incluir tecnologias para processar grandes volumes de dados não estruturados.
Considere uma empresa de mineração que criou um produto de dados fornecendo feeds de dados GPS ao vivo, com os dos caminhões de transporte de minério. Ele foi projetado para suportar todos os arquétipos, exceto o compartilhamento de dados externos para seu primeiro caso de uso, melhorando os rendimentos de processamento de minério. A empresa logo descobriu que o produto tinha usos muito além disso. Uma vez disponibilizado de forma mais ampla na organização, vários funcionários empreendedores imediatamente o aproveitaram para eliminar gargalos no sistema de transporte da mina. Em apenas três dias, eles construíram um protótipo de uma ferramenta de suporte à decisão de roteamento de caminhões que reduziu o tempo de fila e as emissões de carbono. Se eles tivessem que projetar os dados do zero, levaria quase três meses.
À medida que a notícia continuava a se espalhar, os funcionários interessados em outros problemas que envolviam caminhões, como segurança, manutenção e agendamento de motoristas, acessavam os dados para encontrar respostas para perguntas espinhosas e criar soluções geradoras de receita que antes seriam impossíveis.
Gerenciando e desenvolvendo produtos de dados
Quer estejam vendendo software ou tênis, a maioria das empresas terá gerentes de produto internos que se dedicam a pesquisar as necessidades do mercado, desenvolver roteiros de capacidades de produtos e projetar o marketing de forma lucrativa.
Da mesma forma, cada produto de dados deve ter um gerente designado, encarregado de reunir uma equipe de especialistas para construí-lo, apoiá-lo e melhorá-lo ao longo do tempo. Tanto o gerente quanto os especialistas devem estar dentro de um grupo de utilitários de dados que faça parte de uma unidade de negócios. Normalmente, esses grupos incluem engenheiros, arquitetos e modeladores de dados, engenheiros de plataforma de dados e de confiabilidade de sites. Incorporá-los nas unidades de negócios dá às equipes de produtos de dados acesso imediato aos especialistas no assunto de negócios, além de assistência operacional, jurídica, de processo e de risco de que precisam para desenvolver produtos de dados úteis e compatíveis. Ele também conecta as equipes diretamente com o feedback dos usuários, o que permite que o grupo possa continuar melhorando seus produtos e a identificar novos usos.
O primeiro lançamento do produto de dados do cliente no banco nacional, por exemplo, concentrou-se em perfis demográficos de clientes e informações sobre transações. Versões subsequentes incluíram dados sobre interações com clientes e identificação de clientes potenciais, atraindo significativamente mais usuários de dados e equipes de apoio ao desenvolvimento de outros aplicativos. A economia de custos e a receita incremental obtida pelos primeiros usos do produto financiaram as próximas fases, criando um modelo de negócios sustentável.
Uma empresa também precisa de um centro de excelência para apoiar as equipes de produtos e determinar padrões e práticas recomendadas para a criação desses produtos em toda a organização. Por exemplo, o centro deve definir como as equipes documentarão a proveniência dos dados, auditarão o uso dos dados e medirão a qualidade desses, além de projetar os padrões de arquétipo de consumo para as equipes usarem. Essa abordagem pode eliminar a complexidade e o desperdício. Além disso, o centro pode ser um recurso para talentos especializados ou especialistas em dados quando a demanda por eles aumenta em grupos de serviços públicos ou equipes de casos de uso de negócios. Para dar um exemplo interessante, em um provedor de telecomunicações com quem trabalhamos, especialistas em visão computacional, que são escassos, mas frequentemente em demanda, ficam no hub central e são implantados em unidades de negócios mediante solicitação.
Como um bloco de Lego, um produto de dados conectado para suportar um ou mais arquétipos de consumo pode ser rapidamente encaixado em qualquer número de aplicativos de negócios.
Embora a maioria das empresas já tenha alguns talentos necessário para construir seu centro de excelência, muitas precisarão ampliar e aprofundar seu banco de especialistas, particularmente engenheiros de dados (multidisciplinares, que dominem modelagem de dados, testes, CI/CD, versionamento, documentação, requisitos e desenvolvimento) que podem limpar, transformar e agregar dados para análise e exploração.
Por onde começar
Os líderes frequentemente perguntam quais produtos de dados e arquétipos de consumo obterão o maior e mais rápido retorno sobre o investimento. A resposta é diferente para cada organização.
Para encontrar a abordagem certa para suas empresas, os executivos precisam avaliar a viabilidade e o valor potencial de casos de uso em cada domínio de negócios (pode ser um processo de negócios central, uma jornada de cliente ou funcionário ou uma função) e agrupá-los primeiro pelos produtos de dados de que necessitam e, em seguida, pelos arquétipos de consumo envolvidos. Categorizar os casos de uso ajuda os líderes a sequenciar o trabalho com mais eficiência e obter um retorno sobre o investimento mais rápido. É importante ter em mente que é possível acabar empurrando alguns casos de uso de menor valor se aproveitar os produtos de dados e os arquétipos de consumo de casos de uso de maior valor.
Para os executivos do banco nacional, essa abordagem iluminou várias prioridades. Primeiro, eles viram que um produto de dados de clientes que suportasse seus casos de uso mais críticos de gerenciamento de fraudes e marketing poderia gerar um valor tremendo. Em seguida, eles identificaram os tipos de dados que o produto precisava coletar primeiro. Alguns desses casos de uso exigiam identificadores básicos de clientes e dados de referência (como dados demográficos ou de segmentação), enquanto outros exigiam dados comportamentais abrangentes do cliente. O banco também percebeu que os dois arquétipos de consumo que deveriam buscar primeiro eram uma verdadeira sandbox de descoberta e análises avançadas, que, em combinação, apoiariam a maioria dos casos de uso prioritários de fraude e marketing da empresa.
As decisões sobre produtos de dados geralmente envolvem compensações entre impacto, viabilidade e velocidade. Idealmente, os produtos-alvo iniciais e os arquétipos de consumo serão aplicados imediatamente a casos de uso de alto valor e a um longo pipeline de outros, como fez o produto do provedor de telecomunicações para seu equipamento de rede.
No entanto, considerações de viabilidade podem fazer com que uma empresa ajuste sua abordagem. Por exemplo, pode fazer sentido criar impulso primeiro em uma área da organização que tem experiência em dados e obteve alguma força com produtos de dados, mesmo que não seja aí que reside a maior oportunidade. Vimos isso acontecer em uma mineradora que inicialmente, optou por desenvolver dois produtos que apoiassem sua planta de processamento de minério, onde os casos de uso já haviam sido comprovados com sucesso. Os gerentes estavam entusiasmados em buscar mais, a equipe tinha muitos dados preparados para trabalhar e especialistas com profundo conhecimento estavam disponíveis para ajudar.
Atualmente, a maioria dos líderes está fazendo grandes esforços para transformar os dados em uma fonte de vantagem competitiva. Mas essas iniciativas podem falhar rapidamente se as organizações não garantirem que o trabalho árduo que fazem hoje seja reutilizável amanhã. As empresas que gerenciam seus dados como um produto terão uma vantagem significativa no mercado nos próximos anos, graças ao aumento da velocidade e flexibilidade e às novas oportunidades que a abordagem pode desbloquear.
A triggo.ai é especialista em Data Analytics & AI, pioneira em Data Product e DataOps, e pode apoiar sua empresa nesta jornada de produtização de dados para aumentar o ROI e acelerar a gestão Data Driven. Fale com um dos nossos especialistas!
