GenAI: como usar a tecnologia nas empresas?
Após pouco mais de um anos do lançamento do ChatGPT, a adoção da ferramenta vem se expandindo nas empresas de várias formas, solidificando o uso da GenAI (ou IA Generativa) que, além da interface web simples fornecida por produtos como o próprio ChatGPT, pode ser feito de duas maneiras:
- Fazer uma chamada de API para um modelo fornecido como um serviço, como os modelos GPT-4 fornecidos pela OpenAI. Geralmente, esses serviços são fornecidos por empresas especializadas, como OpenAI, ou grandes empresas de computação em nuvem, como Amazon Web Services (AWS), Google Cloud Platform (GCP) e Microsoft Azure;
- Baixar e executar um modelo de software livre em um ambiente que você gerencia. Plataformas como o Hugging Face agregam uma ampla gama desses modelos.
Cada abordagem tem vantagens e desvantagens, que exploraremos nas seções a seguir. Lembre-se, ambas as opções permitem que você escolha entre modelos menores e maiores, com compensações em termos de amplitude de suas aplicações potenciais, sofisticação da linguagem gerada, custo e complexidade do uso do modelo.
Vantagens de usar um model-as-a-service via API
Algumas empresas (como OpenAI, AWS e GCP) fornecem APIs públicas que podem ser chamadas programaticamente. Isso significa configurar um pequeno programa de software, ou um script, que se conectará à API e enviará uma solicitação formatada corretamente. A API enviará a solicitação ao modelo, que fornecerá a resposta de volta à API que, por sua vez, a enviará de volta ao solicitante original. Existem várias vantagens nessa aproximação:
- Baixa barreira de entrada: chamar uma API é uma tarefa simples que pode ser realizada por um desenvolvedor júnior em questão de minutos;
- Modelos mais sofisticados: os modelos por trás da API geralmente são as versões maiores e mais sofisticadas disponíveis. Isso significa que eles podem fornecer respostas mais sofisticadas e precisas em uma ampla gama de tópicos do que modelos menores e mais simples;
- Respostas rápidas: geralmente, esses modelos podem fornecer respostas relativamente rápidas (na ordem de segundos) permitindo o uso em tempo real.
Limitações ao uso de um model-as-a-service via API
O uso de modelos públicos via API, embora conveniente e poderoso, possui limitações que podem torná-lo inapropriado para determinados aplicativos corporativos:
- Residência e privacidade dos dados: por natureza, as APIs públicas exigem que o conteúdo da consulta seja enviado aos servidores do serviço da API. Em alguns casos, o conteúdo da consulta pode ser retido e usado para desenvolvimento adicional do modelo. As empresas devem ter o cuidado de verificar se essa arquitetura respeita suas obrigações de residência e privacidade de dados para um determinado caso de uso;
- Custo potencialmente mais alto: a maioria das APIs públicas são serviços pagos, em que o usuário é cobrado com base no número de consultas e na quantidade de texto enviado. As empresas que prestam esses serviços geralmente fornecem ferramentas para estimar o custo de seu uso. Eles também forneceram modelos menores e mais baratos que podem ser apropriados para uma tarefa mais restrita;
- Dependência: o provedor de uma API pode optar por interromper o serviço a qualquer momento, embora tal decisão seja normalmente rara para um serviço popular (e rentável). Empresas menores que fornecem tais serviços podem estar em risco de insolvência. As empresas devem avaliar o risco de criar uma dependência desse serviço e garantir que se sintam confortáveis com ele.
Vantagens do autogerenciamento de um modelo de código aberto
Dadas as desvantagens de usar um modelo público via API, pode ser apropriado para uma empresa configurar e executar um modelo de código aberto por conta própria. Esse modelo pode ser executado em servidores locais pertencentes a uma empresa ou em um ambiente de nuvem gerenciado pela empresa. As vantagens dessa abordagem incluem:
- Ampla variedade de opções: existem muitos modelos de código aberto disponíveis, cada um apresentando seus próprios pontos fortes e fracos. As empresas podem escolher o modelo que melhor se adapta às suas necessidades. Dito isso, fazer isso requer alguma familiaridade com a tecnologia e como interpretar essas compensações;
- Custo potencialmente menor: em alguns casos, executar um modelo menor e mais limitado em sua aplicação pode permitir o desempenho desejado para um caso de uso específico a um custo muito menor do que usar um modelo muito grande fornecido como um serviço;
- Independência: ao executar e manter os próprios modelos de código aberto, as organizações não dependem de um serviço de API terceirizado.
Compensações para o autogerenciamento de um modelo de código aberto
Embora haja muitas vantagens em usar um modelo de código aberto, pode não ser a escolha apropriada para todas as organizações ou todos os casos de uso pelos seguintes motivos:
- Complexidade: configurar e manter um LLM requer um certo grau de conhecimento em ciência de dados e engenharia, além do necessário para modelos de aprendizado de máquina mais simples. As organizações devem avaliar se possuem experiência suficiente e se esses especialistas têm o tempo necessário para configurar e manter o modelo no longo prazo;
- Desempenho mais restrito: os modelos muito grandes fornecidos por meio de APIs públicas são surpreendentes na abrangência de tópicos que podem abranger. Os modelos fornecidos pela comunidade de código aberto geralmente são menores e mais focados em sua aplicação, embora isso possa mudar à medida que modelos cada vez maiores são construídos pela comunidade de código aberto.
Dicas para o prompting do ChatGPT
- Tom: especifique o tom desejado (formal, casual, informativo, persuasivo);
- Formato: defina o formato ou estrutura (ensaio, tópicos, esboço, diálogo);
- Agir como: indique um papel ou perspectiva a adotar (especialista, crítico, entusiasta);
- Objetivo: declare o objetivo ou propósito da resposta (informar, persuadir, entreter);
- Contexto: forneça informações básicas, dados ou contexto para a geração de conteúdo preciso;
- Escopo: defina o escopo ou abrangência do tema;
- Palavras-chave: liste palavras-chave ou frases importantes a serem incluídas;
- Limitações: especifique restrições, como contagem de palavras ou caracteres;
- Exemplos: forneça exemplos de estilo, estrutura ou conteúdo desejado;
- Prazo: mencione prazos ou prazos especiais para respostas urgentes;
- Público: especifique o público-alvo do conteúdo personalizado;
- Idioma: indique o idioma da resposta, caso seja diferente do prompt;
- Citações: solicite a inclusão de citações ou fontes para apoiar as informações;
- Pontos de vista: peça a IA para considerar múltiplas perspectivas ou opiniões;
- Contra-argumentos: faça uma solicitação abordando possíveis contra-argumentos;
- Terminologia: especifique os termos técnicos ou específicos do setor a serem usados ou evitados;
- Analogias: peça a IA para usar analogias ou exemplos para esclarecer conceitos;
- Citações: solicite a inclusão de citações ou declarações relevantes de especialistas;
- Estatísticas: incentive o uso de estatísticas ou dados para apoiar reivindicações;
- Elementos visuais: informe-se sobre a inclusão de tabelas, gráficos ou imagens;
- Chamada à ação: solicite uma chamada clara à ação ou as próximas etapas;
- Sensibilidade: mencione tópicos ou assuntos delicados a serem tratados com cuidado ou evitados.
Entenda mais sobre a GenAI e continue navegando nesta incrível jornada tecnológica que está redefinindo os limites da criatividade e da inovação:
A triggo.ai vem atuando na fronteira deste desafio, implementando soluções robustas e inovadoras de IA Generativa e aplicando metodologias de Data Products Management para elevar e acelerar a jornada Data Driven das organizações. Fale com um de nossos consultores especialistas!
