Nevolus IA – Treinamento de Chatbots

Incorporando conteúdos para treinamento do chatbots

As Incorporações de conteúdos, também chamados de Conhecimentos ou Embeddings, que permitem criar uma base de conhecimentos que pode ser consultada pela IA durante as conversas. Na prática, elas permitem que a IA acesse conteúdos específicos, quando eles forem relevantes para responder à pergunta do usuário.

Isso ajuda o chatbot a responder com mais precisão usando, por exemplo, informações da sua empresa, seus procedimentos, manuais, etc..

Ao usar Incorporações, você também consegue manter as instruções (prompt) do chatbot mais enxutas. Em vez de colocar todas as informações diretamente nas instruções, você deixa as regras principais nelas e cadastra os demais conteúdos nas Incorporações. Assim, durante uma conversa, somente os trechos relacionados ao assunto em questão serão incorporados, o que melhora a eficiência e reduzir o gasto com tokens.

Diferente de uma busca simples por palavra-chave, esse processo procura conteúdos com significado semelhante ao da pergunta feita pelo usuário. Em outras palavras, a IA não tenta localizar apenas palavras iguais, mas sim trechos que façam sentido dentro do mesmo tema. Por isso, a IA pode encontrar uma incorporação relevante mesmo sem buscar exatamente os mesmos termos usados pelo usuário.

Em termos práticos: as Incorporações funcionam como uma camada de conhecimento complementar para o chatbot!

Como funciona o uso das Incorporações?

De forma simplificada, o fluxo funciona assim:

  1. Você adiciona uma incorporação.
  2. A IA processa o conteúdo para que possa localizá-lo em consultas futuras.
  3. Quando um usuário faz uma pergunta, o sistema analisa o assunto da mensagem.
  4. Se encontrar conteúdos relacionados, as respectivas incorporações são às instruções do chatbot e usadas para ele gerar a resposta.
Como os chatbots “veem” as incorporações?

É importante entender que os chatbots não “sabem” que estão consultando incorporações como se estivessem navegando em uma base de dados separada.

Para o chatbot, tudo chega como parte do contexto da conversa. Ou seja, quando o usuário envia uma pergunta e o sistema seleciona uma ou mais incorporações, esse conteúdo é anexado às instruções do chatbot e todo o “pacote” é enviado para a IA analisar e produzir a resposta.

Por isso, do ponto de vista do chatbot, não existe uma distinção explícita entre “instruções fixas” e “conteúdo recuperado”, a não ser pela forma como você organiza esses elementos.

Segue um exemplo de instruções de um chatbot:

Você é um assistente especializado em TI. Seu objetivo é prestar suporte técnico aos colaboradores da <EMPRESA>. Use o seu conhecimento de sistemas operacionais e aplicativos, em conjunto com as instruções abaixo, pra fornecer as respostas. Evite falar sobre outros assuntos. NÃO crie ou repasse links para o usuário, exceto os existentes neste contexto.
Instruções do chatbot x Incorporações

Uma boa prática é sempre separar corretamente:

  • as instruções que o chatbot deve seguir;
  • os conteúdos que ele poderá consultar para responder ao usuário final.

Essa separação é importante porque cada tipo de informação cumpre um papel diferente.

Coloque nas instruções do chatbot:
  • regras de comportamento;
  • objetivo do assistente;
  • tom de resposta;
  • limitações;
  • orientações obrigatórias;
  • informações essenciais que devem valer em todas as conversas.
Coloque nas Incorporações:
  • procedimentos;
  • artigos;
  • FAQs;
  • políticas;
  • manuais;
  • descrições de produtos e serviços;
  • conteúdos de apoio que só precisam ser usados quando forem pertinentes à pergunta.

Se você misturar essas duas coisas, por exemplo colocando instruções de comportamento dentro de uma incorporação, a IA pode interpretar esse conteúdo de forma inadequada durante o processamento e afetar negativamente o resultado.

Em resumo:

  • Instruções: informações para comportamento o chatbot;
  • Incorporações: conhecimentos que o chatbot poderá consultar dependendo da pergunta do usuário.

Para que um chatbot faça uso deste recurso, ele deve estar configurado para usar um dos ambientes disponíveis no menu “Conhecimento e Contexto”.

As Embeddings que o Gestor criar na aba “Conhecimento” serão processados imediatamente e incluídos no ambiente de incorporações selecionado.

Os Artigos que o Editor cadastrar serão processados a cada 5 minutos e incluídos no ambiente de incorporações padrão, configurado pelo  gestor com a opção “Enable Sync” no na aba Conhecimento .

O Editor pode acompanhar o processamento pelo menu “Artigos” > “Status”. Nesta tela, é possível disparar o processamento manualmente e também visualizar como o conteúdo foi incorporado à base de conhecimento da IA, clicando o link “Ver”.

Antes de serem processadas, as incorporações são listadas com status “Pending”, “Outdated” ou “Stale” nas telas do sistema.

Quando uma incorporação é excluída, seja pela aba Conhecimentos ou pelo menu Artigos, o seu conteúdo é deletado automaticamente da base de incorporações da IA.

Não existe um único formato ideal para todas as incorporações. A melhor estrutura depende do tipo de conversa que o chatbot deverá atender.único inidicado para o seu conteúdo.

Quando o objetivo for orientar procedimentos

Nesse caso, o ideal é usar textos organizados, claros e objetivos, por exemplo:

  1. textos curtos e concisos;
  2. listas numeradas;
  3. subtítulos para separar etapas;
  4. exemplos diretos;
  5. instruções passo a passo;
  6. observações explicativas sobre exceções ou cuidados.

Esse formato ajuda a IA a identificar trechos específicos e a responder de maneira mais precisa.

Quando o objetivo for transmitir conhecimento mais geral

Se a intenção for enriquecer o chatbot com conceitos, resumos, briefings, descrições institucionais ou informações amplas sobre um tema, você pode usar textos mais descritivos, desde que continuem bem organizados.

Em ambos os casos, quanto mais claro e bem estruturado for o conteúdo, maiores as chances de ele ser útil nas respostas.

Veja um exemplo de conteúdo para uma Incorporação.

Toda vez que você cadastra uma incorporação, o seu conteúdo é processado para inclusão na base de conhecimento da IA. Nesse processamento é utilizado um prompt cadastrado no menu: “Artigos” > “Prompt de Reescrita”.

Existem dois modelos de prompt de reescrita pré-cadastrados: um que faz um resumo da incorporação (opção padrão) e outro que transcreve a incorporação literalmente. Escolha o prompt de resumir quando quiser que a AI tenha uma visão geral dos conteúdos que você cadastrar (ex. notícias, briefings, conceitos gerais).

Por outro lado, se você estiver cadastrando procedimentos ou manuais técnicos, o prompt de transcrever é a melhor opção.

Sempre que você alterar o prompt de reescrita o sistema irá reprocessar todas as incorporações. Esse processo consome consultas na sua conta (1 consulta por incorporação reprocessada) e também gera gastos com tokens. Portanto, é importante que seja usado com moderação.

As Incorporações não são usadas automaticamente em toda resposta. A IA irá avaliar se o conteúdo tem relação com a pergunta do usuário. Se considerar que sim, ele será usado na resposta.

Isso significa que:

  • incorporações bem escritas e focadas em determinado tema tendem a ser usadas com mais frequência;
  • incorporações muito genéricas tendem a ser ignoradas;
  • mesmo que uma incorporação seja selecionada, a IA ainda irá decidir se e como irá usá-la em uma resposta específica.

Também é importante entender que esse mecanismo não funciona como uma busca exata. A seleção considera similaridade de tema e significado, e não apenas coincidência literal de palavras.

Por isso, instruções do tipo “responda exatamente o que estiver escrito” podem não funcionar como esperado quando colocadas em incorporações. Esse tipo de regra deve ficar nas instruções do chatbot, não na base de conhecimento.

Além de criar conteúdos bem estruturados para as incorporações, existem três parâmetros importantes ao seu dispor, no menu “Incorporações” > “Configurações”:

  • Pontuação mínima: corresponde ao score mínimo necessário que as incorporações precisam alcançar para serem selecionadas. A IA define uma nota de 0 a 100 com base no percentual de coincidência de termos entre a incorporação e a pergunta do usuário. Uma pontuação de corte mais elevada torna as respostas mais específicas, mas pode deixar de fora conteúdos importantes. O valor padrão é 75.
  • Quantidade de resultados: corresponde ao número máximo de incorporações a serem usadas nas respostas. Quanto maior número, mais conteúdos serão usados, aumentando a base de informações disponíveis. O valor padrão é 3 e pode ser ajustado conforme o caso de uso.

Se você observar que certas incorporações não estão sendo selecionadas quando deveriam, inclua uma relação determos no final do texto, ex.: PALAVRAS-CHAVE: CURSO, TREINAMENTO, FORMAÇÃO.

Sim, ativando páginas de chatbot de acesso local, você pode criar uma biblioteca de agentes de IA que ajudam na geração de conteúdos para as incorporações.

Veja alguns exemplos:

  • Análise de Páginas Web: agente com a opção de “Pesquisa na internet” (no item: Ferramentas), que extrai textos de sites para geração conteúdos .
  • Análise de Documentos: agente com a opção de “File Upload” (no item: Modelo de IA), que analisa documentos PDF e DOCX, para extração facilitada de informações.
  • Redação de Textos: agente que cria artigos relevantes e envolventes sobre temas de sua escolha.
  • Textos a Partir de Imagens: agente com a opção de “File Upload” (no item: Modelo de IA) gera textos relacionados às imagens que você carregar.

Sim, usando o recurso de “Importação de Sites”, disponível no menu: Chatbots > Recursos adicionais.

Sim, usando o recurso de “Importação do WordPress”, disponível no menu: Chatbots > Recursos adicionais.

Sim, usando o “Upload PDF”, disponível na aba de “Conhecimentos”, você pode carregar arquivos PDF e, se deseja, dividi-los em trechos menores usando os parâmetros “Density” e “Overlap” para gerar incorporações.

Sim, usando os recursos de “Download” e “Importar”, disponíveis no menu “Artigos”, o Gestor ou o Editor pode baixar ou carregar incorporações em lote:

A opção “Download” baixa um arquivo ZIP contendo as incorporações em TXT, no formato:

A opção “Importar” faz o caminho inverso, permite carregar um arquivo ZIP contendo as incorporações, desde que os arquivos TXT estejam no formato acima.

Ao final do processo, as Incorporações importadas serão processadas automaticamente pelo sistema, desde que exista um ambiente ativado para sincronização.

Embora os limites de processamento dos modelos evoluam com frequência, é recomendável manter os conteúdos otimizados.

Na prática, conteúdos menores tendem a trazer dois benefícios:

  • menor consumo de tokens;
  • respostas mais rápidas,

Por isso, recomendamos que o conteúdo de uma incorporação individual fique sempre abaixo de 16.000 tokens. Para verificar o número de tokens de determinado texto, insira-o aqui: https://platform.openai.com/tokenizer

Se um conteúdo ultrapassar esse tamanho, o ideal é dividi-lo em duas ou mais incorporações, por exemplo:

  • FAQ – Título/Assunto – Parte 1
  • FAQ – Título/Assunto – Parte 2
  • FAQ – Título/Assunto – Parte 3

Essa divisão não prejudica o resultado. Pelo contrário: como a IA tende a recuperar apenas os trechos mais relacionados ao assunto da conversa, separar conteúdos longos pode até melhorar a qualidade das respostas.

Posts Similares