A situação era conhecida de qualquer controladoria: no acompanhamento mensal de OPEX, recebemos justificativas de várias áreas, cada uma em um formato diferente. O time gasta um tempo desproporcional consolidando comentários, voltando aos responsáveis para esclarecer causas, e mesmo assim boa parte das explicações descreve o número sem dizer qual foi o direcionador, se é recorrente ou pontual, e qual ação é necessária. É um problema pequeno todo mês, e grande no acumulado do ano.
Antes de testar qualquer ferramenta, montamos o recorte do teste com cuidado, exatamente para não cair na armadilha de "parece que ajudou". A hipótese que decidimos testar foi clara: se reunirmos realizado, orçamento, projeção, pacote, área, fornecedor, contrato e comentários históricos numa visão única, uma análise assistida por IA consegue propor causas prováveis e perguntas de investigação, reduzindo o tempo de preparação sem reduzir a qualidade nem a rastreabilidade da informação.
E, antes de rodar o teste, definimos os critérios de sucesso, não depois: reduzir em pelo menos 30% o tempo da primeira análise, obter avaliação positiva dos analistas em pelo menos 70% dos casos, não apresentar nenhum número sem origem identificável, e manter revisão humana em 100% das saídas. Esse último ponto não é detalhe, é condição.
O desenho da solução seguiu uma lógica simples de auditoria: a IA produz 4 blocos. Um resumo factual do que aconteceu. Hipóteses de causa, claramente rotuladas como hipóteses, nunca como fato. Perguntas que ainda faltam responder. E uma proposta de comentário executivo. Ao lado de cada afirmação, o analista enxerga a fonte usada, e decide: aceita, edita ou rejeita. Nenhuma saída é distribuída automaticamente, nenhuma vai para o pacote de fechamento sem alguém validar.
Rodamos o teste com casos reais de fechamento, comparando o tempo e a qualidade da primeira análise com e sem o apoio da IA. O resultado nos mostrou algo que eu já desconfiava, mas que só o teste comprovou: o ganho maior não estava em a IA "explicar o desvio" sozinha, e sim em dar ao analista um ponto de partida mais rico, com hipóteses e perguntas já organizadas, para ele investigar mais rápido e com mais foco. A revisão humana continuou soberana. Em nenhum caso a IA "decidiu" o comentário final, ela acelerou o raciocínio de quem decide.
Isso muda a forma como eu penso "testar IA" em Finanças. Não é medir se a máquina acerta o número, é medir se ela melhora a decisão de quem já sabe interpretar o número. E isso só se comprova com um teste desenhado como esse, com linha de base, hipótese, critério de sucesso definido antes, e comparação real de resultado, não com uma demonstração bonita numa reunião.
💡 LIÇÃO APRENDIDA
O teste certo não pergunta se a IA acerta o desvio. Pergunta se ela melhora a primeira análise de quem vai decidir.