A Inteligência Artificial está a acelerar a criação de testes de software, permitindo às equipas gerar novos cenários em menos tempo. Mas à medida que aumenta a capacidade de produzir testes, surge uma nova questão: como garantir que estes conseguem efetivamente identificar os problemas para os quais foram concebidos?
Este é o ponto de partida do novo artigo da Noesis, publicado na AutomationSTAR, dedicado aos desafios da validação de testes gerados por IA.
1. A IA não conhece a aplicação que está a testar
Um teste com resultado positivo não significa necessariamente que seja eficaz. Os modelos de IA conseguem gerar cenários com base em padrões e exemplos, mas podem não ter o contexto necessário para compreender as regras específicas de uma aplicação ou de um negócio.
Esta abordagem alerta para o risco de uma falsa sensação de segurança: uma suite de testes pode apresentar resultados positivos sem conseguir detetar determinados defeitos. Com a IA a permitir gerar um número cada vez maior de testes, garantir que estes são eficazes torna-se tão importante como aumentar a cobertura.
2. Um teste que passa é um teste eficaz?
A validação dos testes gerados por IA torna-se, por isso, essencial. Uma das formas de avaliar a sua eficácia passa por introduzir deliberadamente alterações no código e verificar se o teste consegue detetá-las. Esta abordagem, conhecida como mutation testing, permite perceber se um teste é realmente capaz de falhar quando deveria. A validação pode ser complementada por um segundo modelo de IA, que verifica se os critérios de validação definidos no teste estão alinhados com os requisitos, e pela identificação de testes demasiado semelhantes, evitando aumentar a dimensão da suite sem acrescentar cobertura relevante.
Isto não significa, no entanto, que a revisão humana deixe de ser necessária. Em cenários com maior impacto para o negócio e para os clientes, como pagamentos, preços ou autenticação, continua a ser importante garantir uma análise mais próxima dos testes. A combinação entre validação automatizada e revisão humana permite, assim, verificar a qualidade dos testes sem colocar o mesmo nível de esforço em todos os cenários.
3. testingON aposta em Agentic AI para validar testes
Enquanto muitas ferramentas de geração de testes com IA se concentram na criação, a evolução do testingON procura responder a uma etapa igualmente importante: garantir que os testes conseguem identificar defeitos reais. É neste contexto que surge uma iniciativa de Agentic AI, que coloca um agente a validar os testes gerados, verificando a sua eficácia para além da simples confirmação de que são executados com sucesso.
Esta abordagem integra uma visão mais ampla do testingON, na qual diferentes agentes asseguram etapas complementares do processo: a criação de testes a partir de novas user stories, a validação da sua capacidade para detetar defeitos e a execução e análise dos resultados, incluindo o desempenho. O objetivo é ligar estas etapas num processo integrado, em vez de as tratar como ferramentas independentes.
Estas capacidades fazem parte do roadmap do testingON e ainda não estão disponíveis como funcionalidades do produto. Representam, contudo, uma aposta na qualidade da automação, num contexto em que gerar testes mais rapidamente não é suficiente: é também necessário garantir que estes conseguem encontrar os problemas que realmente importam.
