Atividade: Avaliar e Aprimorar Esforço de Teste

Capturar o status do trabalho

Existem várias maneiras de abordar esse passo. Grande parte da abordagem dependerá da cultura do projeto. Quando disponível, colete e agrupe os relatórios de andamento preparados pelos membros da equipe ou pelas subequipes. As agendas do projeto são outra fonte possível a ser considerada. Quando sistemas de agendamento de projetos como o Microsoft Project são ativamente utilizados e atualizados com o andamento real, isso fornece uma outra fonte útil de informações. Quando disponíveis e ativamente utilizadas, você poderia também derivar as métricas objetivas de status e andamento a partir dos sistemas de gerenciamento de mudança e configuração.

Neste passo e nos passos subseqüentes referentes à coleta de informações e à avaliação do esforço de teste, tente obter uma visão balanceada incorporando medidas objetivas e subjetivas. Lembre-se de que os números objetivos oferecem somente parte do panorama e precisam ser respaldados e explicados pelo "clima" de projeto atual. Por outro lado, não dê ouvidos a boatos e especulações subjetivas sobre o esforço de teste: busque evidências objetivas comprovadas. Recomendamos que você complemente os dados objetivos através de discussões com os líderes de equipe ou, quando possível, com cada membro da equipe, a fim de reunir avaliações subjetivas e estimar até que ponto pode confiar nos dados objetivos.

Reunir as métricas de produtividade e eficácia do esforço de teste

Investigue o grau de esforço despendido na identificação, definição, design, implementação e execução dos testes. Fique atento a indícios de que esteja dedicando esforço excessivo para um único aspecto do esforço de teste em detrimento de outros. Observe também as áreas em que o esforço pode ser improdutivo ou não mostre benefícios suficientes, tendo em vista o nível de esforço que está sendo despendido.

Verifique a eficácia do teste. Procure dados que respaldem suas observações iniciais sobre a eficácia. Considere aspectos como taxa de detecção de defeitos, contagens de gravidade de defeitos, estatísticas de defeitos duplicados e defeitos detectados como escapes de teste.

Reunir as métricas de distribuição, tendência e vencimento da Solicitação de Mudança

Identifique tendências importantes que aparecem nos dados da Solicitação de Mudança. Em geral, é menos importante para esta atividade despender tempo analisando volumes de dados e é mais importante identificar o que as tendências de dados relativas estão indicando. Procure pontos positivos, como uma taxa contínua estável de detecção de defeitos, ou um leve aumento ou diminuição contínua na taxa de detecção, no decorrer do tempo. Fique atento a picos e baixas na taxa de detecção que indiquem que a equipe de teste pode estar prestes a se deparar com problemas processuais, ambientais, políticos etc. que reduzirão a produtividade.

Observe as tendências em fechamentos de defeito. Procure aumentos significativos de casos em que os fechamentos de defeito realizados pela equipe de desenvolvimento foram classificados como "não reproduzíveis". Identifique casos em que esse seja o resultado de uma análise insuficiente da falha executada pela equipe de teste e quantifique a extensão desse problema. Observe as tendências nos defeitos que estão sendo fechados pela equipe de desenvolvimento como "funcionando conforme projetado". Identifique os casos em que esse seja o resultado de uma análise insuficiente da especificação executada pela equipe de teste e quantifique a extensão desse problema. Tenha cuidado para confirmar que essas indicações não são falsas e acontecem graças aos desenvolvedores sobrecarregados, quando decidem examinar minuciosamente sua carga de trabalho. Uma análise das tendências de verificação de defeito também deve ser feita quando correções nos defeitos forem liberadas para a equipe de teste nos builds subseqüentes: observe tendências que indiquem que os defeitos que estão aguardando verificação pela equipe de teste estão vencendo ou chegando a um número não gerenciável.

Procure outras tendências que indicam problemas. Observe o modo como os defeitos e outras solicitações de mudança foram registrados ou gerenciados pela equipe de teste: é difícil e frustrante para um desenvolvedor resolver o problema decorrente de informações insuficientes e ambíguas na solicitação de mudança. A equipe deve ter cuidado para monitorar se a qualidade das informações registradas sobre os defeitos permanece — em média— relativamente alta. Aproveite a oportunidade para melhorar a clareza das Solicitações de Mudança associadas, eliminando a ambigüidade e a linguagem e argumentação emotivas. Trabalhe junto com as pessoas que criaram esses artefatos para garantir que a essência do problema está claramente especificada e para estimulá-las a encontrar maneiras concretas e precisas de abordar a discussão dos problemas.

Além disso, procure desequilíbrios na distribuição de defeitos em várias dimensões diferentes. Procure áreas funcionais do aplicativo ou da especificação que apresentaram um aumento nas contagens de defeito que eram baixas: isso pode ser indício de que uma quantidade insuficiente de testes foi realizada nessa área funcional. Observe também a distribuição por membro de equipe de teste: talvez haja indicações de que os membros da equipe estão sobrecarregados e que isso está afetando a produtividade.

Reunir as métricas de rastreabilidade, cobertura e dependência

Analise o estado dos relacionamentos de rastreabilidade entre os ativos de teste — Idéias de Teste, Casos de Teste, Scripts de Teste, Conjuntos de Teste e Solicitações de Mudança — e os ativos controladores e subordinados aos quais eles estão relacionados. Procure indícios que indiquem que o esforço de teste enfoca as áreas corretas e um conjunto útil de motivações. Procure também indicações negativas que sugiram que determinados aspectos de teste estão ausentes ou não são mais importantes: Se os requisitos ou as equipes de desenvolvimento estiverem trabalhando em áreas não representadas pelo esforço de teste atual, isso aumentará as preocupações.

Avaliar as métricas e formular a avaliação inicial

Agrupe todas informações que você coletou e avalie-as como um todo. Lembre-se de que cada parte dos dados coletados abrange somente um aspecto da avaliação total e que você deve formular a avaliação do esforço de teste com base em uma visão balanceada e ponderada de todos os dados.

Registre a avaliação inicial em um formato adequado para que os envolvidos façam comentários e dêem seu feedback.

Registrar descobertas

Esta atividade produz informações de status resumidas que são importantes para o gerente de projeto e para outros papéis da equipe de gerenciamento. Esses papéis usarão as descobertas resumidas para tomar decisões sobre o projeto com base nessas informações.

Recomendamos que você registre alguns aspectos da avaliação do esforço de teste em um formato que permita a comparação das avaliações subseqüentes com as anteriores. Isso permitirá que você analise a tendência relativa nas melhorias do esforço de teste no decorrer do tempo.

Apresentar a avaliação e coletar o feedback

Apresente sua avaliação aos envolvidos para que eles façam comentários e dêem feedback. O formato ou método utilizado para fazer isso variará de acordo com o projeto: em alguns casos, será uma série de conversas informais; em outros casos, será simplesmente uma divulgação no site da intranet do projeto ou uma apresentação formal — escolha o formato que se adeqüe à sua cultura.

Mesmo com os melhores documentos de especificação e planejamento possível, haverá geralmente diferenças entre a expectativa original e a intenção desses documentos e o produto final resultante. Isso se aplica tanto ao software de teste e de avaliação como ao próprio desenvolvimento de software. O valor deste passo é aproveitar a oportunidade para solicitar o feedback dos envolvidos e identificar em que ponto o planejamento e a documentação falharam ao realizar o que se esperava inicialmente.

Planejar e implementar iniciativas de melhoria

Com base na sua análise e no feedback que você recebeu dos vários envolvidos, identifique as oportunidades de melhoria. Busque maneiras de tornar o teste mais eficaz e produtivo. Isso pode envolver: a reatribuição do pessoal, incluindo a combinação de duas equipes para que o trabalho realizado seja mais eficiente ou o uso de contratantes especializados, o uso de ferramentas de produtividade que melhorem a eficácia, a localização de abordagens e técnicas alternativas que sejam mais produtivas em termos de detecção de defeitos.

Na maioria dos casos, é melhor fazer melhorias pequenas e incrementais no esforço de teste e evitar o risco de desviar o projeto com mudanças grandes e desordenadas: Em alguns casos, uma mudança maior é justificável e útil. Use o bom senso para formular uma abordagem apropriada para as melhorias e discuta suas idéias com outra equipe de gerenciamento para obter colaboração, antes de envolver a equipe em mudanças grandes.

Monitorar e apoiar iniciativas de melhoria

Para que as melhorias sejam eficazes, você precisará gerenciar seu sucesso. Identifique maneiras em que você será capaz de monitorar as iniciativas de melhoria — de preferência, antes de sua adoção — a fim de avaliar sua eficácia. Monitore ativamente o andamento da adoção das mudanças; faça isso você mesmo ou indique alguém da equipe.

A maioria das mudanças encontra resistência ou problemas que devem ser superados para que elas sejam bem-sucedidas. Reserve um tempo para resolver quaisquer problemas que surjam e impeçam o sucesso da iniciativa, e esteja preparado para fazer isso rapidamente. Esteja atento a pessoas naturalmente relutantes a mudanças e encontre formas de lidar com suas preocupações adequadamente.

Avaliar e verificar os resultados

Agora que você já concluiu o trabalho, recomenda-se verificar se ele é suficientemente importante ou se você apenas desperdiçou grandes quantidades de papel. Você deve avaliar se o trabalho oferece a qualidade apropriada e se ele está completo o suficiente para ser útil aos membros da equipe que o utilizarão como entrada para seus trabalhos. Quando possível, use as listas de verificação fornecidas no RUP para verificar se a qualidade e a abrangência são "satisfatórias".

Faça com que as pessoas que executam as atividades subordinadas que servem como entrada para seu trabalho participem da revisão do mesmo. Faça isso enquanto você ainda tem tempo disponível para tomar medidas que resolverão as preocupações delas. Você deve também avaliar o trabalho com base nos principais artefatos informados, a fim de assegurar que os representou de modo preciso e suficiente. Talvez seja útil fazer com que o autor do artefato informado revise o trabalho nessa base.

Tente lembrar que o RUP é um processo iterativo e que, em vários casos, os artefatos evoluem no decorrer do tempo. Sendo assim, geralmente não é necessário — e, muitas vezes, é contraproducente — desenvolver completamente um artefato que será apenas parcialmente utilizado ou não será utilizado no trabalho imediatamente subseqüente. Isso acontece porque há uma grande probabilidade de mudança na situação em torno do artefato — e de que os pressupostos feitos quando o artefato foi criado se mostrem incorretos — antes que ele seja usado, resultando em esforço perdido e retrabalho dispendioso. Além disso, evite a armadilha de gastar vários ciclos na apresentação em detrimento do valor do conteúdo. Nos ambientes de projeto em que a apresentação tem importância e valor econômico como um produto liberado do projeto, convém usar um recurso administrativo para executar as tarefas de apresentação.

Copyright  (c) 1987 - 2001 Rational Software Corporation

Rational Unified Process