Se a primeira experiência de um testador for um travamento ao abrir, você gasta o tempo dele com algo que poderia ter encontrado em cinco minutos. Um smoke test curto antes de convidar qualquer pessoa mantém o feedback deles para os problemas que só quem é de fora enxerga.
Os 15 minutos são uma estimativa. Faça isso com uma build instalada do mesmo jeito que os testadores vão instalá-la, e não a partir do seu ambiente de desenvolvimento.
A checklist de smoke test em 12 pontos
- Instalação limpa. Desinstale a versão antiga e instale a build que os testadores vão receber. Por quê: dados que sobraram escondem bugs da primeira execução.
- Primeira abertura. O app abre, sem tela em branco ou travada. Verifique: observe os primeiros 10 segundos.
- Introdução. Complete uma vez e pule uma vez. Verifique: nada bloqueia você.
- Permissões. Cada pedido é explicado e o app continua funcionando se você negar.
- Cadastro e login. Crie uma conta, saia, entre de novo. Verifique: também a redefinição de senha, se você oferecer.
- Conta de teste. As credenciais de teste que você entrega realmente funcionam.
- Tarefa principal. Faça a única coisa para a qual o app existe, do início ao fim.
- Matar e reabrir. Force o fechamento no meio de uma tarefa e reabra. Verifique: dados e estado fazem sentido.
- Sem rede. Ative o modo avião. Verifique: uma mensagem clara, sem travamento.
- Rotação e tamanho do texto. Gire a tela, use uma fonte maior do sistema. Verifique: nada fica cortado.
- Segundo dispositivo. Uma tela pequena e uma grande, ou uma versão mais antiga do Android ou iOS, se você tiver.
- Sobras. Nenhum banner de depuração, texto de exemplo, dados de teste ou links quebrados visíveis.
Não pule
- Versão e número da build. Os testadores devem conseguir dizer qual build têm.
- Lista de problemas conhecidos. Anote-os para poder pedir que os testadores ignorem.
O que não dá para cobrir
Você não vai achar o que está acostumado a não ver. É para isso que servem os testadores de fora. O seu smoke test só elimina o óbvio.
Próximos passos
- Escreva as instruções: instruções de teste para testadores.
- Envie uma mensagem de convite clara.
- Encontre testadores: encontre beta testers para o seu app Android.