Testes

Fonte: Shutterstock.

Deseja ouvir este material?

Áudio disponível no material digital.

Praticar para aprender

O processo de otimização de conversão envolve uma infinidade de informações e métricas, desde as análises iniciais, com diversos dados usados para formular as hipóteses, até a condução e avaliação dos experimentos. O fato é que, durante a etapa de diagnóstico, geralmente são gerados muitos insights sobre o que pode ser otimizado, resultando na criação de várias hipóteses de teste. E é exatamente por isso que a CRO demanda um processo organizado, para deixar claro o que precisa ser testado, quando será testado, o que deve ser testado primeiro e como avaliar os resultados de cada teste. 
Se você realiza testes em seu site ou planeja começar a fazer isso em breve, já está à frente de muitas empresas. A busca pela otimização proverá grandes melhorias ao seu site, tendo como resultado um crescimento de conversão e receita, mas é preciso entender sempre o melhor cenário para a execução de um teste. A otimização de conversão vai sim ajudar o seu negócio, desde que os testes sejam realizados corretamente e seguindo um processo adequado. 
Existem erros comuns no processo de CRO, seja na execução de um teste, em ações que podem interferir em seu resultado ou mesmo ao avaliar erroneamente um resultado. Por isso, você precisa ser extremamente cuidadoso em cada etapa, mas principalmente na condução dos testes. Você pode acabar perdendo seu tempo ou até prejudicando seu negócio por causa de um teste mal elaborado ou que não foi validado corretamente. 
No entanto, é natural que ocorram erros em um processo de otimização, principalmente no início. Contanto que você aprenda quais foram tais erros e estruture o seu processo de forma que possa evitá-los futuramente, poderá seguir com suas ações de CRO sem problemas.

Você é responsável por uma loja de roupas online. Começou recentemente a implementar um processo de CRO para aumentar o número de pedidos no site, e, com base em suas análises, definiu algumas hipóteses para teste. Para saber qual hipótese testar primeiro, você recorre ao PIE framework a fim de ordenar e priorizar suas hipóteses, e então lista e quantifica cada uma delas com base nos três critérios desse framework, resultando no seguinte quadro:

Agora, com base nesse quadro, e ainda seguindo o PIE framework, qual será a ordem das hipóteses e qual delas deverá ser a primeira a ser testada? 

Esteja sempre atento às melhorias aplicadas em sites nos quais você costuma navegar. Quando notar que algo foi alterado, procure entender o que foi melhorado e/ou que tipo de recurso foi utilizado. Isso vai ajudá-lo a relacionar os conceitos sobre elaboração de hipóteses e realização de testes vistos aqui. Bons estudos! 

conceito-chave

Para começar um processo de otimização, você precisa saber o que seus visitantes estão fazendo no seu site, o que os motiva e o que os leva a procurar um produto e/ou serviço como o seu. Blanks e Jesson (2017, p. 81) afirmam que é preciso conhecer seus dados, não apenas superficialmente, mas realmente entender os diferentes tipos de interações que acontecem em seu site. Contudo, é ainda mais importante entender por que a maioria dos seus visitantes deixa o seu site sem converter. 
No entendimento de Blanks e Jesson (2017), devemos sempre nos colocar no lugar do visitante, seguindo os mesmos passos que ele em toda a jornada de navegação. Dessa forma, saberemos prover hipóteses com maior potencial para melhorar a ligação entre o que o site oferece e o que os visitantes desejam. Com o passar do tempo, e dos testes, a estrutura do site vai sendo otimizada e essa ligação com os visitantes se torna cada vez mais vantajosa. 
Para que isso aconteça, principalmente em um processo de testes e otimização, é preciso definir uma estratégia para o site. Comece avaliando os objetivos do seu negócio e do seu site e quais métricas podem refletir o sucesso desses objetivos. Por exemplo: se você trabalha em uma pequena empresa de serviços que tem um site institucional, o objetivo do site pode ser gerar leads (contatos) de clientes que queiram solicitar um orçamento. Nesse caso, a métrica que deverá ser acompanhada será o número de leads gerados no site. Ou seja, a sua principal conversão será o visitante que entra no site e solicita um orçamento, e a sua estratégia deve visar sempre aumentar o número de orçamentos solicitados. 

Concentre-se na métrica que mais importa

Muito provavelmente seu site proverá diversos dados. As ferramentas de web analytics, como padrão, trazem muitas métricas já configuradas e relatórios prontos. Contudo, é importante que seja mantido o foco na métrica que melhor reflete o objetivo principal do site. Se for um e-commerce (comércio eletrônico), por exemplo, você deverá acompanhar muito de perto o número de pedidos realizados, além de ter como estratégia a constante busca por melhorar essa métrica (aumentando as vendas).

Testes orientados à métrica que mais importa

Uma vez que você definiu qual é a métrica mais importante para o seu site, e consequentemente para o seu negócio, é importante que o seu processo de otimização tenha essa métrica como um guia. Ou seja, o seu processo de CRO deve estar focado em melhorar o desempenho dessa métrica principal. Vale ainda ressaltar que, além da CRO, essa métrica vai ser o farol para suas demais ações que envolvam o site, como anúncios, conteúdos, redes sociais, etc.

Métrica de sucesso da hipótese de teste

Para definir a sua hipótese, conheça o problema que deseja resolver e identifique como a solução proposta vai ajudar na sua conversão, mas também projete como a sua hipótese vai impactar positivamente a performance das métricas mais relevantes. Faz parte da construção de uma boa hipótese de teste definir qual será a sua métrica de sucesso.

Desempenho da métrica de sucesso (conversão) e a viabilidade do teste

É importante ressaltar que a viabilidade de um teste com base em uma métrica dependerá da performance daquela métrica no cenário atual do site. Por exemplo: um determinado e-commerce, ainda em estágio inicial, tem poucos visitantes e um número muito baixo de pedidos, ou seja, ainda tem uma taxa de conversão muito baixa, e por isso pode não representar o cenário viável para um teste. Como as conversões são pouquíssimas para serem avaliadas durante um teste, bem possivelmente o resultado será inconclusivo, sem significância estatística. 
O especialista em conversões Bryan Eisenberg, em apresentação ao Web Marketing Today (YOUTUBE, 2008), estima que um site que gera, aproximadamente, de 5 a 10 conversões por semana pode se enquadrar nesse contexto de baixas conversões e não apresentar resultados convincentes ao se realizar um teste. 

Tráfego do site e a viabilidade de um teste

A questão da viabilidade de um teste também vale para o tráfego de um site. Para obter resultados de teste confiáveis é preciso que o site não tenha um volume muito baixo de visitantes, pois isso refletirá diretamente no tamanho da amostra designada para cada variante do teste. 
Rich Page (2012), autor do livro Website Optimization: An Hour a Day, estima que um site que recebe menos de 1000 visitantes únicos por semana pode ser considerado de tráfego baixo para a realização de um teste. É claro que, além do tráfego, será preciso avaliar outras variáveis, como o próprio número de conversões (mencionado anteriormente) e o tempo máximo de duração que o experimento poderá requerer. 
Sobre o aspecto da duração, a maioria das ferramentas de teste, como o Google Optimize, faz a projeção de quantos dias serão necessários para sua execução. A duração do teste, na maioria das vezes, vai ser inversamente proporcional ao tráfego direcionado para ele. Ou seja, quanto maior o tráfego em um determinado experimento, menos dias ele poderá requerer para alcançar significância estatística e garantir um resultado concludente. 
Vale ainda ressaltar que se o seu site não tem tráfego ou conversões suficientes para executar testes, você ainda assim pode implementar um processo de CRO e aplicar suas disciplinas, como estudos de web analytics e análises de UX para melhoria da sua interface. E, assim que seu site tiver tráfego, comece a testar. 
É importante também avaliar se suas ações de aquisição de tráfego estão gerando bons resultados. Em negócios e/ou sites mais novos, vale destinar mais esforços para atrair visitantes. 

Sazonalidades e o melhor período para testes

Em um cenário ideal, um site não deverá ser alterado durante a execução de um experimento. Imagine que você está executando um teste em um e-commerce e deve realizá-lo por pelo menos quatro semanas. Depois de duas semanas que o teste foi iniciado, você precisa inserir um novo produto ou atualizar alguns banners com uma nova promoção. Ao fazer tais alterações, você pode estar interferindo no ambiente do teste e, consequentemente, no resultado. 
Por isso, é importante mapear as datas e/ou períodos mais importantes para o seu negócio e encaixar seu cronograma de testes nos intervalos. Todavia, saiba que isso muda bastante de empresa para empresa. 
Como exemplo, alguns e-commerce não realizam experimentos durante o período de Black Friday, pois não querem enviesar suas análises (e seus testes), já que se trata de uma data do varejo em que o comportamento de compra dos consumidores é diferente. Mas você pode realizar testes em um site que vende produtos voltados para mães na véspera do Dia das Mães, se considerar que isso faz sentido para a sua conversão e a estratégia do seu site. 

Tipos de hipóteses e a relação com tráfego

Você já sabe que o teste é a ferramenta ideal para validar uma hipótese. Mas saiba que a complexidade de um teste também deve ser considerada pela perspectiva do tráfego de um site. 
Se você vai testar mudanças muito significativas em uma página, como a alteração completa de um layout, pode ser que o teste detecte uma diferença maior na taxa de conversão entre as variantes, mesmo com um tráfego menor. 
Por outro lado, se você for testar pequenas alterações, como a cor ou a copy de um CTA (call to action – em português, chamado para a ação), precisará de uma amostra bem maior para o seu teste, ou seja, um tráfego bem mais significativo. 
Isso acontece porque mudanças mais bruscas geralmente causam mais impacto no comportamento do visitante, para melhor ou para pior. Um novo layout pode, por exemplo, fazer seus visitantes converterem bem mais, e mudanças mais significativas serão percebidas com maior intensidade entre as variantes do teste, em menos tempo ou com menos tráfego. 
Contudo, é preciso muita cautela com mudanças muito grandes. Mesmo que o teste alcance significância estatística e você constate que a nova versão é, de fato, mais conversora, você saberá que, no geral, aquele novo layout converteu mais, mas não poderá identificar quais dos elementos que você alterou foram eficazes ou não. Por isso, sites com maior tráfego fazem mudanças menores e de forma mais gradativa, para saberem exatamente o que funciona para o público deles. 
Avalie sempre e limite seu mapeamento às hipóteses relevantes para o seu site, e valorize aquelas que têm potencial de resultar em taxas de conversão mais altas para as métricas que realmente importam. 

Como priorizar as hipóteses de teste

É natural em um processo de CRO – durante estudos, análises e diagnósticos – reunir muitos dados e insights e, consequentemente, definir muitas hipóteses de teste. 
Você mapeou diversas oportunidades de melhoria, mudanças que podem realmente fazer o seu site converter mais, mas que você pretende testar e validar antes de qualquer implementação. 
Com tantas hipóteses, é necessário organizá-las e estabelecer uma forma de priorizá-las. 
Saber o que testar primeiro depende do quanto você conhece seu site e seus dados, do quanto compreende onde poderá obter maiores ganhos com menor esforço e de quais mudanças têm potencial para ganhos maiores e consomem menos recursos. 
Para facilitar a priorização, existem alguns frameworks (estruturas) com critérios que ajudam a elencar as hipóteses. 

PIE framework

Otimizar o processo de testes geralmente é tão importante quanto os próprios testes. Priorizar as hipóteses com maior potencial vai também possibilitar um melhor direcionamento sobre como começar, o que testar primeiro e onde investir mais esforços (e recursos) para ter melhores resultados. 
O PIE framework é apresentado por Chris Goward (2017) em seu livro Você deve testar! O termo PIE é um acrônimo em inglês para Potential, Importance e Ease, os três critérios que são a base da estrutura que visa priorizar as hipóteses de teste ao quantificá-las e ordená-las. 

Os três critérios para priorizar as hipóteses

Entenda os três critérios – descritos em português como potencial, importância e facilidade – para priorizar quais testes devem receber maior atenção e em qual ordem:

Você deverá quantificar as suas hipóteses, individualmente, em um número de 1 a 10 para cada um dos três critérios do framework. A média simples da pontuação dos critérios definirá o PIE score de cada hipótese. Ordene o PIE score de forma decrescente e então você terá a lista de hipóteses já priorizadas. A hipótese com maior PIE score deve ser a primeira de sua lista a ser executada, e assim sucessivamente. O PIE framework com a organização e pontuação das hipóteses fica da seguinte forma:

Sua priorização deve ser única

Embora o framework o ajude a elencar as hipóteses por ordem de importância e prioridade, é preciso também que você observe o momento e os objetivos do seu site. É possível que seja interessante para você executar uma hipótese que está em quarto lugar em sua lista, para testar algo que é muito específico para o seu negócio, ou talvez preparar determinada página do seu site para uma data importante do varejo, como a Black Friday. 
Sendo o caso, considere ainda fatores como concorrência, sazonalidades e até mesmo a cultura interna da empresa (membros do time resistentes às mudanças, por exemplo). A classificação de prioridade que você atribui para cada uma de suas hipóteses dependerá não só da implementação de um framework, mas também de suas decisões diárias envolvendo seu site e o seu negócio. Todavia, ao definir seu cronograma de testes, mantenha sempre o foco na métrica que você quer melhorar, na conversão que você quer otimizar. 

Principais erros na execução de testes

Sabemos como é imprescindível o papel dos testes em processos de CRO. Eles são importantes para validar melhorias no contexto real, com o público que realmente passa pelo seu site, e por isso são uma ferramenta poderosa para a tomada de decisão baseada em dados, e não em suposições. 
Contudo, a realização de testes pode se tornar problemática se você não tomar alguns cuidados e souber evitar erros comuns, como: 
•  Não ter uma hipótese sólida: conduzir um teste sem uma hipótese baseada em dados será como dirigir no escuro. Evite desperdiçar tempo e recursos com isso. 
•  Não definir corretamente a métrica de sucesso do teste: ao configurar um teste, tenha certeza de que escolheu a métrica certa para validar seus resultados. É claro que você pode avaliar mais de uma métrica ao realizar um teste, mas saiba qual é a que melhor define o objetivo principal do teste e a sua conversão. 
•  Iniciar um teste em um cenário inadequado: certifique-se de que o ambiente do teste tenha tráfego e conversões suficientes para a execução do experimento. 
•  Não fazer um check-up técnico antes de iniciar o teste: é preciso conferir cada detalhe para não iniciar o teste com erros técnicos, como elementos que não funcionam ou um link quebrado, por exemplo, pois isso certamente vai comprometer o resultado. Faça testes antes de começar o teste, usando os principais tipos de dispositivos que acessam o site. 
•  Não aguardar a realização do teste pelo período mínimo indicado: a ferramenta de teste vai indicar quando ele for inconclusivo. É preciso ser paciente. 
•  Ignorar o tráfego de dispositivos móveis: acompanhe de perto o comportamento da conversão em cada dispositivo, mas, principalmente, o tráfego mobile. 
•  Não gerar aprendizados: em um processo de CRO, é de vital importância que se saiba exatamente o que aconteceu durante o teste. É preciso aprender com cada experimento, avaliando cada alteração, melhoria ou novo elemento. Tudo deve ser mapeado e acompanhado. Grave sessões de navegação durante todo o teste, observe mapas de calor de ambas as variantes, cheque o evolutivo das métricas durante o experimento, anote as ações que possam ter influenciado o site e/ou seus visitantes durante o teste, entre outros pontos. Em suma, colete todo tipo de informação possível sobre o experimento e que possa gerar algum aprendizado acerca do que foi testado. 
•  Não saber justificar o resultado: ao olhar para o resultado de um teste, mais especificamente para as métricas que foram definidas, você precisará saber precisamente se as melhorias geraram algum impacto, positivo ou negativo. Para isso, mensure tudo o que viabilize o entendimento sobre o que foi alvo do experimento e use métricas (até mesmo as secundárias) para avaliar a efetividade dos elementos testados no aumento da conversão. Antes de começar um teste, faça uma configuração criteriosa de metas, eventos e segmentos avançados no Google Analytics, pois isso irá ajudar muito com essa questão. 

Interpretando testes e resultados

Ao avaliar os resultados dos testes, você deve procurar minimizar ao máximo os riscos de cometer erros em sua análise, já que as decisões tomadas ao final de cada teste afetam diretamente o seu site e o seu negócio. 
Para garantir maior assertividade no seu processo de CRO, existem algumas boas práticas em interpretação e análise de experimentos que você precisa conhecer: 
•  O resultado do teste precisa alcançar significância estatística: atingir significância é a garantia estatística de que seu teste não foi vencedor por acaso. A própria ferramenta usada para realizar o teste faz esse cálculo de significância com base nas métricas que você selecionou. 
•  O resultado deve ser validado com as métricas corretas: se as métricas de sucesso de um teste são, por exemplo, pedidos e ticket médio (valor médio dos pedidos), não assuma o teste como vencedor se ele não atingir significância em ambas, nem busque por métricas secundárias só para validar o resultado como positivo. 
•  Use segmentações para analisar os resultados: procure entender os resultados em diferentes aspectos, como tipos de dispositivos, origens de tráfego, etc. 
•  Cuidado com campanhas e ações específicas durante o período de teste: avalie se o incremento na taxa de conversão de alguma variante do seu teste não está ligado a uma campanha pontual ou ação de marketing realizada durante o período de teste. Em casos assim, pode ser que os visitantes que chegaram ao seu site por meio daquela ação específica não reflitam o comportamento dos visitantes que chegam normalmente, e isso enviesaria o resultado do seu teste. 
•  Não interrompa o teste cedo demais: mesmo que seu teste atinja significância nos primeiros dias, é preciso avaliar seu comportamento por mais tempo e seguir o prazo estimado pela ferramenta de teste (que vai se basear no tamanho da amostra). 
•  Cuidado ao alongar demais a duração de um teste: assim como a significância estatística não é parâmetro para você encerrar um teste logo no início, também não deve ser parâmetro para você mantê-lo por tempo demais. Se a sua hipótese não for boa o suficiente para mover os números de conversão, rodar o teste por um período demasiadamente longo não vai fazer com que ele alcance significância. 
•  Atenção às sazonalidades: imagine que você tem uma loja de roupas online e realizou um teste em janeiro, o período mais quente do ano, destacando as suas ofertas de verão. Seu teste foi vencedor e você implementa a melhoria. Depois de alguns meses, no inverno, aquela mesma melhoria testada certamente não surtirá tanto efeito, pois possivelmente seu público estará em busca de roupas para o frio. Procure ficar atento a qualquer sazonalidade que afete diretamente o seu negócio e tenha isso em mente quando realizar testes. 
•  Evite comparações com o seu histórico: cuidado ao comparar a taxa de conversão do seu período de teste com períodos anteriores. O teste de hipótese é realizado exatamente para evitar que você compare situações muito diferentes. Por exemplo, se você tem uma loja de roupas, uma agência de viagens, uma papelaria ou uma academia, seu público se comporta de forma diferente em cada época do ano. Mesmo de um mês para o outro, o seu resultado de conversão pode se modificar muito. Se o seu negócio pode ser afetado por qualquer mudança de comportamento do consumidor, não é confiável comparar uma mesma métrica em períodos distintos para determinar a validade de uma melhoria e/ou ajuste na interface. 
•  Desconsidere intervenções e/ou situações atípicas: imagine que você conduziu um teste em seu site por 30 dias. Ao avaliar os dados, percebe que no 22º dia do teste os dados demonstraram um comportamento incomum. Você então conversa com pessoas da empresa e descobre que naquele dia especificamente o site passou por problemas técnicos. Nesse caso, como se trata de uma situação atípica e que não reflete a realidade do site, você pode excluir os dados desse 22º dia de todas as suas análises. Ou seja, você vai considerar os dados dos outros 29 dias para validar o resultado do seu teste. 
•  Confie mais nos dados e menos na intuição: talvez o teste que você acreditava que traria bons resultados seja, no fim, inconclusivo. Recorra sempre aos números, avalie as métricas e tome a decisão de implementar ou não uma melhoria testada com base no que o teste apontou, mesmo que isso vá contra o que você esperava. 

Registre seus testes

No processo de CRO, os testes não tratam apenas de aumento da conversão, ganhar ou perder. Para otimizar é preciso reunir informações a fim de guiar as decisões. O aprendizado decorrente dos testes é muito valioso e contribui para objetivos do negócio que vão além da otimização do site. 
É parte do processo documentar os resultados de teste, inclusive já planejando a abordagem de testes de forma recorrente, produzindo conhecimento e visando o crescimento das métricas mais importantes. 
No entanto, como o processo de testes acaba sendo empírico e/ou adaptado de formas diferentes para cada tipo de empresa, não há uma maneira única de registrar testes e fazer a gestão do conhecimento de todo o processo de CRO. 
Algumas empresas recorrem a soluções sofisticadas e outras registram tudo em planilhas de Excel. Independentemente da sua opção, procure registrar o máximo de informações possíveis sobre cada teste e garantir que tal registro seja acessível e facilmente compreendido pelas demais pessoas da sua equipe e/ou empresa. 

Nunca pare de testar!

O teste é um recurso inestimável para qualquer empresa que tenha presença digital e/ou algum site como ponto de contato com seus consumidores, não só para a tomada de decisão, mas também na busca por crescimento contínuo de receita. 
Vimos ao longo de todo o conteúdo como os testes podem beneficiar o seu negócio, o que você precisa para começar a realizar testes e quais cuidados você precisa ter ao planejar, executar e avaliar testes em um programa de otimização. 
Implemente seu processo, comece a testar e veja como uma cultura de experimentos é capaz de levar qualquer negócio para o próximo nível.