Como testar seus perfis de risco
Introdução aos Experimentos de Risco
Os experimentos de riscocomparam dois perfis de risco para você decidir qual tem melhor desempenho. Você pode testar ao fazer a transição para o Protect para comparar o desempenho do seu perfil de risco baseado na pontuação existente com o perfil de risco do Protect com ML. Atenção: os experimentos estão disponíveis apenas na versão premium do Protect.
Como parte na migração, oferecemos um novo perfil de risco chamado Regras de ação básicas/premium e ML, que você pode personalizar e usar diretamente para experimentos A/B ou copiar para criar novos perfis de risco adaptados às suas necessidades.
Ao executar um experimento de risco, parte do seu tráfego ativo é alocada aleatoriamente ao perfil de risco alocado à merchant account e comparada a um perfil de risco recém-criado (perfil B).
Antes de começar o experimento, é essencial definir claramente seu objetivo e estabelecer critérios para o sucesso. Se o objetivo é reduzir os chargebacks, o sucesso será determinado por uma diminuição nos chargebacks no perfil B. Por outro lado, se o seu objetivo é melhorar as autorizações, o sucesso será determinado por um aumento nas autorizações do perfil B.
Ao fazer a transição do antigo RevenueProtect para o novo Protect, seu objetivo principal pode ser demonstrar que a nova versão tem um desempenho tão eficaz quanto a antiga, dando confiança para fazer a mudança. O sucesso nesse contexto seria definido por métricas uniformes em ambos os perfis de risco.
Nossos experimentos geram dados sobre autorizações, quantas transações são bloqueadas pela ferramenta de risco em comparação com as bloqueadas pelos emissores, além de chargebacks e NoFs.
Como começar um experimento de risco
Primeiro você deve criar seu novo perfil de risco B. No nível da conta da empresa, na Customer Area, selecione Receita e Risco > Perfis de Risco > Criar novo perfil com base nas “Regras de Ação Básico/Premium & ML”. Assim que o perfil B (novo) for criado, você pode fazer os ajustes necessários antes de começar o experimento. Por exemplo, ajustar o limite de risco ou adicionar regras personalizadas.
Quando estiver satisfeito com seu perfil B e o perfil de risco atualmente alocado à merchant account na qual você executará o experimento, é hora de começar. Selecione Receita e risco > Experimentos > Criar novo experimento (os experimentos só podem ser criados no nível da conta da empresa).
Primeiro, você precisa dar um nome ao experimento. - Em seguida, você deve selecionar a merchant account onde o experimento vai acontecer. - Apenas um experimento pode ser executado em uma merchant account por vez. - Você verá que o perfil de risco básico é o perfil de risco que está atualmente alocado à sua merchant account escolhida. Em seguida, selecione a variante (perfil B) para comparar. - Por fim, escolha a porcentagem do tráfego ativo para alocar ao experimento. Por exemplo, selecionar 50% para o experimento significa que 25% das transações serão direcionadas para cada perfil de risco, enquanto os 50% restantes das transações na sua merchant account permanecerão inalteradas e não avaliadas. Ao clicar em Criar, o experimento começa imediatamente.
Para ver experimentos ativos e anteriores, selecione Receita e risco > Experimentos na Customer Area. Aparecerão todos os pontos de dados mencionados e como eles se comparam entre os dois perfis de risco.
Perguntas frequentes & Coisas que você deve saber
Quanto tráfego eu devo enviar em um experimento? A Adyen recomenda que pelo menos 10% do tráfego seja direcionado para o novo perfil de risco para que o segmento de dados seja o suficiente para gerar decisões embasadas. Testes 50/50, nos quais 100% do tráfego é incluído no experimento, é recomendado para gerar os resultados mais confiáveis.
Por quanto tempo devo fazer o experimento? Normalmente, recomendamos executar o experimento por cerca de um mês antes de fazer a mudança ou aumentar o tráfego. O tempo de execução dos experimentos também depende do volume enviado para o experimento ou do seu objetivo. Por exemplo, você pode perceber mudanças nas autorizações ao longo de alguns dias. Como as transações podem levar até 100 dias para possivelmente resultar em chargebacks, é bom prorrogar a duração do experimento para avaliar com precisão o seu sucesso.
Preciso realocar minhas contas a um perfil de risco ao conduzir um experimento? Não. Mantenha sua merchant account no perfil de risco antigo ou "base". O experimento roteará a quantidade de tráfego alocada entre os dois.
Se eu receber chargebacks em um experimento após a conclusão, as métricas serão atualizadas de acordo? Sim. Quaisquer chargebacks ou avisos de fraude resultantes de transações avaliadas durante o experimento atualizarão automaticamente as métricas do experimento na Customer Area.
Por quanto tempo os experimentos antigos/concluídos ficam visíveis na Customer Area? Os experimentos na Customer Area ficam visíveis por 60 dias após você terminá-los. É bom copiar ou fazer uma captura de tela da "Visão geral do experimento" para consultar caso você precise analisar após 60 dias. *Dica: anote e salve o ID de referência do experimento (fica diretamente abaixo do nome do experimento). Com ele, você pode fazer relatórios sobre os experimentos após os 60 dias terem passado ou ver todas as transações de um experimento na tela de pagamentos na sua Customer Area.
Posso alterar os perfis de risco e as regras durante um experimento? Pode. No entanto, para garantir resultados precisos dos experimentos, qualquer alteração em uma regra de risco dentro de um perfil de risco que faça parte de um experimento interrompe automaticamente o experimento. Você precisará reiniciar o experimento manualmente.
