📦 Ozom Kit
4.1 Experiment-Arte
Created time
Sep 21, 2023 12:09 PM
slug
test
author
tags
🧪 Tracción
summary
La realidad es que experimentar es probar y aprender. Nada más.
type
Post
thumbnail
isPinned?
isPinned?
category
📦 Ozom Kit
updatedAt
Jan 4, 2024 03:40 PM
👤 Owner - Champion
⏰ Event time
☑️ Status
🏠 Areas Involucradas
🚀 Proyecto
status
Public
📋 Tipo de Documento
👥 Collaborators
Este artículo nace a partir de una charla que dimos para StartupGrind, la comunidad global mas importante de emprendedurismo. Pueden encontrar el video completo acá!
Creemos que estas ideas le pueden servir a cualquier persona, sin importar lo que esté intentando hacer. Si bien hay una parte más especifica y práctica sobre cómo correr un experimento en productos tech, la manera de pensar el problema es universal.
Experimentar es hacer
Dejamos a otros decirlo mejor…
La realidad es que experimentar es probar y aprender. Nada más.
Lo hacemos de una manera intencional, premeditada y usamos datos para bajar el riesgo.
Pero como nunca podemos tener certezas absolutas, al final todo termina siendo relativo.
Y ahi se vuelve un arte.
Hay algo muy poderoso del “no sabés hasta que lo probás”, que tiene algo del “ver para creer”.
(si no me creen, vean “Oppenheimer” de Nolan, cuando hablan de que la teoría tiene sus limites)
El punto es que el Crecimiento sucede cuando se Aprende Haciendo.
Por qué experimentar?
Queremos que esa rueda gire lo más rápido posible!
Buscamos generar un ciclo virtuoso:
- Construimos (Producto, Cambios)
- Medimos (Datos)
- Aprendemos (Ideas)
y esas ideas generan nuevos cambios.
Con el tiempo, los aprendizajes se acumulan y el efecto compuesto es exponencial. Los inversores invierten en equipos, en personas experimentadas. El valor de tu compañía es proporcional a tus experiencias.
No es una carrera, es una maratón.
La teoría y la práctica
AB Testing:
Se divide en 2 grupos a los usuarios (aleatoriamente) y a cada grupo se le da una variante del producto (A o B).
Luego medimos cuál de los grupos tiene mayor éxito. Ya sea porque compran más, lo hacen en menos tiempo o simplemente están más satisfechos.
Si empezamos a combinar cambios, las variantes se multiplican:
- 2 imágenes distintas
- 2 textos de acción (CTA)
- 2 opciones de títulos
Tenemos 8 combinaciones posibles!
El cambio puede ser tan pequeño como el color de un botón.
En este caso vemos que el verde se lleva más clicks, es más atractivo.
Opción 1: Test Multivariado
Podemos hacer experimentos con tantas variantes como queramos.
El único problema es que ahora nuestros usuarios se dividen en más grupos. Por lo que vamos a necesitar una mayor cantidad de usuarios para tener resultados.
Opción 2: Asumir Independencia
La otra alternativa es asumir que los cambios son independientes (Ejemplo: el mejor color va a ser el mejor sin importar la forma del botón).
Esto no siempre es cierto, pero en muchos casos sí.
Por lo que podemos probar cada elemento, encontrar los mejores, y combinarlos.
Medir resultados es FACIL
Te recomendamos estas dos herramientas que lo hacen automágicamente:
Diseñando el experimento
Hay tres elementos clave a tener en cuenta cuando planeamos un test:
1. Métrica Objetivo + Referencia
Un valor, idealmente numérico, que podemos calcular para definir cual de las variantes es la ganadora. Y un valor “normal” que usamos para calcular la muestra necesaria.
PROXIMAMENTE: 📏 “Lo que no se mide no existe”
2. El Tiempo
Hay que saber cuánto tiempo va a demorar el experimento, y entender si se justifica correrlo.
3. El Riesgo
La contracara del tiempo; intangible e inevitable. Siempre existe al probar cosas nuevas, lo mejor que podemos hacer es no perderlo de vista y asumirlo a consciencia.
Buenas Practicas & Tipsss
Descomponer y Agrupar
Es normal caer en querer probar todas las variantes posibles. Una manera de evitarlo es descomponer los elementos más importantes del producto (ej: imagen, titulo, botón) y luego agrupar variantes de cada elemento según criterios comunes.
Ejemplo:
Tendríamos una combinación de imagen, titulo y botón que transmita un mensaje de oferta y descuento de precio. (Rojo)
Y lo compararíamos con otra combinación de los tres elementos que se enfoque en la calidad del producto. (Gris)
La clave es comparar “peras con peras”.
Experimento-cracia
Antes de salir a probar un cambio, primero pensar si merece ser probado.
Puede pasar que:
- Sea solo aditivo, sume a lo que hay
- Sea un “fix”, algo que arregla un error
- Sea demasiado chico, un detalle
En todos esos casos, no hace falta experimentar!
Usuarios Sucios
- SIEMPRE probar con usuarios nuevos, en su primer contacto con el producto.
- Los usuarios recurrentes ya tienen pre-conceptos que afectan su percepción
- En este articulo Casey Winters explica más razones para enfocarse en los nuevos usuarios
- CUIDARSE del “Survivor Bias”
- Es posible que a la hora de medir resultados estemos viendo solo una porción de los usuarios, y que esto condicione nuestras conclusiones
- No quedarse solo con los exitosos, y perder de perspectiva al resto
Paso o pasito?
Por un lado, probar cosas chicas nos permite hacer más cambios pequeños y aprender más rápido.
Por el otro, hacer cambios grandes nos asegura ver un impacto significativo en menos tiempo.
Recomendamos empezar por cambios grandes para identificar oportunidades, y luego chicos para precisar.
