Métricas de Producto y por qué el NPS apesta

Lo que no se mide no se mejora, pero ¿Cómo mides como alguien usa algo o qué tan satisfecho está contigo? Qué medir, cómo medirlo y para qué es una de las decisiones más importantes que puede hacer un equipo de Producto y curiosamente es una de las actividades que parecen importar menos, al grado de que prefieren adaptar una horrible métrica llamada NPS como su brújula. En este programa hablaremos de métricas y de cómo el NPS es la peor de ellas.

Contexto

Corría el año de 2003. En el radio (porque todavía había radio) escuchábamos Bring Me To Life de Evanescence, Lose Yourself de Eminem y Where is the love de Black Eyed Peas.

Google estaba en planes de salir a bolsa y acababa de rechazar una oferta de Bill Gates para ser comprados por Microsoft. Apple lanzaría iTunes a finales de ese año. El iPhone, Facebook, incluso YouTube todavía estaba a varios años en el horizonte.

En este año, en el Harvard Business Review apareció un artículo que ha tenido más impacto organizacional que todas estas canciones y avances tecnológicos.

Un señor llamado Frederick F. Reichheld publicó un artículo llamado: “The One Number You Need to Grow” en dónde platicaba de un estudio que hizo con 14 casos, en dónde estuvo experimentando con encuestas de satisfacción.

Su principal hallazgo fue que preguntarle al usuario “qué tan probable es que le recomiendes este producto a un amigo o familiar” y presentarle una escala del 1 al 10; y que el usuario escoja 8, 9 o 10, indicaba:

• que el usuario está satisfecho
• que el usuario puede potencialmente ser leal y regresar
• que el usuario puede evangelizar a otros

Entonces, las conclusiones de Reichheld era que, ese número era el único que importaba para saber si tu producto era bueno o no.

En los tiempo de Reichheld, no existía Google Analytics, no existían los Smartphones, Inteligencia Artificial. Blockchain, tags, eventos de javascript, big data.

Cuando Riechheld escribió ese artículo, enviar una encuesta de satisfacción por correo tradicional, o pedirle al usuario llenar un formulario en papel y lápiz, era tecnología de punta. Era imposible tener datos de la gente usando el producto.

Por alguna razón, este número, esta definición ha sido la que todas las empresas, de todos los tamaños en todas partes del mundo han adoptado.

No han adoptado UX o Decisiones Centradas en Datos, lo que está en el corazón de empresas que valen miles de millones de dólares como Apple o Amazon. Pero adoptaron este número, anacrónico, diseñado para un mundo sin Internet, como su única guía y brújula para saber si sus productos son buenos o no.

En el 2019 en Harvard Business Review se retractó, publicando un artículo llamado “Donde el NPS falla” y hablando de un estudio que abarca más de 20mil consumidores (Reichheld analizó 4mil) que falla de encontrar alguna correlación entre el NPS y la lealtad, la satisfacción y la recompra.

Les tomó 16 años darse cuenta de que la gente no va por la vida recomendando marcas y productos a todos los extraños que se encuentran

El mismo Reichheld, acusando una decepción de que su NPS se ha vuelto una métrica terrible, por lo fácil que es de manipular y la poca información que aporta, publicó:

“Instead of NPS, perhaps I should have called the system “NLE,” for Net Lives Enriched. After all, that is what NPS really measures. Of all the lives you touch, how many are enriched, how many diminished? By focusing on that question each day, you can make the world a better place — especially if you measure, test and learn”

El estudio del NPS se centró el cómo formular una pregunta. Hoy en día es aparentemente el único número que importa en las empresas para saber si sus clientes están contentos o no.

No hay una organización en la faz de la tierra que entienda su NPS, que sepa exactamente qué lo sube, lo baja y qué pueda correlacionarlo con cambios a su servicio. Los que digan que si están mintiendo o es una casualidad. Tenemos la data, sabemos que no hay correlación entre el número, la lealtad y la satisfacción. Es pseudociencia.

Pero bueno, todo este contexto es para ayudarlos a ver que -esa- métrica no es la correcta. Pero entonces cómo mido el éxito de mi producto. Pos ahí vamos.

Definición

Clayton Christensen, una de las personas con mayor impacto en cómo creamos productos hoy, decía que un producto es algo que “contratamos” para resolver un problema.

Estoy decorando mi estudio, quiero colgar un cuadro, necesito hacer un agujero para poner un clavo. Clayton decía “la gente no quiere un taladro, quiere hacer un agujero”

Entonces, el producto no es el taladro, el producto es lo que el usuario puede lograr, porque esa es la parte que valora. Es decir, el valor para mi de un taladro no está en cómo está hecho, sino en si me permite hacer un agujero o no. No estoy pagando por un taladro, estoy pagando por hacer un hoyo.

¿Cómo funciona?

Ahora, pasar de una necesidad a que completo mi tarea, requiere abarcar una serie de pasos.

• Me doy cuenta que necesito algo para hacer un agujero
• Busco alternativas para hacer agujeros
• Una de las alternativas me convence y leo reseñas
• Adquiero esa alternativa
• La recibo
• La aprendo a usar
• Hago el agujero

Si lo vemos desde la perspectiva de la marca que vende taladros, podríamos frasearlo así:

• Hay una gran cantidad de personas que en este momento necesitan hacer un agujero.
• De esas, hay un número de personas que están buscando alternativas.
• De esas, hay un número que nos encuentra y nos considera
• De esas, hay un número que nos adquiere
• De esas, hay un número que utiliza la solución

Hasta aquí, podemos asumir que el usuario cumplió su necesidad, pero como somos una empresa, no queremos que quede ahí, porque si el usuario está decorando su espacio, tal vez pueda interesarle alguna de las otras opciones de herramientas que tenemos.

Entonces, para nosotros, ahí no termina nuestra relación con el cliente. Continúa

• De las personas que utilizó nuestra solución ¿Cuántos consideran otras de nuestras alterativas? ¿Cuántos permanecen con nosotros?

Ahora. Yo tengo que pagar dinero para atraer a esos clientes, porque no llegan solos. Tengo que pagarle a Google, y a Amazon y tengo que pagar a un SEO y a un Content; todo esto sin incluir lo que me cuesta hacer el taladro, distribuirlo, etc.

O sea llegar a este punto me ha costado dinero.

Y todo ese dinero se ha gastado en vender un taladro. Si solo vendo un taladro, seguramente las cuentas no me salen. Es decir, tengo que vender X número de taladros para recuperar y ganarle.

En la mayoría de las marcas, a veces no le recupero hasta que el cliente me compra 2 o 3 herramientas.

• De las personas que permanecen ¿Cuántos necesito para monetizar?

Ahora, si ya me costó traer y retener a una persona. Si logro que esa persona me traiga a otra persona, sin que tenga que pasar por toda esta infraestructura que me cuesta, prácticamente me sale gratis!

• Entonces, de las personas que he monetizado ¿Cuántas me refieren con otros?

Bueno, hasta aquí hemos usado dos frameworks de métricas. El primero es el Marketing Funnel:

1. Awareness
2. Consideration
3. Conversion

El segundo es un framework que se llama AARRR. Son las “Métricas piratas”.

1. Acquisition
2. Activation
3. Retention
4. Revenue
5. Referral

El único detalle es que estos dos frameworks son “orientados al negocio”. Así que Google tiene otro que se llama HEART

1. Happiness
2. Engagement
3. Adoption
4. Retention
5. Task Success

Este marco de métricas no solo te permite crear métricas de performance, sino también establecer métricas orientadas a entender qué hace que el cliente se sienta feliz, qué lo retiene, qué implica el éxito de su tarea.

Tu crees que pedirle a la gente que te diga si te recomendaría con amigos y familiares durante los próximos 6 meses en una escala del 1 al 10 siendo 1 lo menos probable y 10 el más probable… ¿Te dice TODO lo que pasa en este ciclo de vida?

Por eso es estúpido usar el NPS. Es un dato basura. No te dice nada de si la gente está completando su tarea o no.

¿Para qué sirve?

Estos 3 marcos de trabajo son eso, marcos. Estas no son -las- métricas. Son un marco alrededor del cual puedas crear métricas.

Las métricas tienen que ser específicas a tu producto, dependen de tu modelo de negocio, de tu recurrencia de compra, de si vendes un bien físico, un serivicio, un marketplace. No puedes adoptar las métricas de otro producto, necesitas diseñar tus propias métricas.

Y para esto necesitamos de hablar de un último concepto, que es el Output vs el Outcome. Algo así como el resultado vs el impacto.

Imaginemos que en mi empresa de taladros, estoy midiendo la cantidad de taladros que vendo. Eso es un output. Es un resultado, un número directo resultado de un proceso. ¿Se si los usuarios están usando el taladro? Probablemente no, solo estoy viendo ventas.

Tal vez mi taladro es muy difícil de usar y la gente no se da cuenta hasta que ya llega a su casa. No estoy apoyando a que las personas cumplan con su propósito, de decorar su espacio.

Pero como veo las ventas, y mido con una encuesta de NPS que le da 10% de descuento a usuarios que califican con 10, no me doy cuenta que mi producto no sirve. Estoy viendo los números, no el impacto.

Ahora, imagínate que en vez de medir las ventas, le pido a la gente que comparta su espacio decorado en Instagram. Ahí estoy viendo el impacto, porque entiendo que mi taladro solo es una herramienta en un objetivo más grande.

Entonces, para contestar cómo diseñar tus propias métricas. El punto de partida es el resultado, de todo el proceso y de cada una de las etapas. Tienes que definir el impacto que quieres, el objetivo que hay en cada etapa.

Tal vez en una etapa de adquisición, tu objetivo es que el cliente escoja el taladro correcto para su problema. ¿Cómo mediremos eso? ¿Podemos implementar un perfilador? ¿Podemos tener métricas de uso? ¿Podemos lanzar una encuesta preguntando si le resolvimos el problema al cliente?

Entonces, en resumen:

1. Necesitas entender el ciclo de vida del cliente, entender la necesidad que justifica la existencia de tu producto y lo que el cliente determina como “éxito.”
2. Define tu funnel de Marketing para identificar los usuarios que tienen una necesidad que tu puedes resolver y que puedas acompañarlos hasta que te adquieran.
3. Establece las métricas adecuadas (vistas, clicks, interacciones, búsquedas).
4. Define tu funnel de producto AARRR ¿Qué define que tu usuario de adquiera? ¿Que que convence a alguien que se quede? ¿Qué motiva que te refieran? ¿Cuánto te cuesta cada usuario y cuánto le ganas?,
5. Define las métricas adecuadas (tiempo de estadía, número de interacciones, número de tareas al mes por usuario, volumen de quejas, volumen de referrals, interacción en los correos de tu mailing)
6. Define tus métricas HEART ¿Qué hace felices a los usuarios? ¿Qué los lleva a interactuar contigo?
7. Define las métricas, primero el outcome que queremos lograr y luego el output que nos dice si lo estamos logrando.
8. De todas las métricas que estás monitoreando, identifica las que te aportan mayor valor. Refina las que no. Identifica qué parte del funnel necesitas arreglar primero ¿En dónde pierdes más gente? ¿En dónde es más crítico para tu producto para monetizar?

Piensen en esto. Amazon es el ecommerce más exitoso en la faz de la tierra. ¿Alguna vez Amazon les ha preguntado si recomendarían el producto? Es más ¿Alguna vez han visto una encuesta de Amazon?

¿Saben como Amazon mide? Monitoreando las acciones que los clientes toman. Monitoreando reseñas, interacción, pasos, tiempo en página. Haciendo investigación de usuarios y haciendo exploraciones cualitativas y cuantitativas. Porque cuando eres una empresa orientada a datos, cada dato te dice algo.

Ahora dime ¿Cuándo fue la última vez que el NPS te dijo qué tenías que mejorar en tu producto?

Cierre

Vamos a dejarla ahí. Si aprendieron algo invítenme un café con la liga en la descripción, compartan este episodio a quien creen que puede servirle y déjenme un like y un comentario platicandome lo que aprendieron.

Háganme llegar sus dudas por acá, Twitter o Linkedin para contestarlas en las siguientes ediciones y no olviden revisar la descripción del video para notas y referencias.

Nos vemos el próximo miércoles y… Felices trazos.

Notas del programa

The One Number You Need to Grow
https://hbr.org/2003/12/the-one-number-you-need-to-grow

Where Net Promoter Score Goes Wrong
https://hbr.org/2019/10/where-net-promoter-score-goes-wrong

The Dubious Argument against NPS
https://www.linkedin.com/pulse/dubious-argument-against-nps-fred-reichheld/

Know Your Customers’ “Jobs to Be Done
https://hbr.org/2016/09/know-your-customers-jobs-to-be-done

Google’s HEART Framework for Measuring UX
https://www.interaction-design.org/literature/article/google-s-heart-framework-for-measuring-ux

AARRR Funnel
https://www.iebschool.com/blog/aarrr-metricas-pirata-lean-startup/

Josh Seiden on why product teams should focus on outcomes over output
https://www.intercom.com/blog/podcasts/josh-seiden-on-why-product-teams-should-focus-on-outcome-vs-output/

This is How Amazon Measures Itself
https://www.holistics.io/blog/how-amazon-measures/

Nps Is A Waste Of Time. Use These Metrics Instead.
https://jeffgothelf.com/blog/nps-is-a-waste-of-time-use-these-metrics-instead/