Métodos de Diseño - ¿Cómo se hace una encuesta?

Según Erika Hall, autora de “Just Enough Research”, las encuestas son la herramienta de investigación más peligorsa, por lo sencilla que parece ser de aplicar, y la falsa sensación que nos da de que estamos encontrando la verdad. Por eso, en este programa vamos a platicar de realmente cuál es el rol de una encuesta en investigación y cómo se hace, para evitar caer en esos errores.

Contexto

¿Qué te parece esta propuesta visual?

¿Qué tan probable es que recomiendes este producto?

¿Te gustó el producto que usaste?

Cuando empezó a popularizarse la idea de que teníamos que obtener información de los clientes al construir productos y servicios, por ahí de mediados de los noventas, empezaron a llegarnos encuestas de todo y para todo. Por correo, email, teléfono, mientras estás en una página, mientras descargas una app.

“No sabemos nada de las personas que usan este producto o que tienen una necesidad”, “Mandemos una encuesta” parece una recomendación sensible y sensata.

Hace mucho tiempo hacer una encuesta era súper díficil. Tenías que contratar a una agencia, la gente salía al campo con formatos kilométricos, o iban de casa en casa, o llamando por teléfono a ver quién les tomaba el pedido. Era un esfuerzo caro, y lento.

Pero llegaron las Redes Sociales y las herramientas digitales. Cualquiera puede poner una pregunta y la gente va a contestar. Completos extraños, amigos, familiares. Ahora hacer encuestas es fácil. Y el tema es que es fácil porque las estamos haciendo mal.

En este programa estoy repitiendo mucho del sentir de Erika Hall, autora de Just Enough Research. En las notas del video pueden ver ligas a sus artículos, pero ella fue la que puso el tema de las encuestas en la mesa de los problemas que enfrentamos como Diseñadores

Según ella, el problema de las encuestas es un reflejo del problema de las organizaciones. Y ella lo divide en 3:

En las empresas, es más importante tener data aunque no sepamos qué significa esa data. Tu empresa mide NPS, tasas de conversión, volúmenes de ventas pero, cuánto de eso se traduce a una mejor experiencia para el cliente? Sabes que el 20% de tus usuarios está “retenido” pero ¿Sabes por qué? Lo único que sabemos es que hay un número y queremos que el número sea otro.
En las empresas, quieren sentir que están aplicando un método, no a entender por qué quieren aplicarlo. Dicen ser ágiles, dicen hacer Design Thinking, creen que usar un martillo los hace carpinteros, porque ¿Quién tiene tiempo de pensar en una empresa? Pensar es perder dinero, necesitamos hacer, aunque no tengamos idea de qué estamos haciendo.
Si algo cuesta trabajo, está mal. Hablar con usuarios es lento y difícil ¿Para qué hacerlo? Planear, establecer objetivos, alinear una visión de equipo de producto, capacitar, empoderar, tomar decisiones. Todo eso es difícil. A los jefes les gusta poder elegir entre una opción buena y una mala, para que decidir sea fácil.

Las encuestas marcan estas tres casillas: Arrojan números, son parte de un método, son fáciles. Receta perfecta para que sea el caballito de batalla de la inteligencia de las compañías de todos los tamaños y en todas las latitudes.

Pues bueno, ese es el contexto en el que nace la aplicación contemporánea de las encuestas. Y ese es el contexto que espero después de hoy, al menos tú y tu equipo, puedan cambiarlo.

Definición

Una encuesta, como Metodología de Diseño, suele hacer referencia a una batería de preguntas. Se utiliza en una gran variedad de contextos.

Nos ayudan a poder recibir y cuantificar retroalimentación de un proyecto, o cuantificar resultados de un estudio cualitativo, evaluar una experiencia percibida o también para evaluar usabilidad de un sistema (a través de una encuesta especializada llamada SUS)

Las encuestas, como cualquier otro método, solo son una herramienta. Su valor no está en qué son, sino en cómo se aplican.

Las ventajas de las encuestas como método, es que es un método que es fácil escalar a poblaciones muy grandes de usuarios, por el hecho de que no requieren un moderador u observador, y que pueden recabar información de manera asíncrona, es decir yo como Diseñador no tengo que estar monitoreando la encuesta para recabar respuestas. Puedo solo configurarla y que recabe información.

Lo que esto implica es que el valor de una encuesta es en generar información que se puede cuantificar.

Las encuestas NO son una buena herramienta para levantar información cualitativa, justo porque no hay un observador o moderador que observa, analiza e interpreta a quién está contestando. Recuerden ver el Solcast si necesitan que hablemos de la diferencia entre data cuantitativa y cualitativa

Si la fortaleza de una encuesta es cuantitativo, y si recuerdan el Solcast de Investigación, recordarán que hicimos una pequeña regla:

Hay 2 tipos de data que puedes obtener en un estudio: Generativa y Evaluativa. Generativa es cuando no sabes nada y suele obtenerse de manera cualitativa. Evaluativa es cuando ya tienes algo y quieres ponerlo a prueba y suele obtenerse de manera cuantitativa.

Entonces, tenemos nuestra fórmula de cuándo es el mejor momento de aplicar una Encuesta: Cuando queremos evaluar algo con números grandes de usuarios.

¿Cuándo no es buen momento (por lo general) de aplicar una encuesta?

Cuando necesito información cualitativa – es decir, cuando quiero conocer la necesidad, contexto, problemática o características de un usuario
Cuando necesito información generativa – es decir cuando no tengo absolutamente nada de información previa y voy a hacer mi primera exploración.

¿Esta es una regla escrita en piedra? No, si quieres usar un martillo como desarmador, no va a venir la policía de los martillos a detenerte, pero no estás aplicando la herramienta ideal.

Las características de una encuesta bien hecha son:

Las preguntas tienen un flujo lógico – La encuesta tiene que estar diseñada para garantizar de que el usuario no se sesga con las preguntas, que no se siente repetitivo y que hay una “narrativa”. Si tu primer pregunta en tu estudio de proceso de seguros es “¿Qué sentiste cuando se murió tu papá?” pues… eso no está bien.
Las preguntas tienen que ser fáciles de entender para el participante – El participante debe poder contestar solo y sin ayuda, evitando caer en ambigüedades o interpretaciones personales. No le preguntes a la gente tus términos propietarios que nadie conoce y nadie le importa.
Preguntas adecuadas al participante – Si tu preguntas, la gente te va a contestar, pero eso no quiere decir que te van a dar una buena respuesta. Si tu preguntas ¿Cómo te sientes? la gente te va a decir “bien”. Si tu preguntas ¿Por qué te interesa este trabajo? La gente te va a decir “porque no quiero morirme de hambre”.

Hacer buenas preguntas es un arte, lo vamos a ver en el proceso, pero pensar exactamente qué pregunta hacer es una parte fundamental.

¿Cómo se hace?

El proceso es parecido a otros métodos de Investigación. Son 5 pasos:

Planeación
Participantes
Criterios
Ejecución
Reporte

Dicen por ahí, “Show, Dont’ tell” entonces acompáñenme a hacer una encuesta. En este caso voy a hacer una encuesta para el Solcast.

Paso 1: Planeación.

Entonces, como cualquier investigación tengo que tener mi objetivo.

El hecho de que quiero aplicar una encuesta, ya me dice que es algo Evaluativo.

¿Qué quiero saber? Pues, lo que más quiero saber es si el programa les gusta y les sirve, así como está.
¿De quién quiero saberlo? Pues, forzosamente tienen que ser personas que al menos han visto un programa, porque quienes no lo han visto no pueden darme su opinión.
¿Para qué quiero saberlo? Pues quiero saber qué tengo que dejar de hacer, qué tengo que seguir haciendo y tener ideas nuevas para probar. Básicamente quiero dejar de perder tiempo en las cosas que no están funcionando.

Paso 2: Participantes.

Pues, como mi objetivo es claro, quién me va a dar respuestas relevantes también es claro. Necesito información de gente que ha visto el programa.

Esto es súper importante porque recuerda que no vas a estar ahí cuando la gente conteste, tienes que asegurarte que quién va a contestar realmente sea alguien que quieres. La gente va a mentir, exagerar, recordar mal, trolear. Entonces tienes que tener manera de filtrar participantes.

Ahora, si la encuesta le llega a alguien que no es de quién quiero una respuesta, igual y puedo también sacar algunos datos, pero ya sé quien es mi usuario primario.

Paso 3: Criterios
A mi me gusta dividir el gran objetivo de investigación en Temáticas, porque esas temáticas puedes acomodarlas como una narrativa. Entonces, vamos:

Mi primer temática es saber un poco del perfil del participante. Me gustaría saber quién está viendo el programa, dónde trabaja, cuánta experiencia tiene, para poder contextualizar las respuestas.

Luego, me gustaría que me dijera como lo descubrió, si alguien se lo recomendó o cómo fue.

(Me lo estoy imaginado como un recorrido, como algo en dónde van avanzando)

Entonces, mi participante ya me descubrió, ya llegó, ahora quiero preguntarle cómo se la está pasando. Entonces quiero saber cómo califica en términos generales y luego tal vez en algunas características específicas.

Luego, para mi el valor está no tanto en que te guste, sino en que te sea útil, entonces le voy a preguntar si ha podido aplicar algo.

Ahora que ya sé que funciona, ya nos podemos sincerar, me gustaría saber que no funciona. Entonces me gustaría saber si le cambiaría algo o si le gustaría darme alguna idea para aportar.

Este es como mi climax, com la parte de más tensión, ahora ya puedo ir pensando en como ir cerrando

Me gustaría saber qué otro contenido consume de este tipo y a lo mejor un espacio para comentarios extras.

Entonces ahí tengo como las temáticas que me gustaría explorar. Que van a guiar las preguntas o ejercicios que voy a realizar. Esto me permite estimar más o menos qué extensión va a tener y sobre todo me ayuda a saber que voy a tener la información que necesito para cumplir mi objetivo.

Paso 4. Ejecución
Ahora necesito traducir todo esto a lo que va a ver el usuario y montar las preguntas.

Este paso es aparte del paso anterior, porque mis temáticas o criterios ya están definidos, pero la manera en la que voy a hacer las preguntas puede cambiar, tanto la pregunta misma como la plataforma en la que voy a lanzar la encuesta.

Entonces, partiendo de mis temáticas.

– Primer temática: Conocer al participante

Voy a preguntar Edad

País

Saber su rol o perfil (Si es de UX o no). Si es UX qué es y si no es de UX qué es.
Y saber su nivel de experiencia en Diseño en años

Por último, si ha visto el Solcast – Esta es mi pregunta filtro. Las preguntas anteriores me permite saber los datos de todos los que contesten la encuesta, pero esta abre un camino. Si no han visto el programa, las siguientes preguntas no son relevantes

Listo, temática 2: Calificación general.

Podría solo preguntarle si le gusta o no. O podría poner una pregunta de escala. En este caso voy a probar una escala para dar más opciones.

Y luego voy a partir ese gusto en características más específicas, igual con el mismo criterio. Tal vez: calidad del contenido, calidad de la presentación / producción, relevancia de los temas y, no sé, duración. Estas preguntas las puedo acomodar en una matríz y me va a dar un número relativo de estas características.

– Ahora, temática 3. Puntos positivos. Puedo haber hecho un estudio previo y ya saber qué preguntar y pedirle al usuario que seleccione una opción. Esto hace el análisis más fácil y el resultado más contundente. Puedo poner una pregunta como

Acomoda las características del programa de la manera en la que te aporta más valor, o una pregunta de opción múltiple que dice “marca las cosas que te gustan”.

Ahora, esta podría ser una pregunta abierta, pero la gente me puede contestar cualquier cosa. Si son muchos usuarios va a ser una pesadilla de analizar, pero tal vez puedo hacer una encuesta inicial con una muestra más pequeña y luego una segunda iteración en dónde cambio esto a una de opción múltiple según esa primera encuesta.

Ahora, no me da tiempo de hacer todas las preguntas ahorita. Pero lo que quiero que vean es que estoy iterando la pregunta en función de la respuesta que estoy buscando. Hay muchas maneras, directas o indirectas, de que el usuario te de la data que estás buscando, cada una tiene implicaciones.

Una pregunta de opción múltiple limita al usuario pero enfoca las respuestas. Una pregunta abierta es una pesadilla de analizar pero te permite profundizar. Cada tipo de pregunta tiene pros y contras, y tienes que pensar bien qué quieres saber y qué es posible que te contesten.

Rara vez puedes solo hacer una pregunta y esperar que el usuario te diga todo. A veces una pregunta necesita múltiples confirmaciones, por ejemplo, aquí estoy haciendo una pregunta general ¿Qué te parece el programa? pero luego estoy dividiendo esa respuesta en otras características para comprender esa primer respuesta. Tal vez en la primera me califican alto, pero tal vez en estas no tanto, eso me dice que el usuario realmente no es tan positivo como parece.

Como con cualquier técnica de investigación. Necesito hacer un piloto de esta encuesta. Compartirla primero con un grupo cerrado, para saber si mi pregunta está sesgando una respuesta, si la pregunta es clara, si los resultados que estoy viendo me sirven, para ver cuánto se tardan en contestarla.

Pero como mi ejecución esta aparte de mi planeación, lo que puedo hacer es iterar las preguntas, tanto la pregunta misma, o el formato, o la cantidad. Tal vez puedo reducir varias preguntas a una, o tal vez una pregunta tengo que dividirla en más. Recuerden, en Diseño hay que asumir que lo estamos haciendo mal hasta que lo confirmamos con un usuario.

Paso 5. Análisis

Ahora, al terminar tu encuesta vas a terminar con una tabla enorme. Para poder comenzar a hacer sentido de la data seguramente vas a tener que revisar, limpiar, normalizar y separar campos.

Pero afortunadamente como hiciste un proceso ordenado y conoces tus objetivos, vas a saber qué necesitas filtrar para buscar la información que necesitas.

Recuerda que la data sola no significa nada. El investigador invariablemente le da un sesgo y un sentido a la información. Dos investigadores pueden ver el mismo set de datos y llegar a conclusiones diferentes, porque la data no cuenta historias, nosotros armamos esas historias con la data que observamos. Por eso es importante tener objetivos claros y preguntas que vas a contestar.

Cierre

Vamos a dejarla ahí. Si aprendieron algo invítenme un café con la liga en la descripción, compartan este episodio a quien creen que puede servirle y déjenme un like y un comentario platicandome lo que aprendieron.

Háganme llegar sus dudas por acá, Twitter o Linkedin para contestarlas en las siguientes ediciones y no olviden revisar la descripción del video para notas y referencias.

Nos vemos el próximo miércoles y… Felices trazos.