Es intuitiva, es sencilla, resulta atractiva visualmente y se comprende sin problemas de un solo vistazo, más allá incluso de idiomas o diferencias entre culturas, pero… ¿es eficaz? Que los sistema de clasificación de cinco estrellas son prácticos no lo duda nadie. Que sigan siendo útiles en 2023, sí. Cada vez hay más voces que cuestionan la validez de un método que consideran marcado por sesgos importantes. No se trata ya de una cuestión de sinceridad en las respuestas o de precisión, sino de algo mucho más complicado: la polarización y una "devaluación" de las estrellas que parece convertir las notas más altas en el estándar.
La cuestión es muy sencilla: ese último restaurante al que fuiste a cenar con tus amigos porque tenía una valoración de cinco estrellas… ¿se merecía de verdad esas cinco estrellas? ¿Y ese taller al que llevaste el coche por el mismo motivo?
Algunos datos para empezar. No. No son impresiones tuyas. Las cuatro y cinco estrellas campan a sus anchas en los sistemas de calificación online. En 2021 un grupo de investigadores publicaron un estudio en Nature en el que reconocían que "las reseñas son abrumadoramente positivas". Según sus cálculos y al menos en aquel momento, la valoración media en Amazon.com era de 4,2 estrellas sobre 5, puntuación esta última que se asignaba en más de la mitad de las opiniones.
El panorama era similar en Yelp, donde casi la mitad de las valoraciones eran también de 5 estrellas, y los investigadores citan estudios que muestran que en Uber cerca del 90% de las valoraciones asignan también la nota máxima.
Las valoraciones se marcan una 'J'. "Una representación visual de la mayoría de las valoraciones online revela una distribución en forma de J, con muchas de 4 y 5 estrellas, unas cuantas de 1 estrellas y pocas intermedias", abunda el estudio. Un vistazo a los datos de Tripadvisor transmite una sensación similar. En 2019, último año libre del efecto del COVID, la puntuación media de los alojamientos españolas pasaban en todas las comunidades españolas —la única excepción en el territorio nacional era la ciudad autónoma de Melilla— de los cuatro puntos.
¿Y qué supone eso? Un cambio en la percepción del cliente. En un sistema de estrellas del 1 a 5 la buena lógica indica que un servicio o producto con una nota de 2,5 está en la media, pero… ¿Es así como lo vemos cuando los "sobresalientes" son casi nuestro pan de cada día? "El grado de positividad abrumadora sugiere que las personas a menudo se enfrentan a la elección entre numerosos artículos con valoraciones de estrellas similares, sobre todo teniendo en cuenta que la gente ni siquiera considerará las opciones que obtienen menos de una valoración de 3 estrellas", señalan los autores del estudio publicado en 2021 en Nature.
Separar lo bueno de lo mejor. No son los únicos que se han fijado en el fenómeno. Harvard Business Review ha publicado también un ensayo interesante sobre el asunto que deja una idea botando: los sistemas de 5 estrellas quizás sean buenos para eliminar a los productos, empresas y servicios de peor calidad, pero les está costando mucho más separar los buenos de los excelentes.
"Puede no ser un gran problema para los mercados que ofrecen servicios básicos, pero sí puede ser un problema grave en aquellos en los que es importante permitir que proveedores verdaderamente grandes se diferencien de forma clara", señalan los autores, que advierten de que, tal y como están implementados, los sistemas de valoración pueden favorecer la polarización: "Al carecer de incentivos para aportar opiniones sinceras, los usuarios que tienen experiencias extremas —ya sean muy malas o muy buenas— son mucho más propensos a dejar opiniones que los usuarios con experiencias medias, derivando así en sesgos de selección".
El salto de la teoría a la práctica. Lo apuntábamos al principio del post. Los sistemas de clasificación con estrellas son intuitivos y fáciles de manejar, pero su eficacia depende básicamente de cómo responden quienes puntúan. Cuando falla esa parte del engranaje se genera una suerte de "devaluación" de las estrellas que hacen que cualquier valoración inferior a 4,5 o incluso 5 se mire con sospecha, como señalan desde Peak Performance Digital, que advierte de ciertos riesgos.
El primero, que haya empresas que incentiven las buenas valoraciones con descuentos o regalos a cambio precisamente de reseñas; el segundo, que el sistema acabe penalizando a los negocios de menor tamaño. Al fin y al cabo si los clientes comentan básicamente para mostrar su satisfacción o cabreo, en casos extremos, es más fácil que una valoración demoledora lastre la nota de un negocio pequeño. Cuando solo se tiene un puñado de comentarios un par de críticas negativas puede fácilmente conseguir que una cafetería de 5 estrellas se vea descabalgada a 3,5.
"¿Acaso 5 estrellas no es lo normal?" La frase es de Mike Johnson, un usuario de Uber con el que ha hablado The Wall Street Journal para elaborar un reportaje que trata precisamente de los sistemas de puntuación online. Johnson reconoce que ha recibido servicios incómodos, pero los ha valorado igualmente con la máxima nota para no perjudicarlos en la plataforma. No es el único.
Las valoraciones son también altas entre los propios usuarios. Tanto, de hecho, que Roxie Benesch, conductora de la plataforma con una valoración 5 de primera categoría reconoce que a veces le preocupa recoger pasajeros con una nota inferior a 4,8. "Un 4,79 es muy bajo. Me pregunto: '¿Debo temer por mi vida?'", bromea.
Más casos para reflexionar. Con el alza del comercio online y el éxito de plataformas como Uber, Cabify, Amazon o Airbnb como telón de fondo, lo de la "cotización" de las estrellas no es una cuestión menor. Amazon asegura que calcula la calificación con modelos de machine learning en vez de con simples promedios. Un caso interesante es el de Airbnb: la calificación promedio de sus casas en EEUU, excluyendo el alquiler de cuartos, fue el año pasado de 4,74 estrellas.
The Wall Street Journal ahondó también en esa puntuación y habló con usuarios que admitían dejar críticas positivas para no perjudicar a su anfitrión o recibir a su vez una valoración negativa como inquilino. A modo de ejemplo cita a una abogada que se quedó atrapada en el dormitorio de Atlanta que había alquilado por Airbnb, por lo que tuvo que tirar la puerta y se quedó menos tiempo del previsto. A pesar de esa mal experiencia le asignó cuatro estrellas. "Me sentí un poco presionada para no ser necesariamente sincera", confiesa. El resultado: una duda inquietante que queda botando… ¿Qué diferencia un 4,6 de un 4,8, por ejemplo?
Imagen de portada: Towfiqu barbhuiya (Unsplash)
Ver 20 comentarios