THE TYRANNY OF METRICS

THE TYRANNY OF METRICS

Que levante la mano quien en su trabajo no haya oído hablar del término KPI (siglas de Key Performance Indicator, o Indicador clave de rendimiento/desempeño en español). Tal vez incluso vuestra nómina dependa en parte de alguno de estos KPI.

Estoy seguro de que la idea de “evaluar” cosas complejas simplificándolas en un puñado de “números significativos” es muy antigua. Creo que la siguiente es una referencia que nos sonará a muchos.

Pues no diría que el libro del que os voy a hablar en este post desmonte esta idea por completo, pero sí que estoy seguro de que os hará pensar qué medis, cómo lo hacéis y qué precauciones hay que tomar a la hora de elaborar un KPI.

Ficha bibliográfica

Autor: Muller, Jerry Z.

Título: “The Tyranny of Metrics”

Idioma: Inglés

Editorial: Princeton University Press

Ciudad y país: Princeton, New Jersey. EE.UU.

Fecha de publicación: febrero 2018

Nº de páginas: 240

ISBN Papel: 978-06-9117-495-2

Temática: Gestión empresarial – Evaluación del desempeño

Sobre el libro

Descubrí “The Tyranny of Metrics” gracias a Michael Taube, que habló de él en uno de sus post en LinkedIn.

El libro se divide en diez capítulos, en los que su autor, Jerry Z. Muller analiza los efectos no deseados de las métricas en sectores como la educación, la medicina, los negocios, el gobierno, la policía, el ejército y la filantropía, proporcionando varios ejemplos.

Muller critica la obsesión por cuantificar el rendimiento humano en diferentes ámbitos de la vida y las organizaciones, pero no se opone a las métricas en sí mismas, sino a su uso indiscriminado y descontextualizado. Reconoce que las métricas pueden ser útiles cuando se usan para complementar la experiencia personal/profesional, no para reemplazarla, pero argumenta que las métricas tienden a simplificar la complejidad de los sistemas pudiendo distorsionar y distraer los objetivos reales, confundiendo “tener buenos números” con “estar haciendo un buen trabajo”.

Una de las principales ideas del libro es que las métricas pueden llevar a un enfoque estrecho y distorsionado de la realidad. Por ejemplo, en el ámbito educativo, la obsesión por las calificaciones y las pruebas estandarizadas puede llevar a que los profesores enseñen exclusivamente para el examen, dejando de lado aspectos importantes de la educación, como el desarrollo creativo o el pensamiento crítico.

Como tantas otras cosas, esto ya apareció en un capítulo de Los Simpsons

Los profesores están más preocupados en enseñar cómo pasar el test que en transmitir conocimientos.

Otra idea central del libro es que las métricas pueden fomentar la manipulación y el fraude. Por ejemplo, en el ámbito empresarial, cuando se establecen metas y se vinculan a incentivos, puede surgir una presión para manipular los datos o establecer objetivos poco realistas.

Esto puede llevar a comportamientos éticamente cuestionables y/o a decisiones perjudiciales a largo plazo (pero muy beneficiosas en el intervalo temporal analizado por el KPI correspondiente); por ejemplo, al enfocarse en indicadores de rendimiento a corto plazo (trimestre, semestre, año) las organizaciones pueden perder de vista objetivos más amplios y desincentivar la toma de riesgos necesaria para el progreso y la mejora continua.

El libro incluye una lista de consejos sobre cuándo y cómo usar las métricas de forma adecuada y beneficiosa, no todo iba a ser negativo.

Sobre el autor

Jerry Z. Muller es profesor emérito de Historia en la Catholic University of America en Washington, D.C., escribe e imparte clases sobre una variedad de temas históricos y contemporáneos, incluyendo el capitalismo, el nacionalismo, el conservadurismo, la historia del pensamiento social, político, económico y religioso, y la historia moderna alemana y judía. También publica con frecuencia en revistas de interés general.

Los libros, artículos y conferencias de Jerry Z. Muller se sitúan en alguna zona indeterminada entre la historia, las ciencias sociales, la filosofía y la política pública. Y es que según sus propias palabras “I write books and articles that I would like to read but that are not already available. . . . I also publish essays on intellectuals and politics in modern Europe and on the politics of contemporary intellectual life. I hope to publish some of these essays as a book in the not too distant future.”

“Escribo libros y artículos que me gustaría leer pero que aún no están disponibles… También publico ensayos sobre intelectuales y política en la Europa moderna y sobre la política de la vida intelectual contemporánea. Espero publicar algunos de estos ensayos como libro en un futuro no muy lejano”.

Resumiendo

Considero que es una lectura interesante y provocadora para todos aquellos que se enfrentan a sistemas de evaluación basados en números, ya sea como evaluadores o como evaluados. El autor ofrece una perspectiva histórica y crítica sobre el origen y el desarrollo de la cultura de las métricas, así como numerosos ejemplos y casos reales que ilustran sus argumentos. El libro invita a reflexionar sobre el valor y el sentido de lo que hacemos y cómo lo medimos.

Las ideas del libro ni son nuevas ni exclusivas del mundo de la empresa. Por ejemplo, en Ciencias Sociales existe la Ley de Campbell, que trata precisamente sobre esto.

Cuanto más se utilice un indicador social cuantitativo para la toma de decisiones sociales, más sujeto estará a las presiones de la corrupción y más apto será para distorsionar y corromper los procesos sociales que se pretende monitorear”.

Donald T. Campbell

En esta noticia de El Pais se menciona esta Ley de Campbell

Otra ley relacionada es la ley de Goodhart que enuncia -aunque podeis encontrarla escrita de diversas formas- que cuando un indicador socioeconómico (u otra medida sustituta) se convierte en el objetivo de políticas socioeconómicas, pierde el contenido informativo que tenía cuando se eligió.

La redacción original era esta:

Cualquier regularidad estadística observada tenderá a desplomarse una vez se presione para utilizarla con propósitos de control”.

Charles Goodhart

Otra más “digerible” es esta otra:

Cuando un indicador se convierte en un objetivo, deja de ser un buen indicador”, estupendamente ilustrada en esta viñeta, a la que llegué gracias a una publicación en LinkedIn de Sebastián Puig Soler. Ya tenía un boceto para este post, y ver su publicación me dio el empujón para terminarlo y publicarlo.

Tal vez os suene el dicho “Lo que se mide es lo que se hace”. Sin embargo, para ser más precisos, “Lo que se mide es lo que es recompensado y lo que es recompensado es lo que se hace”: el indicador que era útil para saber más del objeto de estudio, se vuelve inútil cuando quiere utilizarse para incentivar/promover un determinado comportamiento, porque las personas lo manipulan en su beneficio.

Entramos entonces en una espiral tal que así: se mide lo que es “fácil de medir” (aunque como dice Muller, eso a veces supone una simplificación excesiva), lo que se puede medir es lo que se utiliza para recompensar comportamientos y por eso es lo que la plantilla se esfuerza en hacer… Llevado al extremo, se trabaja para conseguir buenos KPIs, aunque eso suponga perjudicar el largo plazo, alterar la operativa o “amañar” resultados como aparece en la viñeta de más arriba. Estoy seguro de que se os ocurre más de un ejemplo… ojalá os animéis a compartirlos en el apartado de Comentarios.

Esta manipulación del indicador a menudo empeora la situación inicial. Es lo que se llama “Efecto Cobra”, que recibe este nombre por una anécdota ocurrida durante la dominación británica de la India. Por aquel entonces, había una auténtica plaga de cobras venenosas en Delhi. Como solución, el gobierno decidió ofrecer una recompensa por cada cobra muerta que entregaran los vecinos. Al principio, el plan pareció funcionar y el número de serpientes se redujo, pero algunas personas empezaron a criarlas para seguir cobrando la recompensa. Cuando las autoridades se dieron cuenta, suspendieron el programa, así que los criadores de cobras las liberaron porque ya les eran inútiles. ¡La consecuencia fue el aumento del número de cobras salvajes y un empeoramiento de la situación inicial!.

Algunas ideas y ejemplos del libro me han recordado al libro “Armas de destrucción matemática. Cómo el Big Data aumenta la desigualdad y amenaza la democracia”, que ya mencioné en esta otra entrada del blog Inteligencia Artificial para la toma de decisiones.

image_pdfimage_print
Víctor D. Parra

Ingeniero Técnico Industrial con 20 años de experiencia en la industria de Oil&Gas y Petroquímica, también en el extranjero. Apasionado por la Tecnología y su aplicación en la Industria, la Transición Energética y en dar a conocer la relación entre todos estos temas y nuestra vida diaria.

Deja una respuesta