La falacia de la regresión estadística

Mañana me tengo que subir a un avión porque me voy por 2 días de trabajo a Río de Janeiro. Mi mente, como la de tantos viajeros frecuentes, sabe que volar es hiper seguro, las estadísticas lo confirman, pero hechos como los de la semana pasada con el vuelo de Air France nos hacen estremecer el alma ante la improbable posibilidad de ser el “elegido”, de estar ahí, cuando esa famosa combinación de 6 o 7 factores y errores se den en un orden que terminan estrellando una máquina tecnologicamente tan evolucionada como un Airbus 330 con todas las vidas que lleva en su interior.

Sin embargo, vivimos rodeados de hechos improbables, y creamos historias que intentan explicar por que ocurren esas cuestiones que a primera vista parecen inexplicables.

En algunas semanas probablemente sabremos con mucha exactitud por que cayó el AF447. Eso nos devolverá la tranquilidad, sabremos que será una serie de sensores congelados sumados a alguna otra falla, sumado a algun error humano, ¿ quien sabe ?, una serie de hechos fortituitos que se combinan para generar un hecho totalmente inespereado. Una tranquilidad pasajera que se volverá a perturbar con la próxima tragedia área.

Existe la creencia de que se puede predecir el futuro, que lo que va o ocurrir en el mundo se puede conocer y que el riesgo puede ser medido y gestionado.

Nassim Nicholas Taleb no lo cree. En su libro, El cisne Negro: el impacto de lo altamente improbable, sostiene que la historia no está dominada por lo predecible sino por lo altamente improbable, lo disruptivo, por los eventos no previstos que Taleb denomina Cisnes Negros.

Antes del descubrimiento de Australia, los europeos no tenían ningún motivo para pensar que podía existir un cisne negro. Hasta que llegamos a Australia, y el descubrimiento de una sola ave acabó con siglos de evidencia. Este hecho ilustra una grave limitación de nuestro aprendizaje a partir de la observación y la experiencia.

Nassim Nicholas Taleb, autor de The Black Swan

Para Taleb esta “falacia de la regresión estadística” que consiste en creer que la probabilidad de futuros eventos es predecible examinando acontecimientos de eventos pasados está muy arraigada entre los humanos y que no entendemos que la aleatoriedad estructurada que encontramos en los juegos de azar no se parece a la aleatoriedad que encontramos en la vida real.

En la obra, Taleb destaca que “vivimos con la ilusión del orden, creyendo que la planificación y la previsión son posibles. Nos perturba tanto lo aleatorio que creamos disciplinas que intentan dar sentido al pasado, pero en última instancia, no conseguimos entenderlo, al igual que solemos fallar prediciendo el futuro. Por razones prácticas, resulta que los seres humanos preferimos funcionar con previsiones y predicciones, aunque casi siempre se revelan equivocadas”.

La reflexión de Nassim nos muestra uno de los errores más comunes en los seres humanos cuando nos enfrentamos a la complejidad y la incertidumbre. Si hemos vivido en el hemisferio norte toda nuestra vida, pensaremos que todos los cisnes son blancos. La existencia de un cisne negro nos parece imposible debido a nuestra reducida experiencia. Pero el hecho es que hoy, en un mundo interconectado, complejo y extremo, en el que la información circula a toda velocidad y en todas las direcciones, cada vez es más posible que nos crucemos con un Cisne Negro en el camino. Y eso puede cambiar nuestra vida.

La tesis de Taleb es que no somos muy buenos a la hora de predecir los fenómenos realmente importantes. Nuestra capacidad se reduce a las predicciones sencillas en entornos sencillos, somos buenos prediciendo eventos cercanos. Como máximo, somos capaces de anticipar el número de accidentes que va a haber esta semana en nuestras carreteras, el estado del clima mañana. Más allá de eso, nuestras predicciones son una mera ilusión.

Mediocristán y Extremistán

Para explicar la evolución de nuestro sistema económico, Taleb propone la existencia de dos “países” bien diferentes: Mediocristán y Extremistán. Imaginemos que reunimos en uno de esos países a 1.000 personas elegidas al azar, y que las pesamos para extraer la media. Si traemos a la persona más gorda del mundo -pongamos que pesa 350 kilos- ¿cambiará mucho el peso medio de las 1.001 personas reunidas en ese país? La respuesta es no. La media apenas variará. Así es Mediocristán, el país de las matemáticas, la estadística y la teoría de la probabilidad. En ese país existen las excepciones, pero apenas tienen consecuencias. Las variaciones individuales apenas alteran el promedio. En Mediocristán tienen sentido distribuciones como la de la Campana de Gauss que tanto utilizamos a diario para nuestros razonamientos.

Ahora tomemos a esas mismas 1.000 personas y analizemos su dinero para calcular su media de ingresos. Acto seguido, introduzcamos en el país a Bill Gates, el hombre más rico del mundo. ¿Cambiará mucho la media de riqueza de los allí reunidos? La respuesta es sí. Cambiará de forma brutal. Bienvenidos a Extremistán, un país en el que la estadística, la probabilidad y la mayor parte de las herramientas de medición que utilizamos no funcionan bien. Extremistán es el país de matemáticas menos ortodoxas, como por ejemplo la geometría fractal descubierta por Benoît Mandelbrot. Las distribuciones siguen una ley de potencia como la de Zipf, la de Pareto o, por poner un ejemplo más reciente, el “Long Tail” de Chris Anderson.

En otras palabras, Extremistán es el país de los Cisnes Negros. Es el país dominado por la excepción. Ese es el mundo complejo en el que vivimos.

Anuncios
Etiquetado , , ,

7 pensamientos en “La falacia de la regresión estadística

  1. Que buena forma de reflejar nuestra incapacidad para predecir aquello que no conocemos, pero que sin embargo no podemos evitar asumir que si sabemos.

  2. Laura dice:

    Muy bueno Martin!, Saludos

  3. Muy bueno el punto de vista…lo interesante es que me pusiste a pensar en como me aferro a las estadisticas, el año pasado que tuve muchisimos viajes en avion, precisamente tuve el pensamiento geek durante un vuelo de en que punto los n viajes, cuya probabilidad de accidente seguia una distribucion de sucesos raros (Poisson) pasaba a ser una distribucion normal, o hablando mal y pronto como podia afectar el hecho de viajar mucho en avion a tener mayor probabilidad de accidente. En fin, se conoce que estaba muy aburrido en ese vuelo.
    Pero muy interesante como planteas que el aferrarse a la estadistica no siempre es tan preciso como uno cree.

    Saludos y que la pases bien en Rio!

    • Martin dice:

      Seba, lo de pensar estadísticamente viene en el firmware 🙂 pero no deja de asombrarme como linkeaste Poisson para llegar a una campana de Gauss relacionado a la probabilidad de tener un accidente aereo. Me encanto !. Viaje largo debe haber sido. Gracias por tu comment.

  4. aleschiappa dice:

    Mas alla de mi formación matematica yo suelo vivir en Extremistan. Y para mi las casualidades no existen, aunque no podamos explicarlas.
    Justo ayer alguien me hablaba del fenomeno cisne negro y hoy me encuentro con este excelente articulo contando su escencia. Mil gracias por la claridad que ya disparó mi curiosidad a un nuevo objetivo.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: