Distribución uniforme

Comenzamos por observaciones i.i.d. procedentes de una distribución uniforme en el intervalo . Denotamos por al estadístico de orden , es decir, el dato que ocupa el lugar -ésimo cuando los ordenamos de menor a mayor. Como la probabilidad se reparte por igual por todas las zonas del intervalo, parece razonable esperar que por término medio las observaciones dividan al intervalo en partes iguales, lo que implica que Este resultado se puede probar rigurosamente. Ahora, si representamos los valores frente a los para es de esperar que los puntos se sitúen aproximadamente alineados sobre la bisectriz. Con el siguiente código generamos una muestra de datos uniformes y hacemos el gráfico para comprobar que los puntos resultantes están aproximadamente alineados:

set.seed(1)
n <- 100
x <- seq(1,n)/ (n+1)
y <- sort(runif(n))

ggplot(data.frame(x = x, y = y), aes(x = x, y = y)) +
  geom_point() +
  geom_abline(intercept = 0, slope = 1, linetype = 2)

Distribución continua conocida

Sea ahora una función de distribución continua y . Es un hecho bastante conocido que son i.i.d. con distribución uniforme en el intervalo . Por lo tanto, si representamos debemos esperar que los puntos estén más o menos alineados. Si esto no ocurre, es probable que no sea la distribución de la que proceden los datos. Equivalentemente, el gráfico que se utiliza a veces es el de y la interpretación es la misma. Veamos el gráfico para una muestra de variables normales estándar:

x <- qnorm(seq(1,n)/ (n+1))
y <- sort(rnorm(n))

ggplot(data.frame(x = x, y = y), aes(x = x, y = y)) +
  geom_point() +
  geom_abline(intercept = 0, slope = 1, linetype = 2)

Familia de posición-dispersión. Distribución normal

Finalmente, supongamos que no está especificada totalmente pero sabemos que pertenece a una familia paramétrica de posición-dispersión, es decir, para todo , donde , son arbitrarios y desconocidos pero es totalmente conocida. Esta situación es equivalente a decir que, si tiene distribución , existen valores y tales que tiene distribución . El ejemplo más importante es el caso en que es la distribución y es la distribución normal estándar. En este caso, por el razonamiento que hemos hecho anteriormente, o, equivalentemente, lo que implica que si representamos también debemos observar puntos aproximadamente alineados (ya no necesariamente sobre la bisectriz) bajo la hipótesis de que la muestra procede de . Veamos de nuevo un ejemplo con datos normales, es importante observar que el gráfico no requiere conocer los valores de la media y la varianza de la distribución:

x <- qnorm(seq(1:n)/ (n+1))
y <- sort(rnorm(n, mean=2, sd=3))


ggplot(data.frame(x = x, y = y), aes(x = x, y = y)) +
  geom_point() +
  geom_smooth(method = lm, se = FALSE,
              linetype = 2, linewidth = 0.7, col = "black")

A veces se utilizan ligeras modificaciones o correcciones de este procedimiento. Por ejemplo, para la distribución normal y suficientemente grande, R representa La interpretación y motivación del gráfico es en cualquier caso la misma que hemos comentado.

Para representar los gráficos de probabilidad correspondientes a la familia de distribuciones normales con R se pueden usar los comandos qqnorm y qqline. El primero representa las coordenadas de los puntos y el segundo añade una recta que pasa por el primer y el tercer cuartil, para facilitar la interpretación del gráfico. Para calcular los valores esperados de los estadísticos de orden, qqnorm llama a la función ppoints.

datos <- y
qqnorm(datos,
       xlab='Cuantiles teóricos',
       ylab='Cuantiles muestrales',
       main='Gráfico cuantil-cuantil normal',
       pch = 16)
qqline(datos) 

Con ggplot2, el código para generar el mismo gráfico es:

ggplot(data.frame(datos), aes(sample = datos)) +
  geom_qq() +
  geom_qq_line() +
  labs(x = "Cuantiles teóricos",
       y = "Cuantiles muestrales",
       title = "Gráfico cuantil-cuantil normal")

¿Puedes determinar cuáles de los gráficos de la figura 1 corresponden a muestras con distribución normal y cuáles no? (Contesta antes de mirar la respuesta que aparece bajo la figura).

Respuesta: En la fila de de arriba, solo es normal el gráfico de la derecha. En la de abajo son normales el de la izquierda y el de la derecha, pero no el del centro.

Lista de módulos ofertados

• Introducción a R
• Visualización interactiva de datos con el paquete Shiny
• Agentes de IA para docencia e investigación
• Métodos de regresión y análisis multivariante
• Estadística aplicada a la investigación biomédica
• Introducción práctica a la estadística bayesiana
• Machine learning con R y tidymodels
• Análisis de datos funcionales con R

El ejemplo

En la cuenta de X de Jon González (@Jongonzlz) y concretamente en este tuit me encontré con un buen ejemplo para ilustrar la ordenación estocástica de dos distribuciones. En el siguiente gráfico se comparan los ingresos de las personas menores de 35 años con estudios superiores con los de las personas entre 65 y 79 años sin estudios superiores:

Cada curva representa el porcentaje de personas cuya renta individual neta es superior a cada valor dado en el eje . La curva roja corresponde a las personas entre 65 y 79 años sin estudios superiores mientras que la verde (siempre por debajo de la roja) a las personas con menos de 35 años. Estas curvas se llaman curvas de supervivencia. Si es la variable aleatoria que corresponde a seleccionar una persona de una población y mirar la renta que tiene, las curvas nos dirían cuál es el valor de , la probabilidad de que la renta esté por encima de cada valor del eje de las . Si corresponde a la población de menores de 35 años con estudios superiores e a la población de personas entre 65 y 79 sin estudios superiores, lo que vemos es que para cualquier nivel de renta (salvo tal vez un empate alrededor de euros), De acuerdo con la definición que vamos a introducir enseguida la distribución de la renta de menores de 35 años con estudios superiores es estocásticamente menor (en el orden usual) que la de personas entre 65 y 79 años sin estudios superiores.

El orden estocástico usual

Si tiene función de distribución e tiene función de distribución , la definición equivale a pedir que la función de supervivencia de está uniformemente por debajo de la de , es decir, , para todo . Esto es justo lo que ocurre en los datos anteriores.

La siguiente propiedad nos permite profundizar en las consecuencias de este hecho. Su demostración es especialmente elegante y se basa en una técnica de acoplamiento (coupling). Se trata de uno de los primeros resultados que aparecen en los libros dedicados a las ordenaciones estocásticas:

Podemos interpretar como una función de utilidad que crece si la renta crece. El valor esperado de podría entonces interpretarse como un índice de bienestar de la población dada por la variable . La conclusión del resultado es que si el índice de bienestar para la distribución de es mayor que para la distribución de sea cual sea el criterio de utilidad que usemos para definir el índice, con la única condición de que la utilidad aumente al aumentar la renta, lo que no es mucho pedir.

Doy la demostración del teorema al final de la entrada.

El orden creciente cóncavo

La ordenación estocástica de variables aleatorias desempeña un papel muy relevante en los estudios económicos sobre desigualdad de rentas. En este campo es significativo el llamado orden creciente cóncavo (que en economía es más habitual llamar dominación estocástica de segundo orden):

Si usamos este orden para comparar dos distribuciones de rentas nos estamos fijando en la renta de los individuos más pobres de la población (las colas inferiores de las distribuciones). Si , los pobres en la distribución de tienen a acumular menos renta que los de la distribución de . En este sentido podemos decir que la distribución de la variable es más igualitaria. Puede demostrarse una equivalencia similar a la del Teorema 1:

Por una parte vemos que , el orden estocástico usual es más fuerte que el orden creciente cóncavo. Por otra parte, la interpretación en términos de índice de bienestar se mantiene, pero en este caso las funciones de utilidad además de ser crecientes deben ser cóncavas. En un índice de bienestar social la concavidad de la función de utilidad es bastante razonable. Parece lógico suponer que el aumento de utilidad cuando uno pasa de tener 100 euros a tener 200 es mayor que el aumento al pasar de 100000 a 100100.

Una buena referencia acerca de diferentes órdenes estocásticos y sus propiedades es Müller y Stoyan (2002).

Una contribución personal a este tema

En Berrendero y Cárcamo (2011) estudiamos un problema de contraste de hipótesis relacionado con el orden creciente cóncavo. A partir de muestras de las poblaciones e proporcionábamos un test para contrastar si las dos distribuciones son iguales frente a la alternativa de que están estrictamente ordenadas, es decir, proporcionábamos un test para la hipótesis nula

frente a la alternativa

Este tipo de contrastes tienen interés en economía, donde cambios en el escenario -una modificación en la política fiscal o un shock tecnológico, como por ejemplo la irrupción de la IA- pueden producir cambios en la distribución de rentas y buscamos evidencia empírica de si la nueva distribución es dominada o domina a la anterior.

El estadístico de contraste que propusimos estaba basado en la comparación de combinaciones lineales de los estadísticos de orden de las muestras (L-estadísticos) con los pesos adecuados. Este era un enfoque alternativo al propuesto en el artículo clásico de Barrett y Donald (2003), basado en el supremo de funcionales aplicados a las funciones de supervivencia empíricas.

La demostración

Para terminar en este apartado doy una demostración del Teorema 1:

La implicación es muy sencilla. Consideramos la función tal que vale 1 si y 0 en caso contrario. Observamos que y . Además, es no decreciente por lo que , es decir, .

Usando la técnica conocida como acoplamiento (coupling) la implicación es también bastante fácil. Cuando queremos establecer una propiedad para las distribuciones de dos variables aleatorias, el acoplamiento consiste en construir variables específicas en el mismo espacio con las distribuciones indicadas pero que tienen una relación entre ellas que nos resulta conveniente para establecer la propiedad que queremos.

En nuestro caso, supongamos que tiene distribución e tiene distribución . Una propiedad bastante conocida es que si es una variable aleatoria con distribución uniforme en , entonces e tienen también distribuciones y , respectivamente. Ahora, como , para todo , tenemos que para cualquier no decreciente, Por lo tanto, para cualquier no decreciente,

Referencias

• Barrett, G.F., y Donald, S.G. (2003). Consistent tests for stochastic dominance. Econometrica, 71, 71-104.
• Berrendero, J.R. y Cárcamo, J. (2011). Tests for the second order stochastic dominance based on L-statistics. Journal of Business and Economic Statistics, 29, 260-270. Preprint
• Müller. A. y Stoyan, D. (2002). Comparison Methods for Stochastic Models and Risks. New York: Wiley.

Franz Kafka (edición de Reiner Stach): “Tú eres la tarea”

El 12 de septiembre de 1917 un Kafka ligero de equipaje se instaló en la casa de su hermana Ottla en Zürau, a dos horas en tren de Praga. Tenía 34 años y unas semanas antes había experimentado los primeros síntomas de tuberculosis por lo que se encontraba de baja. Como su hermana regentaba una granja, Kafka ayudaba a recolectar patatas o asistía al apareamiento de las cabras, además de describir en sus cartas los ejércitos de ratones que poblaban su habitación. Pero, sobre todo, allí Kafka completó dos cuadernos en octavo (16.5 10 cm) con anotaciones a lápiz plagadas de tachones. Posteriormente transcribió algunas de las frases de los cuadernos en una serie de papelitos, a modo de fichas, que han dado lugar a la colección de aforismos de Zürau. Este libro es una edición de estos aforismos a cargo de Reiner Stach, autor además de una extensa biografía de Kafka, publicada por Acantilado en dos volúmenes. En el libro cada aforismo va acompañado de un breve comentario así como de versiones preliminares que Kafka modificó al copiar los textos en las fichas.

Stach señala en la introducción dos influencias en estos aforismos: la teoría de las ideas de Platón, que Kafka había estudiado desde joven, y el Antiguo Testamento, especialmente el Génesis, en el que según los diarios llevaba un año interesado. Leyendo todos los aforismos seguidos se aprecia mejor el efecto de ambas fuentes.

Pero mi verdadera intención al traer aquí este libro es que en el blog aparezcan algunas de las frases de Kafka. Aquí están, traducidas por Luis Fernando Moreno Claros:

• El camino hacia el prójimo es demasiado largo para mí.
• A partir de un cierto punto ya no hay vuelta atrás. Ese es el punto que hay que alcanzar.
• Sancho Panza, quien por cierto nunca se jactó de ello, logró con el paso de los años, aprovechando las tardes y las noches, apartar de sí a su demonio -al que más tarde dio el nombre de Don Quijote- por el método de proporcionarle una gran cantidad de libros de caballerías y novelas de bandoleros.
• Una jaula fue en busca de un pájaro.
• Si hubiera sido posible construir la torre de Babel sin escalarla, habría estado permitido.
• No dejes que el mal te haga creer que puedes ocultarle secretos.
• Tú eres la tarea. Ningún alumno a lo largo y ancho.
• Del verdadero enemigo te llega un valor ilimitado.
• Solo nuestro concepto del tiempo hace que llamemos al Juicio Final así, en realidad se trata de un juicio sumario.
• El silencio es un atributo de la perfección.
• Fuimos expulsados del Paraíso, pero no fue destruido.

Termino con la frase del último de los papelitos. Según Stach, Kafka quiso que la colección de aforismos acabara así en el caso de que se publicara:

No es necesario que salgas de casa. Quédate junto a tu mesa y escucha. Ni siquiera escuches, solo espera. Ni siquiera esperes, quédate absolutamente tranquilo y solo. El mundo se te brindará para que lo desenmascares, no puede hacer otra cosa, embelesado se plegará ante ti.

Atossia Araxia Abrahamian: Dónde se esconde el dinero

El poeta Paul Èluard dijo que hay otros mundos pero están en este. La periodista Atossia Araxia nos habla en este libro de mundos excepcionales que están en este pero escapan del ordenamiento legal que afecta al común de los mortales (mundos a los que la autora llama agujeros). Un viaje que comienza en Ginebra, se desplaza a Luxemburgo y a Dubái, navega en barcos con bandera de conveniencia, y recala en los limbos legales a los que son conducidos los solicitantes de asilo interceptados en alta mar.

Ginebra “tiene más agujeros que un queso suizo”. La autora escribe sobre los puertos francos ginebrinos en los que se eluden las regulaciones de transparencia que afectan a los bancos y se producen transacciones de obras de arte que no pagan impuestos. Por su parte y desde los años 30 del siglo XX, Luxemburgo era reconocido por fondos de inversión y por pequeños clientes reacios a pagar impuestos (conocidos informalmente como los dentistas belgas).

Más agujeros: las banderas de conveniencia sirven a grandes líneas de cruceros para eludir múltiples regulaciones arrendando las legislaciones de Liberia, Panamá o Bahamas. La flota de Liberia asciende al 15 % de todos los buques del mundo. Palaos tiene el 0,001 % de la flota mundial pero el 59,40 % de las banderas de última travesía, al convertirse en el instrumento usado por las navieras para eludir las responsabilidades medioambientales que conllevan los desguaces de los grandes buques.

El libro no destaca por la claridad del estilo (he leído la versión traducida, no sé si tendrá algo que ver) y los diferentes capítulos pueden dar la sensación de ser reportajes escritos de forma independiente, pero seguro que proporciona a sus lectores la oportunidad de indignarse varias veces, y es que “cuando las leyes favorecen a los ricos, los ricos no necesitan transgredir las leyes”.

Philippe Sands: Calle Londres 38

En la literatura latinoamericana existe una amplia tradición de obras que reflexionan sobre la violencia ejercida desde el poder. Pienso, por ejemplo, en esas dos grandes novelas que son Conversación en La Catedral y La fiesta del Chivo, de Mario Vargas Llosa. Este mismo año he leído otras dos novelas también muy recomendables y originales, estrechamente vinculadas con el tema del libro que voy a comentar: se trata de Vivir abajo y Minimosca, de Gustavo Faverón, escritor peruano afincado en Estados Unidos.

En Calle Londres 38 se entrecruzan dos historias reales: por un lado, la detención del general Pinochet en 1998 durante su estancia en Londres, tras la solicitud de extradición emitida por el juez Baltasar Garzón; por otro, las relaciones del nazi Walter Rauff con el régimen pinochetista. Rauff, responsable de la creación de cámaras de gas móviles en las que murieron más de 90 000 personas, también fue objeto de una solicitud de extradición en los años sesenta, cuando residía en Punta Arenas.

En relación con la primera de estas historias, resultan esclarecedoras las reflexiones sobre el derecho de inmunidad de los gobernantes y jefes de Estado, así como sobre el difuso límite que separa este derecho de la impunidad ante crímenes contra la humanidad. Todas las circunstancias del proceso a Pinochet están expuestas de forma clara, detallada y amena. Sands es abogado y participó en el proceso como representante de Human Rights Watch.

Si la primera historia es muy interesante desde el punto de vista legal, la segunda se lee como una novela negra (en varios sentidos). El autor sigue la pista de Rauff en Chile tras la denegación de su extradición: el intento de asesinarlo del Mossad en Santigo de Chile; su posible implicación en interrogatorios de la DINA, algunos de los cuales tuvieron lugar en un edificio de la calle Londres 38 de Santiago (sede del Partido Socialista de Chile hasta el golpe de Pinochet en 1973); y su relación con la siniestra Colonia Dignidad.

Este libro puede contemplarse como la contrapartida real, trágica y con frecuencia aterradora, de las novelas de Vargas Llosa, Faverón o Bolaño. Una de mis mejores lecturas de 2025.

Richard Flanagan: La pregunta 7

En Tareas de un matemático loco, publicado en 1882, Chejov parodia los libros de ejercicios de matemáticas a través de una lista de preguntas absurdas. La pregunta 7 es la que da título al libro de Richard Flanagan:

El miércoles, 17 de junio de 1881, un tren debía salir de la estación A a las 3:00 horas para llegar a la estación B a las 23:00 horas; sin embargo, justo cuando el tren estaba a punto de arrancar, se recibió la orden de que el tren tenía que llegar a la estación В a las 19:00 horas. ¿Quién ama más tiempo, un hombre o una mujer?

Durante la segunda guerra mundial, el padre del autor era prisionero en un campo de trabajo japonés. Estados Unidos lanzó la bomba atómica sobre Hiroshima y precipitó la rendición japonesa, por lo que muy probablemente, reflexiona el autor, las decenas de miles de japoneses muertos salvaron la vida de su padre, que pudo regresar a Tasmania. Este punto de partida sirve a Flanagan para recordar su infancia en Tasmania y trazar una semblanza muy conmovedora de sus padres. Se entrecruzan estos recuerdos con reflexiones sobre la creación literaria: “de las muchas ilusiones que permiten escribir a un escritor, dos son primordiales: una es la vanidad de creerse capaz de escribir un buen libro, y la otra, la presunción de que un buen libro caerá en manos de buenos lectores”.

El mismo punto de partida también da pie para escribir sobre la concepción de la bomba atómica. No su diseño y fabricación (el proyecto Manhattan, Oppenheimer y todo eso) sino su concepción, esto es, quiénes pensaron por primera vez que sería posible usar la energía nuclear para producir una bomba. Así, el libro se remonta a H. G. Wells que, antes que cualquier científico, ya hablaba de armamento atómico en su novela El mundo liberado (The world set free, 1914). Otro estrafalario protagonista es el científico húngaro Leo Szilard que concibió la posibilidad de una reacción en cadena exactamente en un semáforo junto a Russell Square, cerca del Museo Británico, en septiembre de 1933.

La colonización de Tasmania y el genocidio de su población aborigen también son objeto de varias reflexiones. Este es un tema que el autor conecta con la historia de sus antepasados.

En los últimos capítulos Flanagan describe un accidente en canoa en el que estuvo a punto de morir ahogado cuando era muy joven, pero al que por fortuna sobrevivió, de tal manera que no siempre es posible encontrar la lógica en la sucesión de acontecimientos que componen una vida, igual que no es posible encontrar la lógica de la pregunta 7 de Chejov. Con sus pequeñas dosis de épica y de lírica, me ha parecido un libro de memorias bastante disfrutable.

Carmen Estrada: La herencia de Eva

Abre este libro una hermosa cita de Epicuro (fragmento A27):

En las demás tareas de la vida solo después de terminadas les llega el fruto, pero en la búsqueda de la verdad corren a la par el deleite y la comprensión, pues no viene el gozo después del aprendizaje, sino que se da el aprendizaje a la vez que el gozo.

La autora describe sus intenciones al comienzo del libro: no es historia ni filosofía de la ciencia, tampoco divulgación, sociología científica ni libro de memorias, “es la idea de la ciencia como actividad humana natural e instintiva la que he pretendido rescatar”. El resultado es un libro misceláneo que tiene un poco de todo eso que según la autora no es: notas históricas, reflexiones filosóficas, mucha sociología para explicar por qué la ciencia ha evolucionado como lo ha hecho y alguna anécdota personal. Carmen Estrada es doctora en Medicina por la UAM y ejerció su labor docente e investigadora en la UAM, la Universidad de Cádiz y la Universidad de California en Los Ángeles, entre otras instituciones. Tras su jubilación se ha dedicado al estudio del griego clásico. Este gusto por la cultura clásica se pone de manifiesto en el libro a través de multitud de referencias a los antiguos griegos.

El libro se estructura en seis partes, amenas pero un tanto inconexas. En la primera parte se comentan algunos aspectos de los inicios de la actividad científica: los primeros registros de datos, las primeras bibliotecas, los primeros mapas. El mapa más antiguo conocido es una tablilla babilónica que se puede encontrar en el Museo Británico:

La segunda parte trata de algunos de los motores que han impulsado la ciencia: el asombro (“la filosofía comienza con el asombro”, afirma Aristóteles al principio de su Metafísica), los mitos, el capitalismo, la técnica. En general, en el libro se filtra una opinión muy crítica sobre las trabas de la religión a la búsqueda del conocimiento.

La tercera, cuarta y quinta partes se dedican a algunos aspectos de sociología de la ciencia: la humildad (no ciertamente de los científicos, entre los que abundan los vanidosos, sino referida a las limitaciones del conocimiento científico), la influencia de las ideologías, o el papel desempeñado por la Revolución Científica. Especialmente en la quinta parte se ponen de manifiesto algunos aspectos negativos en relación con la financiación de la investigación, el registro de patentes, la instrumentalización de la ciencia como medio de persuasión o la revisión por pares (“que no significa que los trabajos tengan que ser revisados por un número par de personas, como dijo una vez en mi presencia un supuesto experto en política científica”).

Finalmente, la sexta parte (Con nombre propio) compila historias de diversos científicos de todas las épocas en capítulos de lectura casi independiente. Aparecen, entre otros, el gran Arquímedes, Jeova Sanctus Unus (o sea, Newton, quien firmaba con ese nombre sus escritos sobre alquimia), Marie Curie, Michel Faraday o Jane Marcet, precursora de los libros de divulgación científica.

Una lectura fácil, agradable y variada para quien quiera acercarse al mundo de la ciencia. Toca muchos temas, aunque inevitablemente no pueda profundizar demasiado en ellos.

Método bootstrap básico

Consiste en remuestrar el estadístico . Supongamos que la distribución bootstrap de es similar a la distribución de . Entonces, si es el cuantil de la distribución de (que siempre se puede aproximar por Monte Carlo) tenemos: lo que da lugar al intervalo

Este método es muy fácil de usar: basta calcular muchas copias bootstrap de y obtener los cuantiles de las copias. En el siguiente ejemplo, voy a generar una muestra de tamaño de una distribución exponencial de media y voy a calcular el intervalo:

# Parámetros
set.seed(100)
lambda <- 1
alpha <- 0.05
n <- 50
R <- 1000 # número de remuestras

# Datos
x <- rexp(n, lambda)

# Intervalo
xbar <- mean(x)

# Remuestras
muestras_bootstrap <- matrix(sample(x, n*R, rep = TRUE), nrow = n) # cada columna una remuestra

# IC bootstrap Básico
medias_bootstrap <- apply(muestras_bootstrap, 2, mean)
T_bootstrap <- medias_bootstrap - xbar
lower_basico <- xbar -  quantile(T_bootstrap, 1-alpha/2)
upper_basico <- xbar -  quantile(T_bootstrap, alpha/2)
c(lower_basico, upper_basico)
#>     97.5%      2.5% 
#> 0.6608514 1.0253285

Método bootstrap

En este caso se aproxima la distribución del estadístico estandarizado , donde es el error típico de . Si denotamos por los cuantiles de esta distribución tenemos el intervalo clásico habitual .

En la práctica, los cuantiles no son conocidos pero de nuevo, si la distribución bootstrap de es similar a la distribución de y llamamos a sus cuantiles, se cumplirá y sustituyendo los cuantiles que habría que usar por su versión bootstrap obtenemos el intervalo
La notación para los cuantiles se ha elegido para recordar que para la media de una población normal corresponderían a los cuantiles de una distribución t de Student. Parafraseando a Efron y Tibshirani (1994), el bootstrap sirve en este caso para fabricarnos unas tablas de la a la medida de los datos disponibles.

El cálculo de este intervalo es más complicado que el básico. Para empezar, es necesario calcular el error típico de . Esto no supone un problema si se dispone de una expresión analítica. Por ejemplo, si , entonces y . Sin embargo, en casos más complejos puede ser necesario usar bootstrap para calcular . En particular, el cálculo de requeriría obtener remuestras de las remuestras (re-remuestras) lo que incrementa mucho el coste computacional.

A continuación calculo el intervalo para la misma muestra anterior (como hemos dicho, no es necesario re-remuestrear porque ):

# Desviaciones típicas de la muestra original y de las remuestras
sdev <- sd(x)
sd_bootstrap <- apply(muestras_bootstrap, 2, sd)

# IC bootstrap t
T_bootstrap <- sqrt(n) * (medias_bootstrap - xbar) / sd_bootstrap
lower_t <- xbar -  quantile(T_bootstrap, 1-alpha/2) * sdev / sqrt(n)
upper_t <- xbar -  quantile(T_bootstrap, alpha/2) * sdev / sqrt(n)
c(lower_t, upper_t)
#>     97.5%      2.5% 
#> 0.6857357 1.0662902

La diferencia entre la distribución bootstrap de la media y la de la media estandarizada

La cuestión es cuál de los dos intervalos que hemos calculado es mejor. La figura 1, tomada de Hesterberg (2015), me parece que es bastante ilustrativa al respecto.

La primera columna representa la población exponencial así como cinco posibles muestras de esta población en distintos colores. Si obtenemos muchas remuestras de cada muestra, calculamos sus medias y representamos los correspondientes histogramas, tendríamos las distribuciones bootstrap de la segunda columna. Si comparamos con la distribución verdadera de la primera fila vemos que mientras que esta está centrada en , el centro de las distribuciones bootstrap son las medias muestrales respectivas. Si las centramos tendríamos las distribuciones bootstrap que se usan en el intervalo básico. Pero, y esto es lo esencial, la dispersión en una distribución exponencial está estrechamente ligada a la media ya que . Esto se refleja en que, según el valor de en cada caso, las dispersiones de las distribuciones bootstrap son muy diferentes (muy baja la azul, por ejemplo, porque resultó ; pero muy alta la morada porque en este caso). Esta observación apunta a que es bastante posible tener mala suerte y que realmente no se parezca a .

La forma obvia de corregir este inconveniente es estandarizar. En la tercera columna vemos cómo las distribuciones bootstrap de son mucho más estables y los cuantiles se parecen a los cuantiles para las cinco muestras. Parece que el método bootstrap t va a ser mucho más fiable.

Cuanto más asimétrica es una distribución mayor es la correlación entre y (para una demostración y fórmulas precisas del coeficiente de correlación entre ambas puede verse esta entrada del blog). La conclusión es que el método básico no debe usarse, especialmente si la distribución de los datos es asimétrica.

El intervalo exacto para la media de una exponencial

Para la media de la distribución exponencial es posible calcular un intervalo exacto que es útil para comparar. Es bien conocido que tiene distribución gamma en este caso, y de aquí se puede deducir el siguiente intervalo exacto para :

Por ejemplo, para los datos de los ejemplos anteriores:

lower_exact <- 2*n*xbar / qchisq(1-alpha/2, 2*n)
upper_exact <- 2*n*xbar / qchisq(alpha/2, 2*n)
c(lower_exact, upper_exact)
#> [1] 0.6591107 1.1505384

He calculado los tres intervalos a nivel 0.95 para 1000 muestras de tamaño 50. La siguiente tabla registra la proporción de veces que la media se va por encima del extremo superior de cada intervalo (fila 1) o por debajo del inferior (fila 2). Los valores nominales son 0.025 en cada caso.

Como es lógico los valores empíricos para los intervalos exactos son los más parecidos al valor nominal. El intervalo básico está bastante lejos, por defecto en el extremo inferior y por exceso en el superior. Sin embargo, los resultados con el método bootstrap t no están lejos de los del intervalo exacto con la gran ventaja a favor del bootstrap de que no usa que los datos tienen distribución exponencial, ni requiere derivar la distribución exacta de la media muestral.

Coda: el método del percentil bootstrap

Otro intervalo bootstrap que también aparece en los libros se basa en remuestrear directamente el estimador , lo que en los libros se conoce como el método del percentil bootstrap. Es más difícil motivar por qué este método lleva a un intervalo de confianza razonable por lo que lo dejo para una futura entrada. Solo observo aquí que este método está estrechamente relacionado con el método básico. Si son los cuantiles de la distribución bootstrap de , tenemos y entonces . Por lo tanto: Esto significa que el intervalo del método percentil es una versión reflejada del que resultaría si aplicáramos el método básico.

Referencias

• Efron, B., y Tibshirani, R.J. (1994). An introduction to the bootstrap. Chapman and Hall/CRC.
• Hesterberg, T. C. (2015). What teachers should know about the bootstrap: resampling in the undergraduate statistics curriculum. The American Statistician, 69, 371–386. doi (open access)

Cálculo de la mediana

Es bien conocido (véase esta entrada del blog para una demostración fácil) que la mediana de un conjunto de datos minimiza la función

Dado que esta función no es derivable, la idea sería sustituirla por otra que sí lo sea y que la mayore. Así en cada paso sí podremos derivar para acercarnos a la mediana.

Una función con las propiedades requeridas¹ es

Obviamente (propiedad 2). Por otra parte, para todo , lo que demuestra que mayora a la función (propiedad 1). La desigualdad se obtiene al eliminar el término al cuadrado y simplificar.

En el gráfico siguiente se muestra la función que hay que minimizar para calcular la mediana de una muestra de cinco puntos (en negro) y la función (en azul) en un paso del algoritmo para el que (línea vertical discontinua). El mínimo de la función azul sería el siguiente valor del algoritmo.

En general, para calcular el valor derivamos e igualamos a cero. Dado que el valor verifica

El algoritmo permite interpretar la mediana como una media ponderada de los datos, de forma que la ponderación que recibe cada observación es inversamente proporcional a su distancia al centro de la muestra.

El algoritmo EM

En este apartado sigo la notación de la entrada del blog en la que se explicaba el algoritmo EM, uno de los más importantes y citados para calcular estimadores de máxima verosimilitud.

Resulta que también se puede entender este método en términos del principio de minoración-maximización, lo que automáticamente da una demostración de que la verosimilitud no disminuye en cada paso del algoritmo EM. La función apropiada resulta ser donde, recordando la notación de la entrada mencionada, se define

Obviamente la función cumple la propiedad 2. Veamos cómo se justifica que minora a . Notamos primero que, reordenando términos,

Vamos a comprobar la desigualdad de la derecha. A las funciones de densidad o de probabilidad involucradas las llamo siempre para simplificar la notación, creo que el abuso no causa ambigüedad. Primero, observamos que Por otra parte, se verifica que es lo que queríamos demostrar.

La desigualdad de la ecuación anterior se debe al hecho de que la divergencia de Kullback-Leibler es no negativa (lo que a su vez es una consecuencia inmediata de la desigualdad de Jensen): para dos funciones de densidad o de probabilidad y cualesquiera donde significa que al tomar la esperanza la variable aleatoria tiene distribución dada por .

Referencias

Las ideas y ejemplos de esta entrada se deben a Hunter y Lange (2012). En el artículo se desarrollan otros ejemplos más sofisticados y se enumeran algunas técnicas útiles para determinar la función auxiliar a partir de la función que queremos optimizar. El algoritmo que hemos presentado para calcular la mediana fue introducido por Schlossmacher (1973) en el contexto de regresión.

Cómo convertir una novela en un data frame

Antes de empezar hay que cargar todos los paquetes que van a ser necesarios:

library(tidyverse)
library(gutenbergr)
library(tidytext)
library(patchwork)
library(wordcloud)

El siguiente código usa el paquete gutenbergr para descargar el Quijote y la Regenta desde la página del Proyecto Gutenberg. Se usa el paquete gutenbergr y el comando gutenberg_download aplicado a la clave del libro, que hay que buscar en la página mencionada. Posteriormente se usa unnest_tokens de tidytext para convertir el libro en un data frame manejable:

# Quijote --------------------------------------

quijote <- gutenberg_download(2000)

quijote <- quijote %>% 
  # Crea una variable que contiene las palabras sueltas:
  unnest_tokens(word, text)


# Regenta -------------------------------------

regenta <- gutenberg_download(17073)
# Para resolver un problema técnico con la codificación
regenta$text <- iconv(regenta$text, "latin1", "UTF-8")

regenta <- regenta %>% 
  # Crea una variable que contiene las palabras sueltas:
  unnest_tokens(word, text)

El resultado es un fichero con dos variables, la primera contiene el código del libro y la segunda, una por una, todas las palabras.

¿Cuáles son las palabras significativas más frecuentes?

Si vamos a mirar cuáles son las palabras más repetidas tenemos que quitar primero las que no son significativas (preposiciones, artículos, etc.). Para ello, he usado un fichero de palabras no significativas del castellano que he encontrado aquí y luego he retocado ligeramente. Además, es necesario quitar algunas otras palabras por la naturaleza del texto que estamos analizando:

# Convierte fichero de palabras no significativas (stop-words) en data frame 
stop_words <- scan('datos/spanish.txt', what = "character", encoding = "UTF-8")
stop_words_spanish <- tibble(word = stop_words)

# Se eliminan palabras no significativas y otras rarezas
quijote_ordenado <-  quijote %>%
  # filter(!word %in% c("don", "Don", "á", "ó", "the")) %>%   # quita rarezas
  anti_join(stop_words_spanish)     # quita lista de palabras no significativas

regenta_ordenado <-  regenta %>%
  anti_join(stop_words_spanish)     # quita lista de palabras no significativas

Para visualizar la lista de palabras más frecuentes he usado gráficos de barras estándar generados con el código siguiente:

rmax <- 20  # Considera las 20 palabras más frecuentes

df <- quijote_ordenado %>%
  count(word, sort = TRUE) %>%    # cuenta las frecuencias
  mutate(word = reorder(word, n)) %>%    # para ordenar según frecuencia en lugar de alfabéticamente
  filter(row_number() <= rmax) 


plot1 <- ggplot(df, aes(word, n)) +  
  geom_col(fill='lightblue') +
  coord_flip() + 
  labs(title = "El Quijote",
       x = NULL, y = NULL)

df <- regenta_ordenado %>%
  count(word, sort = TRUE) %>%    # cuenta las frecuencias
  mutate(word = reorder(word, n)) %>%    # para ordenar según frecuencia en lugar de alfabéticamente
  filter(row_number() <= rmax) 

plot2 <-  ggplot(df, aes(word, n)) +  
  geom_col(fill='lightblue') +
  coord_flip() + 
  labs(title = "La Regenta",
       x = NULL, y = NULL)

plot1 + plot2

Tal vez debería haber quitado también los nombres de los personajes, lo que sería fácil modificando el código anterior, pero ya no he tenido ganas. El Quijote se publicó en 1605 (primera parte) y 1615 (segunda parte) mientras que La Regenta se publicó en dos tomos en 1884 y 1885. Me ha llamado la atención que, aunque hay más de 250 años de diferencia entre la publicación de ambas novelas y aunque hablan de personajes y entornos sociales muy distintos, hay algunas palabras comunes entre las más repetidas: señor, Dios, mundo, vida, casa, ojos.

Los mismos datos se pueden visualizar de formas diferentes en función de lo que se pretenda comunicar. Por ejemplo, según el contexto puede ser conveniente representar las palabras más frecuentes en forma de nube:

pal <- brewer.pal(9, "Set1")
quijote_ordenado %>%
  count(word) %>%
  with(wordcloud(
    word, n, max.words = 50,
    colors = pal))

pal <- brewer.pal(9, "Set1")
regenta_ordenado %>%
  count(word) %>%
  with(wordcloud(
    word, n, max.words = 50,
    colors = pal))

La ley de Zipf

El lingüista George Kingsley Zipf, al estudiar el vocabulario en la obra de James Joyce alrededor de 1935, describió una regularidad estadística: cuando hablamos o escribimos hay un conjunto pequeño de palabras que se repiten con una frecuencia muy alta mientras que hay un conjunto numeroso de palabras que usamos muy poco. Supongamos que ordenamos todas las palabras de un texto de más frecuente a menos (como hemos hecho antes pero sin quitar las palabras no significativas), entonces el rango de una palabra es el lugar que ocupa en la lista y lo que dice la ley de Zipf es que la frecuencia es (de forma aproximada) inversamente proporcional al rango:

Esto significa que si tomamos logaritmos

es decir, si representamos frecuencias y rangos de cada palabra en escala logarítmica deberíamos observar puntos aproximadamente alineados.

Veamos qué ocurre con los dos textos que estamos analizando en esta entrada. Para el Quijote tenemos:

df <- quijote %>%
  count(word, sort = TRUE) %>%
  mutate(rango = row_number(desc(n))) %>% 
  rename(frecuencia = n, palabra = word)


ggplot(df, aes(x = rango, y = frecuencia)) +
  geom_point() +
  scale_x_log10() + scale_y_log10() +
  labs(x = "Rango", y = "Frecuencia",
       title = "Frecuencia vs rango en El Quijote")

Los valores estimados de las constantes y son:

lm(log(frecuencia) ~ log(rango), data = df)
#> 
#> Call:
#> lm(formula = log(frecuencia) ~ log(rango), data = df)
#> 
#> Coefficients:
#> (Intercept)   log(rango)  
#>      11.885       -1.215

Para La Regenta:

df <- regenta %>%
  count(word, sort = TRUE) %>%
  mutate(rango = row_number(desc(n))) %>% 
  rename(frecuencia = n, palabra = word)


ggplot(df, aes(x = rango, y = frecuencia)) +
  geom_point() +
  scale_x_log10() + scale_y_log10() +
  labs(x = "Rango", y = "Frecuencia",
       title = "Frecuencia vs rango en La Regenta")

Y la recta estimada es:

lm(log(frecuencia) ~ log(rango), data = df)
#> 
#> Call:
#> lm(formula = log(frecuencia) ~ log(rango), data = df)
#> 
#> Coefficients:
#> (Intercept)   log(rango)  
#>      11.290       -1.147

Sí parece que las dos cimas de la literatura en castellano cumplen la ley de Zipf aproximadamente con valores de similares y cercanos a uno.

El modelo

Sea una variable regresora e una variable respuesta, relacionadas a través del siguiente modelo: Tomando esperanzas condicionadas a , se comprueba que (1) equivale a suponer que el valor esperado de dada es . No suponemos ni que la variable explicativa ni que el término de error tengan distribución normal. Solo estamos suponiendo que la relación entre la variable respuesta y la variable regresora es aproximadamente lineal.

Usando la ley de la esperanza iterada, . Además, también se verifica .

La recta en función de los momentos de las variables

Sea y . Tomando esperanzas en el modelo, tenemos y restando esta ecuación de (1) se deduce Multiplicando ahora esta última ecuación por resulta Finalmente, tomando aquí esperanzas, tenemos , donde y . Esto significa que en el modelo (1) necesariamente se cumple

El estimador de momentos

El método de momentos consiste en estimar cualquier parámetro reemplazando los momentos poblacionales por los correspondientes momentos muestrales. Si tenemos una muestra y aplicamos esta idea en (2) los estimadores resultantes son que dan lugar a la recta de mínimos cuadrados.

Esto me dejó un poco perplejo en un principio ya que me parecía sorprendente poder introducir la recta de mínimos cuadrados sin usar para nada el criterio de mínimos cuadrados, ni tampoco máxima verosimilitud bajo normalidad. Pero las casualidades no suelen darse en estadística…

Las casualidades no suelen existir

La conexión del modelo (1) con el criterio de mínimos cuadrados viene a través de la propiedad de la esperanza condicionada como predictor óptimo en el sentido de ser la función que minimiza el error cuadrático medio de predicción: para cualquier (medible y tal que las esperanzas anteriores son finitas).

El modelo (1) es equivalente a , por lo que y deben verificar

para cualquier función razonable . El criterio de mínimos cuadrados se obtiene sustituyendo la esperanza por el promedio en el término de la izquierda de la desigualdad anterior. Así pues, no es sorprendente que se obtenga el mismo estimador:

• minimizando un estimador de momentos del criterio poblacional (minimizando la suma de errores al cuadrado),
• minimizando el criterio poblacional (lo que da (2)) y luego estimando por momentos la solución del problema de minimización.

La recta de mínimos cuadrados está relacionada a nivel más básico con la linealidad de la relación entre y que con cualquier otro aspecto de la distribución del vector .

Libros, apuntes o revisiones

• Statistics in survey sampling, unos apuntes sobre muestreo en poblaciones finitas para una asignatura de la Iowa State University. Hasta donde he visto cubre los temas básicos de introducción a esta materia.

• Linear Model and Extensions son unos apuntes usados en la Universidad de California en Berkeley. Incluye ridge, lasso, GLM, regresión cuantílica, selección de modelos e incluso regresión con datos de supervivencia.

• El algoritmo EM es un conocido método para calcular estimadores de máxima verosimilitud. A review of Monte Carlo-based versions of the EM algorithm comienza con una revisión del algoritmo y demuestra sus principales propiedades. Posteriormente, resume algunos de los métodos basados en simulación que se han propuesto para simplificar los cálculos necesarios, que a menudo son intratables.

• Uncovering Data Across Continua: An Introduction to Functional Data Analysis es una introducción accesible al análisis de datos funcionales.

• A First Course in Monte Carlo Methods cubre de forma concisa desde el uso de la simulación como técnica para aproximar integrales hasta las técnicas de Montecarlo basadas en cadenas de Markov.

• Mathematical theory of deep learning trata de forma relativamente accesible resultados de las tres áreas matemáticas más relacionadas con el aprendizaje profundo: teoría de la aproximación, optimización y estadística (statistical learning).

• Los así llamados e-valores son una alternativa a los clásicos p-valores para llevar a cabo un contraste de hipótesis. En Hypothesis testing with e-values se discuten sus ventajas, se presenta la teoría básica y se incluyen algunos capítulos sobre temas más avanzados.

• Randomized matrix computations: Themes and variations es un curso sobre álgebra lineal aleatorizada.

• A Tutorial on Statistical Models Based on Counting Processes relaciona el análisis de datos de supervivencia con el análisis estadístico de los procesos de conteo.

• Application of Random Matrix Theory in High-Dimensional Statistics resume los principales resultados de la teoría de matrices aleatorias y sus aplicaciones estadísticas (inferencia sobre matrices de covarianzas, componentes principales, procesamiento de señal)

Artículos

• The Importance of Discussing Assumptions when Teaching Bootstrapping da algunos ejemplos de simulaciones que ayudan a determinar las hipótesis de validez de los intervalos obtenidos con bootstrap. Previamente se resumen los principales métodos para calcular intervalos de confianza bootstrap.

• Bayesian Linear Models: A compact general set of results presenta en datalle los cálculos necesarios para hacer inferencia bayesiana en el modelo de regresión lineal (no es una introducción al enfoque bayesiano en regresión).

• Cuando se da un curso de introducción a la estadística con R surge la duda de si usar o no tidyverse. Teaching modeling in introductory statistics: A comparison of formula and tidyverse syntaxes es una discusión de las ventajas e inconvenientes de las diferentes posibilidades de usar R.

• En el experimento clásico de de Buffon para aproximar el valor de se lanza una aguja sobre un papel pautado con líneas. Buffon’s Triangle – A Variant of the Buffon Needle Method for a Probabilistic Determination of the Value of Pi analiza una variante en la que se lanza un triángulo equilátero sobre una cuadrícula.

• Si es el coeficiente de correlación muestral y es el poblacional, en Concentration inequalities for the sample correlation coefficient se demuestran, entre otros resultados, las aproximaciones siguientes de la esperanza y la varianza de cuando los datos son normales: y

• Stamps and Mathematics revisa diversos aspectos de la filatelia relacionados con las matemáticas.

Tim Harford: 10 reglas para comprender el mundo

Tim Harford es un economista que presenta desde 2007 el programa de radio More or less en la BBC sobre los números en las noticias y en la vida. Me gusta su actitud desde el principio. He detectado a veces cierta delectación en poner de manifiesto aspectos negativos de la estadística. Aquí sin embargo se contempla la estadística como merece, es decir, como una herramienta invaluable para facilitar el conocimiento en todos los ámbitos:

Muchos de nosotros nos negamos a fiarnos de las pruebas estadísticas por miedo a que nos engañen […] Mi intención es otra. Quiero que tengas la confianza suficiente para mirar por el telescopio y escudriñar el mundo. Quiero que comprendas la lógica que sustenta las verdades estadísticas, y que escapes de la influencia de la lógica defectuosa y los sesgos cognitivos y emocionales que configuran las falsedades.

Como Harford dice en la introducción, “nuestro mundo, enorme y convulso, está lleno de preguntas que solo una atención adecuada a los números puede responder”. Pero a veces el problema es más bien de los usuarios, debido a prejuicios o a falta de comprensión. En este libro, más que aconsejar sobre cómo analizar datos, el autor se centra en la actitud con la que tenemos que enfrentarnos a los datos que nos encontremos. No es una crítica de los posibles malos usos de la herramienta sino una serie de reglas para comprenderla de la mejor forma posible. En este sentido, es un libro que comparte características con el de Kiko Llaneras que reseñé el año pasado.

No mencionaré aquí cuáles son las 10 reglas concretas que sugiere el autor, pero sí la que considera la regla de oro: ser curioso, tener un interés genuino por aprender, no quedarse en la superficie e indagar. Tal vez así valoraremos un dato estadístico independientemente de las emociones que nos provoque, atenderemos a las definiciones de las variables para entender mejor una cifra o trataremos de comprender cómo funcionan los algoritmos para juzgar mejor sus imperfecciones:

Una afirmación estadística sorprendente es un reto a nuestra visión del mundo. Puede provocar una reacción emocional, incluso miedo. Los estudios neurocientíficos apuntan a que el cerebro reacciona con la misma angustia a hechos que amenazan a nuestras preconcepciones que a animales salvajes que amenazan nuestra vida. Pero para alguien con una mentalidad curiosa, por el contrario, una afirmación sorprendente no tiene por qué provocar angustia. Puede ser un misterio o un rompecabezas que resolver.

Me parece una actitud esencial en estos tiempos de polarización y redes sociales.

Margaret MacMillan: La guerra: Cómo nos han marcado los conflictos

Al comienzo de este libro dice Margaret MacMillan, una historiadora y profesora de la Universidad de Oxford, que “la guerra tal vez sea la más organizada de todas las actividades humanas, y a su vez ha estimulado una mayor organización de la sociedad”. Y el análisis de esta afirmación es uno de sus objetivos: estudiar cómo la guerra ha cambiado las sociedades humanas, pero también cómo los cambios sociales han influido en la manera de hacer la guerra.

La guerra, es cierto, ha producido mucho dolor y destrucción, pero con incomodidad hay que admitir que también estimula avances. La autora menciona que las primeras transfusiones se realizaron en un campo de batalla (Norman Bethune, en España en 1936, según algunas fuentes), que los fondos para desarrollar la penicilina solo estuvieron disponibles gracias a la Segunda Guerra Mundial, o que la práctica del triaje, habitual en las emergencias de los hospitales, se comenzó a usar probablemente en las guerras napoleónicas.

El libro contempla la guerra desde muchas perspectivas diferentes. Por ejemplo, sus causas. Estas pueden ser variadas, pero recurrentemente aparecen la codicia, la autodefensa y los sentimientos e ideas. También la evolución de los recursos y armas utilizados. En el capítulo llamado La forja del guerrero se enumeran las razones que llevan a los soldados a luchar y se introduce el debate acerca de por qué la premisa de que son los hombres los que deben combatir y no las mujeres es casi universal en el tiempo y en diferentes culturas. Otros capítulos se dedican a examinar el papel de la sociedad civil o las diferentes ideas para controlar o suprimir la guerra.

En el último capítulo del libro, La guerra en nuestro imaginario y en nuestra memoria, se repasan las obras literarias y artísticas que han reflejado nuestra forma de pensar en la guerra, desde Shakespeare hasta Apocalypse Now, pasando por Homero, Robert Capa, Platoon, Goya, Vassili Grosmann, Tolstoi, Erich Maria Remarque, Tim O’Brien o Picasso.

De fondo siempre queda la reflexión sobre si la sociedad nos hace más belicosos o más pacíficos, si azuza el conflicto o lo atempera. La primera postura representada por Rousseau y la segunda por Hobbes. No sé si es posible llegar a una conclusión clara y me gustaría que Rousseau tuviera razón pero mi impresión tras la lectura del libro es que Hobbes -y su pesimismo sobre la naturaleza humana- se acerca más a la verdad.

Ignacio Martínez de Pisón: Ropa de casa

El año pasado leí la extraordinaria novela Castillos de fuego de Ignacio Martínez de Pisón (Zaragoza, 1960) así que tenía curiosidad por Ropa de casa, su libro autobiográfico publicado este año, que abarca su infancia, juventud y primeros años de formación como escritor, hasta llegar a los primeros años 90.

Los primeros capítulos trazan semblanzas de su padre, un militar del régimen franquista que falleció cuando el autor tenía unos diez años, y su madre, que quedó viuda muy joven y al cuidado de cinco hijos pequeños. Aunque el autor es unos años mayor que yo y de clase social bien diferente (algunos de sus abuelos eran marqueses) los años 70 que retrata en la primera parte del libro me han resultado bastante reconocibles. Estos primeros años de su vida transcurrieron primero en Logroño y posteriormente ya en Zaragoza.

Una vez acabados sus estudios universitarios el autor se traslada a Barcelona, donde intenta convertirse en escritor. Esta es la parte más interesante del libro para mí. En los años 80 formó parte de un grupo heterogéneo de escritores a los que se etiquetó como nueva narrativa española, y que se beneficiaron del deseo colectivo de romper con el pasado literario reciente, que se relacionaba con la dictadura. Muy pronto un manuscrito de sus relatos fue aceptado por Anagrama, eran los comienzos de la colección Narrativas hispánicas en esta editorial, y comenzó a publicar.

Destacan los retratos de los escritores y editores con los que el autor se encuentra aquellos años: entre otros, Jorge Herralde, Javier Marías (quien fue una especie de mentor literario durante una década), Álvaro Pombo, Javier Tomeo, Cristina Fernández Cubas, Bernardo Atxaga (“entre las personas que conozco, puede que sea la que tiene el carácter más afable”) o, de forma más emotiva hacia el final del libro, Félix Romeo.

El mismo autor dice que su vida, en comparación con otras, ha sido una vida pequeña. No debe el lector esperar grandes emociones, pero el libro se lee con facilidad y resulta atractivo para aquellos a los que interese conocer algo más del mundo de un escritor.

Michael Ignatieff: En busca de consuelo

Dice el escritor Norman Lebrecht sobre la música de Gustav Mahler:

No toda persona civilizada es sensible a Mahler, pero dentro del monumental edificio de sus obras hay resquicios que permiten al oyente estar en paz consigo mismo. Esos son los lugares en los que la fortaleza Mahler se convierte en un refugio privado.

Y es que todos necesitamos refugio y consuelo en algún momento de nuestras vidas, y tal vez podamos encontrarlo en la música. Michael Ignatieff, un historiador y ex-político canadiense, nos habla en este libro de un conjunto de personajes históricos que buscan consuelo al componer, escribir, pintar o filosofar. En 2017 invitaron al autor a pronunciar una conferencia que acompañara un festival en Utrecht en el que se iban a interpretar versiones musicales de los ciento cincuenta salmos. Este encargo llevó al autor a una reflexión sobre el poder consolador de las obras de arte, literarias, filosóficas o religiosas. El libro es el resultado de esta reflexión.

Los capítulos siguen un orden cronológico, desde los desconocidos autores de los Salmos y el Libro de Job, hasta la admirable Cicely Saunders, una de las pioneras de la medicina de los cuidados paliativos, pasando por Mahler, el Greco, Montaigne, Marx, Ajmátova o Camus, entre otros.

El subtítulo del libro es Vivir con esperanza en tiempos oscuros. Para tiempos oscuros es apropiado el final de la Segunda de Mahler, uno de los fragmentos, para mí, más consoladores de la historia de la música. Es algo más de cuarto de hora, denle una oportunidad cuando lo necesiten.

El resultado

Sea un vector con distribución normal multivariante . Dividimos las componentes de en dos grupos, , el primer vector formado por las primeras y el segundo formado por las últimas. Consideramos las correspondientes particiones tanto del vector de medias como de la matriz de covarianzas:

Suponemos que existe . Queremos probar el siguiente famoso y muy relevante resultado:

donde

Uso la notación o para indicar que las variables e se distribuyen igual o que la distribución de es , respectivamente.

La demostración

Suponemos que por simplicidad. Si no fuese así se puede aplicar exactamente el mismo razonamiento a los vectores centrados y .

Supongamos que queremos predecir a partir de . Dado que las únicas relaciones que hay entre vectores conjuntamente normales son lineales (son independientes si y solo si la matriz de covarianzas cruzadas es la matriz de ceros) parece natural considerar una predicción de la forma para una matriz adecuada. Consideramos la siguiente descomposición de en parte explicada por y parte no explicada:

Para aprovechar toda la información imponemos que la parte residual no contenga ninguna información de , es decir, que y sean independientes. Como todos los vectores involucrados son conjuntamente normales (por ser funciones lineales de vectores normales) la independencia equivale a que las covarianzas cruzadas valgan cero:

Para esta elección de tenemos entonces que es un vector normal independiente de con , ya que , y (Hemos usado que .)

Finalmente, dado , los vectores y solo difieren en una constante y por ello equivale a que es lo que queríamos demostrar.

El caso

La primera vez que uno ve las fórmulas anteriores parecen un poco extrañas. Por eso yo en clase discuto inmediatamente después el caso . En esta situación tenemos de partida un vector normal bidimensional: Sea el coeficiente de correlación entre e . Aplicando las fórmulas, la distribución condicionada es normal con parámetros:

Si en la ecuación de la esperanza condicionada sustituimos los parámetros poblacionales por sus análogos muestrales resulta la recta de mínimos cuadrados, con la que los estudiantes están familiarizados. Aparece ahora esta recta sin acudir al criterio de mínimos cuadrados (o al de máxima verosimilitud) sino como estimador de momentos de la esperanza condicionada en un vector normal bidimensional.

Por su parte, la fórmula de la varianza condicionada también merece comentario ya que implica lo que permite interpretar el coeficiente de correlación al cuadrado como la proporción de la variabilidad de que es capaz de explicar.

Apéndice

Puede que la equivalencia del final de la demostración no sea del todo satisfactoria para los amantes del rigor, aunque los textos clásicos que he mencionado también la usan sin más explicaciones. En este apéndice incluyo un resultado técnico que la garantiza.

Supongamos que es posible descomponer en una parte que es función de (la parte de que es explicada por ) y otra que es independiente de (el residuo). Parece intuitivo que si condicionamos a un valor concreto de , la primera parte se comporte como una constante mientras que la parte residual sea la que determine la distribución condicionada. Esto es lo que afirma el lema siguiente:

Si , entonces es la esperanza condicionada de dado que , es decir, la mejor predicción de a partir del conocimiento de . Esto resulta intuitivamente claro dado que el residuo ya no contiene información de . Además, representa la parte de la covarianza de que no puede explicar.

Una demostración rigurosa del lema -que es delicada, como todas las que involucran a las distribuciones condicionadas- se puede encontrar en Wilson et al (2021), pag. 5.

Referencias

• Mardia, K. V., Kent, J. T., y Bibby, J.M. (1979). Multivariate analysis. John Wiley & Sons.
• Johnson, R. A., y Wichern, D. W. (2002). Applied multivariate statistical analysis. Prentice-Hall.
• Wilson, J. T., Borovitskiy, V., Terenin, A., Mostowsky, P. and Deisenroth, M. P. (2021). Pathwise conditioning of Gaussian processes. Journal of Machine Learning Research, 22, 1-47.

Introducción

Recordamos la notación y la principal fórmula de la primera parte:

Sea una muestra de observaciones independientes de una población . Consideramos la media muestral y la varianza muestral . En la entrada anterior se demostraba la fórmula de la covarianza entre y :

donde es una variable aleatoria con distribución , media y varianza , y es el correspondiente coeficiente de asimetría. En particular esta fórmula demuestra que hay relación lineal entre la media y la varianza si y solo si la distribución de la que proceden los datos es simétrica.

La correlación entre y

Para determinar el grado de relación lineal entre y es más ilustrativo usar la correlación que la covarianza. Para calcularla basta recordar las fórmulas de las varianzas de y . La varianza de es una magnitud fundamental en estadística y viene en todos los libros de texto: Por su parte, la fórmula de la varianza de es menos conocida y más complicada, pero también es posible encontrarla en algunos libros: donde es el coeficiente de curtosis de la distribución de la que proceden los datos.

La desigualdad de Pearson

Ahora, , por lo que (4) implica Si ahora tomamos límites cuando en la última desigualdad, tenemos

Los valores de y no pueden ser totalmente arbitrarios sino que están ligados por la desigualdad anterior, que se conoce como la desigualdad de Pearson. Apareció por primera vez en Pearson (1916) quien dio una demostración para el caso muestral que él mismo atribuye a Watson, como aparece en la figura siguiente.

Más tarde, Wilkins (1944) proporcionó una prueba más simple para una versión discreta de (5). Una prueba para el caso general se puede encontrar en Rohatgi y Székely (1989). El razonamiento anterior basado en la correlación entre la media y la varianza es una demostración general alternativa y se puede encontrar, por ejemplo, en Sen (2012).

¿Cuándo es máxima la relación lineal entre la media muestral y la varianza muestral?

Para grande, la ecuación (4) implica

El grado de relación lineal entre la media y la varianza está esencialmente determinado por la relación entre la curtosis y el cuadrado de la asimetría. La aproximación anterior me parece una relación elegante entre los dos primeros momentos muestrales y los momentos poblacionales tercero y cuarto.

Podemos preguntarnos en qué situaciones se espera que la correlación sea máxima. Dado que la igualdad en la ecuación (5) se alcanza si y solo si la distribución es dicotómica (se demuestra, por ejemplo, en Rohatgi y Székely (1989)) podemos esperar que la correlación sea máxima para distribuciones que solo toman dos valores (con diferentes probabilidades para evitar la simetría). De hecho, cuando es una distribución de Bernoulli con , entonces es fácil (pero algo tedioso) demostrar usando (4) que así que tenemos , a medida que .

Coda

Esta entrada tiene aspecto más de artículo académico que de nota divulgativa. En realidad es el resumen de un artículo que ya tenía escrito con la demostración alternativa de (5). Poco después de terminar el manuscrito descubrí el artículo de Sen (2012) en el que básicamente se hacía lo mismo. La vida del investigador es a veces dura. Al menos he podido escribir esta entrada…

Referencias

• Pearson, K. (1916). Mathematical contributions to the theory of evolution.—xix. second supplement to a memoir on skew variation. Philosophical Transactions of the Royal Society of London, Series A, 216, 429–457.

• Rohatgi, V. K. and Székely, G. J. (1989). Sharp inequalities between skewness and kurtosis. Statistics and probability letters, 8, 297–299.

• Sen, A. (2012). On the interrelation between the sample mean and the sample variance. The American Statistician, 66, 112-117.

• Wilkins, J.E. (1944). A note on skewness and kurtosis. The Annals of Mathematical Statistics, 15, 333–335.

La covarianza entre y

La fórmula depende de manera muy simple del coeficiente de asimetría. Dada una variable aleatoria con distribución , media y varianza , el coeficiente de asimetría de es

Con esta notación, el resultado es el siguiente:

Estoy de acuerdo con Dodge y Rousson (1999):

Statistical theory provides beautiful formulas when they involve the first three moments (with a special prize for the insufficiently known formula ).

Una demostración de (1) se puede encontrar en Zhang (2007). La demostración que aparece al final de esta entrada es una versión de la suya un poco más compacta. Puede ser un buen ejercicio porque requiere un manejo adecuado de los sumatorios que aparecen y un uso hábil de la propiedad según la cual la esperanza de productos de variables aleatorias independientes es el producto de las esperanzas.

Como observa Zhang (2007), la fórmula (1) produce un buen número de ejemplos de variables aleatorias incorreladas pero no independientes que aparecen naturalmente en problemas de estimación: basta con considerar medias y varianzas de muestras extraídas de poblaciones simétricas que no sean normales. Por ejemplo, la media y la varianza muestrales de observaciones con distribución t de Student (más de 4 grados de libertad, para que la curtosis sea finita) son incorreladas pero no independientes. Veamos un ejemplo con muestras de la distribución t de Student con 5 grados de libertad:

library(ggplot2)
R <- 1000
n <- 10
gl <- 5

set.seed(123)
datos <- matrix(rt(n*R, gl), n)   # cada columna es una muestra
medias <- apply(datos, 2, mean)
varianzas <- apply(datos, 2, var)
ggplot(data.frame(medias = medias, varianzas = varianzas)) +
  geom_point(aes(x = medias, y = varianzas)) +
  labs(x = "Medias", y = "Varianzas")

En el gráfico parece que valores extremos de la media incrementan la posibilidad de que los valores de la varianza sean también muy grandes, por lo que no son independientes. La simetría de la nube de puntos es la que hace que la covarianza sea cero.

¿Y qué pasa con la correlación?

Para determinar el grado de relación lineal entre y es mejor y más habitual usar la correlación entre ellas que su covarianza, pero como la fórmula de la correlación permite contar otra pequeña historia, lo dejo para una segunda parte.

La demostración

Veamos cómo se demuestra (1). Denotamos por a las variables centradas restándoles la media, con lo que . Ahora, Tenemos que donde hemos usado la independencia y el hecho de que la esperanza de es cero, con lo que las únicas esperanzas que no se anulan son las que corresponden a los términos con . Por las mismas razones, Finalmente,

How to Lie with Statistics

Conocí How to Lie with Statistics gracias al clásico texto de Daniel Peña Fundamentos de Estadística, donde se describía como “un libro excelente sobre cómo prevenir la manipulación con la estadística”. Unos años más tarde compré un ejemplar correspondiente a una edición de 1993 (véase la foto que encabeza la entrada), una de las muchas ediciones que han venido sucediéndose desde que se publicó el libro en 1954. He leído que en 2005 se habían vendido alrededor de un millón y medio de ejemplares, lo que tal vez lo convierte en el libro sobre estadística más popular de la historia.

Durrell Huff (1913-2001) era un periodista que, antes de convertirse en escritor independiente, había sido editor de las revistas Better Homes and Gardens y Liberty. No tenía ninguna formación específica en estadística. Como periodista independiente escribió varios libros cuyo título empezaba con “How to…”, entre ellos uno sobre las reglas de la probabilidad (How to Take a Chance: The Laws of Probability, 1959) pero también otros sin relación alguna con la estadística (How to Work With Concrete and Masonry, 1968)

J. Michael Steele ha enumerado algunas de las razones por las que el libro de Huff se convirtió en un superventas. En primer lugar, su título. Como dijo el ilustrador Irving Geis: “Huff could have well titled it An Introduction to Statistics and it would have sold a few hundred copies for a year or two. But with that title, it’s been selling steadily since 1954”. En segundo lugar, las ilustraciones del propio Geis, con su aire vintage (y en algún caso, sexista) cuando se miran setenta años después:

Hoy en día no es raro encontrar libros divulgativos en los que aparecen dibujos que aportan un toque de humor, pero en aquella época la fórmula era más novedosa. Steele también menciona unos contenidos bien elegidos: los tres primeros capítulos se refieren a medidas descriptivas numéricas, los capítulos 4 a 7 tratan sobre visualización de datos. Los tres capítulos finales son más heterogéneos y se dedican a discutir lo que llamaríamos pensamiento estadístico crítico. Todo ello en 142 páginas.

Durrell Huff y las tabacaleras

Huff también escribió un libro que nunca se llegó a publicar cuyo título era How to Lie with Smoking Statistics.

A principios de los años 60 se habían encontrado bastantes indicios de los efectos perjudiciales que el consumo de tabaco podía tener en la salud. En 1965 se aprobó una norma para que en las cajetillas de tabaco apareciera el mensaje Caution: Cigarette Smoking May Be Hazardous to Your Health. Se había propuesto un mensaje mucho más contundente pero las compañías tabacaleras lograron suavizarlo.

Las compañías trataban de transmitir la idea de que no había evidencia científica sobre los efectos del consumo de tabaco en la salud. Como parte de esta estrategia contrataron a Huff en 1964 para escribir un libro en el que se criticaran los análisis estadísticos de los estudios publicados sobre el tema. Huff trabajó en colaboración con el abogado Edwin Jacob quien sugería comentarios y temas de acuerdo con la conveniencia de las tabacaleras. El manuscrito solo se conoció en 1998, gracias al Tobacco Settlement Agreement que hizo pública mucha documentación de los casos legales contra las tabacaleras, y en particular una parte de la correspondencia de Huff.

Por ejemplo, en la carta que aparece debajo, Huff le envía a Jacob un borrador del capítulo I y espera que esta versión “comes close to doing the job”. También pregunta el momento apropiado para solicitar más dinero:

El borrador del libro comienza con este párrafo:

If we want to know what effect, if any, smoking cigerettes has on human health, there is an obvious and direct way to set about finding out. Essentially, we should set up an experiment in which half the population is directed to smoke and the other half is prevented from doing so. Observation of the two groups should eventually tell us what we want to know.

If it is not feasible to conduct such an experiment, even on a small scale -as indeed appears to be the case- we can only approach the problem indirectly.

Obviamente, la evidencia de los efectos del tabaco en la salud no se obtuvo a partir de un experimento controlado sino gracias a la combinación de cientos de estudios y experimentos que aportaban evidencias indirectas del efecto. La crítica de Huff se dirigía a puntos débiles de cada uno de estos estudios individuales.

En 1968 Huff llegó a un acuerdo con la editorial MacMillan para publicar una edición del libro en tapa dura a la que seguiría una tirada de bolsillo de 100000 ejemplares. Sin embargo, el proceso de publicación se interrumpió poco después porque se descubrió que las tabacaleras estaban detrás de artículos supuestamente independientes publicados en favor del tabaco en las revistas True (paradójico nombre, en lo que se refiere a este asunto) y National Enquirer. Se consideró incluir un aviso en el libro informando de la financiación que había recibido Huff, pero el hecho es que el libro finalmente no se llegó a publicar sin que se hayan documentado claramente las razones. Andrew Gelman aventura que el propio Huff no quiso que se publicara para que no perjudicara su reputación.

Cómo decir la verdad con la estadística

Aunque no está de más ser consciente de las posibles manipulaciones que podemos sufrir cuando nos presentan cifras relacionadas con un hecho, me interesan mucho más los libros que ponen el énfasis en la forma de usar los datos para presentar la realidad certera y honradamente, es decir, aquellos que enseñan cómo decir la verdad con la estadística. Concluyo mencionando tres ejemplos recientes de este tipo de libros: Piensa claro, de Kiko Llaneras, El arte de la estadística de David Spiegelhalter o ¿Cómo sobrevivir a la incertidumbre? de Anabell Forte Deltell.

Referencias

Toda la documentación de la relación de Huff con las compañías de tabaco, así como el manuscrito inédito se pueden encontrar aquí. La información que aparece en esta entrada la he leído en los tres artículos siguientes:

• Gelman, A. (2011). Ethics and Statistics: Statistics for Cigarette Sellers. CHANCE, 25, 43–46
• Reinhart, A. (2014) Huff and Puff. Significance, 11, 28-33
• Steele, J. M. (2005). Darrell Huff and fifty years of How to lie with statistics. Statistical Science, 20, 205-209

Tres varianzas distintas

La varianza de una distribución de probabilidad (la primera de las varianzas) mide la dispersión de los valores aleatorios generados a partir de esa distribución (o población). Es un parámetro importante porque da una medida de lo heterogénea que es la población e interviene de manera decisiva en cualquier inferencia que hagamos sobre, por ejemplo, la media poblacional.

Si por ejemplo generamos una muestra de 200 datos normales con media 0 y varianza , podemos estimar calculando la varianza muestral (la segunda de las varianzas) En la siguiente simulación vemos que el valor de obtenido es parecido a , pero no igual:

set.seed(123)  # para reproducir los resultados
n <- 200
sigma <- 1.4
sigma^2
#> [1] 1.96
datos <- rnorm(n, sd = sigma)  # genera la muestra
var(datos)
#> [1] 1.743519

De hecho, si repetimos el experimento anterior muchas veces obtenemos muchos valores distintos de que tienen su propia dispersión, determinada por el valor de (la tercera de las varianzas):

R <- 10000 # número de réplicas
varianzas <- replicate(R, var(rnorm(n, sd = sigma)))
var(varianzas)
#> [1] 0.03785888

Esta tercera de las varianzas es importante porque cuantifica hasta qué punto podemos estar seguros de que . De hecho, la desigualdad de Chebychev (dado que es insesgado) implica que para cualquier margen de error ,

Luego si la probabilidad de que difiera mucho de será muy baja. ¿Qué es lo que explica el valor 0.038 que hemos obtenido en la simulación? ¿Cómo podemos aproximarlo a partir de la muestra sin conocer la distribución de la que proceden los datos? En esta entrada se muestra cómo valorar la precisión de como estimador de sin recurrir a fórmulas matemáticas o teoría estadística.

Si asumimos que la distribución de los datos es normal

Si podemos suponer que los datos vienen de una distribución normal (con la media y la varianza desconocidas), algo muy sencillo que podemos hacer es repetir la simulación anterior pero sustituyendo los valores de y por los estimadores y calculados a partir de los datos. Este procedimiento se denomina bootstrap paramétrico:

R <- 10000 # número de réplicas
varianzas <- replicate(R, var(rnorm(n, mean = mean(datos), sd = sd(datos))))
var(varianzas)
#> [1] 0.03011815

Este método evita tener que conocer la teoría clásica estadística, de acuerdo con la cual si los datos son normales la distribución de es una (salvo constantes): A partir del resultado anterior se deduce la relación teórica entre las tres varianzas del apartado anterior: La ecuación (1) explica el valor que obtuvimos en la simulación inicial:

2*sigma^4/(n-1)
#> [1] 0.03860905

De hecho, a partir de (1), el estimador más natural de la varianza de es

2*var(datos)^2/(n-1)
#> [1] 0.03055134

Este valor es prácticamente idéntico al que se obtiene con bootstrap paramétrico. No es extraño ya que, si uno se para a pensarlo, el valor obtenido con lo que he llamado bootstrap paramétrico es en realidad una aproximación de Monte Carlo de , que en realidad es el estimador bootstrap paramétrico ideal, el que se obtiene al sustituir la verdadera distribución por la distribución estimada . La ventaja de la aproximación de Monte Carlo es que no requiere saber nada sobre la ni conocer la fórmula (1), y esto hace que la idea del bootstrap combinada con el procedimiento de Monte Carlo sea tan potente.

Si no sabemos nada sobre la distribución de los datos

Si no tenemos ni idea de la distribución de la que proceden los datos, podemos aplicar una versión más radical del bootstrap llamada bootstrap no paramétrico. Se repite la simulación pero ahora los datos se extraen de la distribución empírica (la que asigna probabilidad a cada uno de los datos originales ). Este método es razonable al menos para tamaños muestrales grandes ya que en este caso el teorema de Glivenko-Cantelli garantiza que .

Veamos qué pasa:

R <- 10000 # número de réplicas
varianzas <- replicate(R, var(sample(datos, replace = TRUE)))
var(varianzas)
#> [1] 0.03349739

Mediante el procedimiento anterior, extremadamente simple y sin suponer nada sobre ni conocer ninguna teoría, hemos podido valorar la precisión de . El valor obtenido no está lejos del correcto, 0.0386.

La relación general entre las tres varianzas

Para los/as curiosos/as, una bonita fórmula que viene en algunos libros es la equivalente a (1), pero para datos que no son normales. La relación general entre las tres varianzas es: En (2), representa el coeficiente de curtosis. En el caso de la distribución normal , lo que muestra que (1) es un caso particular de (2). Si prescindimos de términos de orden , tenemos la aproximación válida para cualquier distribución tal que . Esta aproximación es la misma que se deduce de la aplicación del teorema central del límite a para obtener su distribución asintótica.

Una breve reflexión sobre la docencia

Una comprensión del bootstrap como método para valorar la precisión de un estimador es mucho más formativa conceptualmente y se acerca más a la esencia de la inferencia estadística que conocer las propiedades de la distribución o de la de Student. Además, su rango de aplicaciones es mucho más amplio. Creo que se debería explicar en los cursos introductorios y se le debería dar la importancia que merece de acuerdo con su impacto en la práctica estadística de las últimas décadas. El problema es la inercia. Por una parte en los docentes, ya que suele ser difícil cambiar los contenidos de asignaturas que a veces son impartidas por muchas personas diferentes. Pero también la inercia en los investigadores aplicados a quienes a menudo ahuyenta cualquier desviación de los métodos que usan tradicionalmente.

1. Bootstrap (1979)

• Entrevista con Bradley Efron
• Una entrada de Caminos Aleatorios en la que se explica la idea
• Efron, B. (1979). Bootstrap Methods: Another Look at the Jackknife. The Annals of Statistics, 7, 1-26.

2. Modelo de regresión para datos de supervivencia (1972)

• Entrevista con David Cox
• Modelo de regresión de Cox en Wikipedia
• Cox, D.R. (1972). Regression models and life-tables. Journal of the Royal Statistical Society: series B, 34, 187-202.

3. Control de la tasa de descubrimientos falsos (1995)

• Entrevista con Yoav Benjamini
• Tasa de falsos descubrimientos en Wikipedia
• Benjamini, Y. y Hochberg, Y. (1995). Controlling the false discovery rate: a practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: series B, 57, 289-300.

4. El algoritmo EM (1977)

• Entrevista con Nan Laird y Art Dempster
• Una entrada reciente en Caminos Aleatorios sobre este tema
• Dempster, A. P., Laird, N. M., y Rubin, D. B. (1977). Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society: series B, 39, 1-22.

5. Modelos de efectos aleatorios para datos longitudinales (1982)

• Entrevista con Nan Laird
• Modelo de efectos aleatorios en Wikipedia
• Laird, N.M., y Ware, J.H. (1982). Random-effects models for longitudinal data. Biometrics, 38, 963-974.

6. Modelos lineales generalizados (1972)

• Entrevista con Peter McCullagh
• Modelos lineales generalizados en Wikipedia
• Nelder, J.A. y Wedderburn, R.W. (1972). Generalized linear models. Journal of the Royal Statistical Society: Series A, 135, 370-384.

7. Puntuación de propensión en estudios observacionales (1983)

• Entrevista con Don Rubin
• Puntuación de propensión en Wikipedia
• Rosenbaum, P. R. y Rubin, D. B. (1983). The central role of the propensity score in observational studies for causal effects. Biometrika, 70, 41-55.

8. Muestreo de Gibbs (Gibbs sampling, 1990)

• Entrevista con Adrian Smith
• Un artículo divulgativo sobre Gibbs sampling (pdf)
• Gelfand, A. E., y Smith, A. F. (1990). Sampling-based approaches to calculating marginal densities. Journal of the American statistical association, 85, 398-409.

9. Ecuaciones de estimación generalizadas (1986)

• Entrevista con Scott Zeger
• Ecuaciones de estimación generalizadas en Wikipedia
• Liang, K.Y. y Zeger, S.L. (1986). Longitudinal data analysis using generalized linear models. Biometrika, 73, 13-22.

10. Modelos aditivos generalizados (1986)

• Entrevista con Trevor Hastie y Robert Tibshirani
• Modelos aditivos generalizados en Wikipedia
• Hastie, T. y Tibshirani, R. (1986). Generalized Additive Models. Statistical Science, 1, 297-310.

Planteamiento e idea básica

Disponemos de una muestra procedente de una distribución que depende de un parámetro y queremos calcular el estimador de máxima verosimilitud de .

Llamamos a otros datos correspondientes a información adicional que convertiría el problema en otro mucho más fácil. Normalmente estos datos son en realidad inaccesibles, pero eso no importa en la aplicación del método.

En esta situación podemos plantearnos dos problemas:

• El problema que realmente tenemos que resolver, que requiere maximizar el logaritmo de la verosimilitud para , llamémosla .
• El problema simplificado, que requiere maximizar el logaritmo de la verosimilitud completa para que denotamos .

Aunque sea en realidad inobservable, si maximizar es más fácil que maximizar la siguiente idea puede ser útil:

Algoritmo

La aplicación de la idea anterior lleva al algoritmo EM:

Bajo condiciones de regularidad (hay muchos artículos que analizan el comportamiento de este método) puede demostrarse que en cada paso se mejora el objetivo del problema que realmente queremos resolver, es decir, y que la sucesión de valores generada converge a , el estimador de máxima verosimilitud correspondiente a la muestra que realmente tenemos.

Ejemplo

Este es un ejemplo sencillo que sirve para ilustrar las ideas anteriores. Para resolver el mismo problema podría usarse cualquier otro método de optimización razonable.

Supongamos que las observaciones son independientes y vienen con probabilidad de una distribución con densidad y con probabilidad de otra distribución . Tanto como son conocidas y el objetivo es estimar la proporción de observaciones que vienen de . La función de densidad de los datos es (para comprobarlo, se usa la fórmula de la probabilidad total). Por lo tanto, la log-verosimilitud que tenemos que maximizar es No es posible encontrar explícitamente el valor de que maximiza esta función por lo que hay que recurrir a algún método numérico.

Si alguien nos dijera a qué distribución pertenece cada observación el problema sería inmediato de resolver. Escribimos si la observación viene de e si viene de . La verosimilitud completa correspondiente a es y tomando logaritmos, donde no depende del parámetro , por lo que es irrelevante para nuestros propósitos. Derivando respecto a es fácil ver que el óptimo se alcanza en el valor . Como no podía ser de otra manera, si conocemos de dónde viene cada observación estimamos como la proporción de valores muestrales que vienen de .

Nosotros no sabemos de qué distribución viene cada pero si aplicamos la fórmula de Bayes y usamos el valor del parámetro,

Como consecuencia, los dos pasos del algoritmo se reducen a:

PASO E:

Salvo sumandos que no dependen de ,

donde se calcula mediante la ecuación (1).

Paso M:

Maximizamos . Para ello derivamos e igualamos a cero y obtenemos Un ejemplo numérico con datos simulados se muestra a continuación. Primero simulamos datos que pueden venir de una normal estándar (con probabilidad ), o de una normal de media 4 y varianza 1 (con probabilidad ):

# Generamos datos de una N(0,1) o de una N(4,1)
set.seed(156)
n <- 100
p <- 0.8  # objetivo a estimar
media <- 4

y <- rbinom(n, 1, p)  
x <- rnorm(n)
n0 <- sum(y==0)
x[y==0] <- rnorm(n0, mean = media)

# Representa histograma de los datos

library(ggplot2)
ggplot(data.frame(x)) +
  geom_histogram(aes(x = x), col = 'black', fill = 'olivedrab4', bins = 20)

En el histograma se observa claramente la bimodalidad correspondiente a las dos posibles distribuciones de las que pueden venir los datos. Ahora fingimos que no conocemos que y aplicamos el algoritmo EM a la muestra x (no usamos para nada y, que es la variable que nos informa de qué distribución viene cada observación). Usamos el valor inicial .

# Iniciamos el algoritmo
p_k <- 0.5
tol <- 0.1

# Pasos E-M
while(tol > 0.001){
  p_0 <- p_k
  y_k <- p_0*dnorm(x)/(p_k*dnorm(x) + (1-p_0)*dnorm(x, mean = media))  # Paso E
  p_k <- mean(y_k) # Paso M
  tol <- abs(p_k-p_0)
}
p_k
#> [1] 0.8179144

Se obtiene el valor 0.818, cercano al valor verdadero. Hemos supuesto las dos distribuciones conocidas. Una situación de más interés y más complicada sería no suponer las medias conocidas y tratar de estimar por máxima verosimilitud tanto como las dos medias.