22 septiembre, 2007

Cómo construir mayorías

Como la investigación social no es neutra, cada vez que se mide un objeto de estudio también se lo está modificando. Esta historia es un ejemplo de cómo la investigación por cuestionarios se podría manipular para obtener resultados que se acomoden al propio gusto. El truco en este caso está en introducir un sesgo mediante las preguntas que se hacen y el orden en que se las hace, aunque si alguien tuviera la intención de ponerle números a sus opiniones personales para darles apariencia más universal, podría sencillamente inventar en vez de darse la molestia de "investigar":

Bernard (B o Sr. Woolley) le cuenta a Humphrey (H) que el primer ministro quiere reinstaurar el servicio militar, porque tiene una encuesta que dice que el 64% de la población apoyaría esa medida. Humphrey, entonces, le aconseja a Bernard que publique otra encuesta en que se muestre que la mayoría de la población está en contra de reinstaurar el servicio militar. Bernard se pregunta cómo lograr eso y Humphrey se lo explica:

H: Tú sabes cómo ocurre: una mujer joven y bonita se te acerca. Obviamente quieres que se lleve una buena impresión, no quieres parecer tonto, ¿o sí? Entonces ella empieza a hacerte preguntas: "Señor Woolley, ¿está usted preocupado por la cantidad de gente joven sin trabajo?"
B: Sí
H: "¿Está preocupado por el alza del crimen entre los adolescentes?"
B: Sí
H: "¿Cree usted que hay falta de disciplina en nuestras escuelas?"
B: Sí
H:"¿Usted cree que la gente joven requiere cierta autoridad y liderazgo en sus vidas?"
B: Sí
H:"¿Usted cree que responden a los desafíos?"
B: Sí
H: "¿Estaría usted de acuerdo con reinstaurar el Servicio Nacional?"
B: Emm, en fin, supongo que podría estarlo.
H: "¿Sí o no?"
B: Sí
H: Por supuesto que estarías de acuerdo, Bernard. Después de todo lo que le dijiste no podrías decir que no a esa última pregunta. Entonces no mencionan las primeras 5 preguntas y publican sólo la última.
B: ¿Es realmente eso lo que hacen?
H: Bueno, los prestigiosos no, pero de esos no hay tantos. Alternativamente la mujer joven podría obtener el resultado opuesto.
B: ¿Cómo?
H: "¿Mr. Woolley, le preocupa el peligro de una guerra?"
B: Sí
H: "Le preocupa el aumento de armamentos?"
B: Sí
H: "¿Cree que existe un peligro en darle armas a gente joven y enseñarles cómo matar?"
B: Sí
H: "¿Se opondría usted a la reinstauración del Servicio Militar?"
B: Sí
H: Ya ves, Bernard. Una muestra perfecta y balanceada.


Tal vez la imposibilidad de observar sin modificar no sea una particularidad de la investigación social. Ejemplos famosos como el gato de Schrödinger muestran que en disciplinas más duras (de esas que los sociólogos a veces disfrutan relativizando) también enfrentan esta situación.
.
El diálogo entre estos dos políticos buscando mayorías circunstanciales y ficticias proviene de una serie de televisión inglesa llamada Yes Minister y el ejemplo está tomado y traducido muy libremente desde acá.

.

Etiquetas:

16 septiembre, 2007

Phi3stas patrias r s0 k3wl!!

En los comentarios de un post anterior alguien preguntaba ¿qué es posmo? A veces cosas como esta se ilustran mejor con ejemplos:

Si alguien cree que es broma, puede convencerse haciendo click acá. Dejaremos para otro día la discusión sobre el tema de la identidad nacional y esas latas, aunque anticipo que soy de los que piensan que no hay tal crisis de identidad nacional, ni siquiera a la luz de iniciativas como esta fonda.

Siempre hay algo de cuento en la ideología de las 'raíces', de lo 'auténtico', de lo 'propio'. Siempre alguien queda fuera de esas versiones oficiales, se usan para camuflar conflictos y muchas veces tienen que ver más con el poder de turno que con otra cosa; por ejemplo la cueca, supuestamente tan pero tan chilena, es el baile nacional desde que a Pinochet se le ocurrió darle esa categoría por decreto en 1979. En el campo siempre tuvieron más éxito las tonadas y las rancheras.

También está el problema del integrismo: suponer que nuestra verdad está en un origen y que todo lo que viene después es una traición a ese origen. Algo de eso hay en lo que se dice en el blog 10am (seguro que hay más, pero fue todo lo que encontré; si Pedro Morandé o los Huasos Quincheros tuvieran blog seguramente los habría linkeado a ellos).

Parto a la playa, próxima actualización a la vuelta.

Etiquetas: ,

13 septiembre, 2007

¿Qué es una barrera psicológica?

He llegado tarde a la discusión de la encuesta Adimark. Ya nadie habla más de ella por estos días, así de efímera es la discusión pública. Pero supongamos que comentarla en esta fecha es, más que un acto de flojera, un ejercicio crítico: un esfuerzo de este blog por sustraerse a la agenda de los medios de comunicación.

Por cierto eso se logra hasta por ahí no más. Observando el post anterior uno puede darse cuenta que, por más que haya estado destinado a criticar el constante mal uso de las estadísticas en los medios de comunicación, en verdad también sirve para mostrar en qué medida son los medios de masas los que determinan de qué temas es importante hablar. A la Luhmann, como decía Pablo Morris en los comentarios, el post sobre La Tercera podría verse como una forma en que el sistema de medios de comunicación se cierra sobre sí mismo y se reproduce a partir de sus propios elementos. Nada más recursivo que un medio de comunicación (este blog) hablando sobre lo publicado en otro medio de comunicación (La Tercera). En fin.

Sobre la encuesta Adimark, es muy llamativo que en todos los diarios que la reprodujeron se copió tal cual una expresión que venía en el informe de prensa que entregó la empresa: Bachelet habría, supuestamente, bajado más allá de la "barrera psicológica" de los 40 puntos. Es curiosa esta innovación conceptual. A lo mejor algún psicólogo descubrió un buen día que exactamente en los 40 puntos la psiquis humana se crispa, se excita o se pone en alerta. Yo no poseo dicha información y me culpo por mi ignorancia, pero al parecer tanto Adimark como todos los diarios que copiaron la frase como si estuvieran siguiendo al 'monito mayor' están muy bien informados de la existencia indudable de esta particular barrera. Son gente sabia y virtuosa y por eso los admiro.

Con o sin ‘teoría psicológica’ detrás, la afirmación es claramente errónea: en una encuesta con un error de 3,4% como la de Adimark, un resultado que muestra que el apoyo a la gestión de Bachelet está en el 39,1% no sirve para decir con la certeza con que se dijo que el apoyo bajó de la famosa barrera. Más interesante habría sido destacar la tendencia de largo plazo que muestran los datos. En abril del año 2006 el apoyo a la gestión de Bachelet estaba en un 62,1% y ahora está en 39,1%. Igual uno puede recordar que, aunque Frei en la encuesta CEP llegó a un 28% de aprobación, la Concertación conservó el poder y eso a pesar de que Lagos enfrentó al primer candidato de derecha capaz de ganar votos y poner en aprietos al contrincante en AÑOS.



La encuesta también mostró algo sabido: ninguna de las dos coaliciones políticas grandes logra producir mucho entusiasmo en la ciudadanía. La cita con que El Mercurio describe esta situación es de antología: "Adimark muestra también que por un estrecho porcentaje la aprobación a la Alianza (20,8%) supera a la Concertación (20%)". Es decir que para El Mercurio una diferencia de 0,8% es suficiente para salir victorioso.

No voy a presumir de experto en estadística. Lo que ocurre es que ninguno de los cálculos necesarios para no terminar diciendo disparates como el anterior requiere de más habilidades que las básicas: sumar, restar, multiplicar y dividir. Lo más complejo con que uno se encuentra es una raíz cuadrada. ¿Habrá alguna excusa?

.

Etiquetas: , ,

02 septiembre, 2007

Malas encuestas: a patadas con los números

Cristián Bofill, el director de La Tercera, es temido, odiado y respetado. Tiene fama de mateo y de ser un jefe trabajólico y exigente: se cuentan cientos de historias de despidos arbitrarios, de largas horas en la redacción del diario, de incontables retos a sus subordinados por falta de rigurosidad o por no tener algún dato. Pero toda su rigurosidad no le ha servido de absolutamente nada cuando se trata de publicar datos estadísticos de manera confiable; ya estaría bueno que empezara a tomar en serio el asunto.
.
Los errores estadísticos en La Tercera son repetidos, lo que es más grave considerando que hace ya algún tiempo el diario decidió armar su propio centro de encuestas. ¿De qué les sirve producir datos propios, si los van a usar tan mal? Veamos sólo un par de errores.
.
2 + 2 = 5 (para valores extremadamente altos de 2...).

.
La última encuesta se publicó en dos tandas: sábado y domingo. El sábado se afirmaba en la primera página que "Alvear se instala como mejor rival de Piñera en presidenciales". Este es el gráfico que acompañaba a la nota:


El empate entre Soledad Alvear y Piñera en 45% es evidente. Sin embargo, suponer a partir de estos datos que Piñera de verdad le gana a Lagos e Insulza es un poco más complicado. Lo primero que hay que tener en cuenta (que es obvio, pero que el diario parece considerar de poca importancia) es que los datos de encuestas son siempre estimaciones y el valor real de cada número se mueve entre ciertos márgenes: esto es un intervalo de confianza y corresponde al valor del estimador + / - el valor del error de estimación.

Otra forma para saber si Piñera le gana a Lagos e Insulza es con un test de diferencia de proporciones para muestras no independientes. Según los cálculos de este blogger, el estadístico de prueba (z) de la comparación entre Piñera y Lagos da 1,4845 y entre Piñera e Insulza da 1,5011, considerando un nivel de confianza de 95% y un tamaño de muestra de 800 casos. Ambos estadísticos de prueba quedan dentro de la región de aceptación: no hay antecedentes para decir que uno (Piñera) es mayor que el otro (Lagos o Insulza). Es decir que Piñera no sólo empata con Soledad Alvear. Empata también con Lagos y con Insulza.

La redacción del diario prefiere interpretar los datos de un modo bastante más libre: "sin embargo, el ex ministro perdió terreno frente a Alvear en su disputa con Piñera. En julio ambos –Insulza y la timonel de la DC- obtenían un empate frente a Piñera (...). Ahora, pese a que el ex ministro reduce su distancia con Piñera (42% frente a un 47%) es superado por Alvear". El texto sigue afirmando que "pese a haber resentido su pole position en la carrera presidencial, el abanderado de RN no es superado por ninguna de las figuras de la Concertación: empata con Alvear y supera a Lagos e Insulza en cinco puntos".

En la bajada del mismo artículo se dice que "el abanderado de RN no supera la barrera del 50% frente a las 3 principales cartas del oficialismo": la realidad, en cambio, es que el apoyo a Piñera entre la población, de acuerdo con el cálculo del intervalo de confianza, debería estar entre 46,6% y 53,4%; es decir bien podría estar sobre el 50%.

Soledad Alvear, la mejor de todas.

El día domingo se publicaron los resultados de la evaluación de personajes públicos. El título de la página 8 dice así: "Alvear encabeza ranking político y supera a presidenciables del PS". Se presentaba también el siguiente gráfico:

Los pulgares indican la variación del estimador desde la anterior encuesta, hecha en julio. Saber si la diferencia es significativa requeriría otro cálculo que no haremos acá. Me conformo con mostrar que en realidad lo que se dice en el titular no es cierto: un cálculo de intervalos de confianza demuestra que el valor para la población de la evaluación positiva de Soledad Alvear podría estar entre 65,6% y 72,4%. La de Insulza podría estar entre 63,6% y 70,4% y la de Lagos entre 56,6% y 63,4%. Como los intervalos de Soledad Alvear e Insulza se sobreponen, no se puede decir que la presidenta de la DC esté encabezando un ranking: en realidad hay un empate estadístico con Insulza.

Conocimiento y noticias.

No tiene nada de problemático (al menos desde mi perspectiva, tal vez un periodista crea lo contrario) usar las encuestas como una herramienta de construcción de noticias, siempre y cuando se usen bien. El problema, con seguridad, surge cuando el imperativo por 'golpear' o por tener una noticia interesante entra en conflicto con lo que dicen los datos: entiendo que no hay nada más aburrido y poco emocionante que un titular que diga "¡EMPATE!". Me imagino que el criterio noticioso exige que haya un ganador, aunque sea a costa de desprestigiar poco a poco a su centro de encuestas.

Alguien más inclinado a las teorías de la conspiración que yo podría extraer la siguiente conclusión: La Tercera es de derecha y le interesa construir un clima de opinión desfavorable a los posibles pre-candidatos socialistas. Esto resulta difícil de probar. Lo que sí sabemos, gracias a
Elisabeth Noelle-Neumann, es que los climas de opinión son muy importantes para la forma en que los individuos deciden votar. De todos modos, yo no iría tan lejos como para decir que los desconfiados se equivocan: al contrario, es responsabilidad del diario lograr que el público confíe en lo que escriben y conservar una buena imagen. El peso de la prueba recae en el diario, no en el público. Si le entregan al público argumentos para desconfiar y los presentan con letras grandes y dibujitos de colores, la culpa es de La Tercera.

Lecturas recomendadas:
La Opinión Pública no Existe, de Pierre Bourdieu.
Cómo se reportea una encuesta, de Eduardo Arriagada.

Fuentes: los gráficos se sacaron de las ediciones del sábado 1 y del domingo 2 de septiembre de La Tercera. Los extractos de los textos también vienen de ahí.

.

Etiquetas: ,