02 septiembre, 2007

Malas encuestas: a patadas con los números

Cristián Bofill, el director de La Tercera, es temido, odiado y respetado. Tiene fama de mateo y de ser un jefe trabajólico y exigente: se cuentan cientos de historias de despidos arbitrarios, de largas horas en la redacción del diario, de incontables retos a sus subordinados por falta de rigurosidad o por no tener algún dato. Pero toda su rigurosidad no le ha servido de absolutamente nada cuando se trata de publicar datos estadísticos de manera confiable; ya estaría bueno que empezara a tomar en serio el asunto.
.
Los errores estadísticos en La Tercera son repetidos, lo que es más grave considerando que hace ya algún tiempo el diario decidió armar su propio centro de encuestas. ¿De qué les sirve producir datos propios, si los van a usar tan mal? Veamos sólo un par de errores.
.
2 + 2 = 5 (para valores extremadamente altos de 2...).

.
La última encuesta se publicó en dos tandas: sábado y domingo. El sábado se afirmaba en la primera página que "Alvear se instala como mejor rival de Piñera en presidenciales". Este es el gráfico que acompañaba a la nota:


El empate entre Soledad Alvear y Piñera en 45% es evidente. Sin embargo, suponer a partir de estos datos que Piñera de verdad le gana a Lagos e Insulza es un poco más complicado. Lo primero que hay que tener en cuenta (que es obvio, pero que el diario parece considerar de poca importancia) es que los datos de encuestas son siempre estimaciones y el valor real de cada número se mueve entre ciertos márgenes: esto es un intervalo de confianza y corresponde al valor del estimador + / - el valor del error de estimación.

Otra forma para saber si Piñera le gana a Lagos e Insulza es con un test de diferencia de proporciones para muestras no independientes. Según los cálculos de este blogger, el estadístico de prueba (z) de la comparación entre Piñera y Lagos da 1,4845 y entre Piñera e Insulza da 1,5011, considerando un nivel de confianza de 95% y un tamaño de muestra de 800 casos. Ambos estadísticos de prueba quedan dentro de la región de aceptación: no hay antecedentes para decir que uno (Piñera) es mayor que el otro (Lagos o Insulza). Es decir que Piñera no sólo empata con Soledad Alvear. Empata también con Lagos y con Insulza.

La redacción del diario prefiere interpretar los datos de un modo bastante más libre: "sin embargo, el ex ministro perdió terreno frente a Alvear en su disputa con Piñera. En julio ambos –Insulza y la timonel de la DC- obtenían un empate frente a Piñera (...). Ahora, pese a que el ex ministro reduce su distancia con Piñera (42% frente a un 47%) es superado por Alvear". El texto sigue afirmando que "pese a haber resentido su pole position en la carrera presidencial, el abanderado de RN no es superado por ninguna de las figuras de la Concertación: empata con Alvear y supera a Lagos e Insulza en cinco puntos".

En la bajada del mismo artículo se dice que "el abanderado de RN no supera la barrera del 50% frente a las 3 principales cartas del oficialismo": la realidad, en cambio, es que el apoyo a Piñera entre la población, de acuerdo con el cálculo del intervalo de confianza, debería estar entre 46,6% y 53,4%; es decir bien podría estar sobre el 50%.

Soledad Alvear, la mejor de todas.

El día domingo se publicaron los resultados de la evaluación de personajes públicos. El título de la página 8 dice así: "Alvear encabeza ranking político y supera a presidenciables del PS". Se presentaba también el siguiente gráfico:

Los pulgares indican la variación del estimador desde la anterior encuesta, hecha en julio. Saber si la diferencia es significativa requeriría otro cálculo que no haremos acá. Me conformo con mostrar que en realidad lo que se dice en el titular no es cierto: un cálculo de intervalos de confianza demuestra que el valor para la población de la evaluación positiva de Soledad Alvear podría estar entre 65,6% y 72,4%. La de Insulza podría estar entre 63,6% y 70,4% y la de Lagos entre 56,6% y 63,4%. Como los intervalos de Soledad Alvear e Insulza se sobreponen, no se puede decir que la presidenta de la DC esté encabezando un ranking: en realidad hay un empate estadístico con Insulza.

Conocimiento y noticias.

No tiene nada de problemático (al menos desde mi perspectiva, tal vez un periodista crea lo contrario) usar las encuestas como una herramienta de construcción de noticias, siempre y cuando se usen bien. El problema, con seguridad, surge cuando el imperativo por 'golpear' o por tener una noticia interesante entra en conflicto con lo que dicen los datos: entiendo que no hay nada más aburrido y poco emocionante que un titular que diga "¡EMPATE!". Me imagino que el criterio noticioso exige que haya un ganador, aunque sea a costa de desprestigiar poco a poco a su centro de encuestas.

Alguien más inclinado a las teorías de la conspiración que yo podría extraer la siguiente conclusión: La Tercera es de derecha y le interesa construir un clima de opinión desfavorable a los posibles pre-candidatos socialistas. Esto resulta difícil de probar. Lo que sí sabemos, gracias a
Elisabeth Noelle-Neumann, es que los climas de opinión son muy importantes para la forma en que los individuos deciden votar. De todos modos, yo no iría tan lejos como para decir que los desconfiados se equivocan: al contrario, es responsabilidad del diario lograr que el público confíe en lo que escriben y conservar una buena imagen. El peso de la prueba recae en el diario, no en el público. Si le entregan al público argumentos para desconfiar y los presentan con letras grandes y dibujitos de colores, la culpa es de La Tercera.

Lecturas recomendadas:
La Opinión Pública no Existe, de Pierre Bourdieu.
Cómo se reportea una encuesta, de Eduardo Arriagada.

Fuentes: los gráficos se sacaron de las ediciones del sábado 1 y del domingo 2 de septiembre de La Tercera. Los extractos de los textos también vienen de ahí.

.

Etiquetas: ,

19 Comentario (s):

At 2 de septiembre de 2007, 23:46, Anonymous mariana y punto dijo...

odio los golpes periodísticos. Odio la palabra golpe, odio a los que se desviven para conseguirlos, odio a los que definen la profesión porque haya o no un golpe (es cierto que es parte de esta, pero yo no encuentro que sea lo único ni lo más importante), y creo que a los lectores no les importa nada quién golpea, sino que son otras cosas las que hacen que decidan leer uno u otro diario o ver tal o cual noticiero.

Y ya es muy charcha interpretar que hay diferencia entre dos datos, cuando yo creo que habrán visto por ahí en la universidad que existe una cosa llamada margen de error. Y todo por un mal golpe.

En todo caso lo mismo pasa en el rating, siempre hablan de un ganador en el primer capítulo de la "guerra", cuando la mayoría de las veces no hay más que empates estadísticos. Lo que no sé es si quienes dan esas noticias se escudarán en la ignorancia o en qué.

 
At 2 de septiembre de 2007, 23:48, Anonymous mariana y punto dijo...

me faltó aclarar que hablaba de la "guerra de las teleseries" jeje

 
At 3 de septiembre de 2007, 05:08, Blogger socióblogo dijo...

A mí tampoco me interesan mucho los 'golpes', de hecho ni siquiera sé quién golpea a quién. Es algo a lo que de verdad no presto atención.

Hace unos días una revista, también de La Tercera, decía que 'Alguien te Mira' habia conseguido un récord de audiencia por sobre otras teleseries nocturnas, cuando en verdad la diferencia con la que le seguía era de apenas 1 punto.

Capaz que en realidad se hagan los desentendidos no más, para poder publicar algo. Tal vez no saben, pero por último por sentido común uno podría darse cuenta que las diferencias chicas no tienen significancia.

 
At 3 de septiembre de 2007, 18:01, Blogger Claudio dijo...

Excelente apreciación. No se si apoyarse en esa frasecilla de "un diario de derecha" hubiese sido la mejor manera de demostrar los errores de las encuestas, pero lo claro es que la poca seriedad y las ganas de mostrarse como medios de primera linea en el contexto de las lineas editoriales chilenas estos errores parecieran ser pasos a seguir para vender un poco más que LUN.

 
At 3 de septiembre de 2007, 18:05, Blogger Pablo dijo...

En estricto rigor, incluso lo que tú dices es incorrecto, porque a partir de una encuesta no se puede decir "la gente piensa X" o "Pérez y Pinto están empatados en las preferencias ciudadanas, por sobre Angulo", sino que todo esto son probabilidades, inferencias sobre lo que piensa la población total a partir de una muestra muy chica, entonces se debe decir "es probable que la gente piense X" o "probablemente Angulo esté en un tercer lugar detrás de Pinto y Paredes, quienes podrían estar empatados"...

¿Por qué si las opiniones de una encuesta sólo permiten hacer afirmaciones probabilísticas sobre el universo al que se refieren, los diarios las publican en portada como hechos objetivos? No es un problema de La Tercera, ni de EMOL, ni de La Nación ni del El Siglo ni de ningún medio en particular, todos lo hacen... es por la propia función que cumplen los medios en una sociedad compleja... reducir complejidad... (a lo Luhmann)...

Ahora bien, ¿por qué un bloguero y colega respetable y serio :) plantea como un afirmación taxativa algo que también cae en el terreno de las probabilidades? ("Alvear no le gana a Insulza, están empatados!")

Está claro que a La Tercer le gusta Piñera... y bueno, te caché, a tí te gusta Insulza !!!! jajajajajjajaja

Ambas posturas son legítimas, lo que sí es escandaloso es que no tengas el tiraje y la cobertura que tiene el dirario de COPESA y que la opinión pública se construya sólo a partir de la visión de ellos...

Interesante tema, saludos, Pablo.

 
At 3 de septiembre de 2007, 21:20, Blogger Montserrat Nicolás dijo...

Sweeet!

jurabamos que eramos las únicas recontando los numeritos y no nos calzaba...

en todo caso, la third se ha equivocado en articulos muuuuuy importantes para el estado político del país y cuando se los hemos hecho saber...mail de respuesta tendenciosos por decir lo menos.

igual, es una encuesta con 3.4% de confiabilidad, o sea, rasquita. no llega a 3. un mínimo.


te quemastes las pestañas con esta...

thanks!

curves

 
At 4 de septiembre de 2007, 17:24, Blogger Vicente Vadich dijo...

Al final, todo se reduce a la frase de Revel (que ni siquiera es parte del texto pero filo)

Los CEO de Chiletabacos no quieren saber cuales son los efectos del consumo de cigarros; quieren desmentir lo más posible la nocividad adjudicada al tabaco. Los pobladores de Conchalí no quieren saber una estimación a la situación del trabajo; quieren saber si pueden superar su pobreza. Los estudios científicos son lo más cercano que se tiene en estos días a una verdad absoluta e irrevocable, y no me extraña que la gente quiera aferrarse a ella con todas sus fuerzas.

Y es la pega de los maestros chasquilla del conocimiento (nosotros) generar la respuesta verdadera a la pregunta más importante que se le ocurra a alguien: ¿hacia adonde vamos? y nada de rodeos de hipermodernidad o eras de transición, hay que apegarse a las alternativas:

1) SÍ
2) NO
3) NS/NC

 
At 4 de septiembre de 2007, 22:52, Blogger socióblogo dijo...

Bueno, acá también estamos reduciendo complejidad evidentemente, jajaja.

Claro, si quisiera ser completamente riguroso, respetable y serio (gracias por los piropos, me alimento de eso vengan de donde vengan) debería decir, quizás: no hay antecedentes para rechazar la hipótesis nula (la igualdad) o algo asi, pero en este blog también tenemos imperativos por generar noticias. La ventaja es que, al menos, publico mis conflictos de intereses y estos no tienen mucho que ver con lo que digo en el post(disclosure: voté por Piñera. Insulza me da igual).

Igual se agradece el comentario crítico (de verdad) =)


Mañana tal vez escriba algo sobre el desafortunado informe con que Adimark divulgó su encuesta, así podré dejar en paz a los periodistas (que poca cupa tienen de leer mal los datos) y podremos concentrarnos en por qué una consultora "seria y respetable" redacta comunicados tan pencas. Supongo que también veremos cómo el blogger va limitando los lugares en los que podría llegar a ejercer su profesión por la vía de criticarlos. Será.

 
At 4 de septiembre de 2007, 23:16, Anonymous mariana y punto dijo...

... o cómo lo contratan para salvar a las empresas del descalabro ;)

 
At 5 de septiembre de 2007, 01:08, Blogger socióblogo dijo...

Adimark ya ha sido protagonista de uno de los mayores chascarros de los estudios de opinión pública en Chile (los exit polls), pero ahi siguen. No necesitan salvación de nadie: a lo más uno podría aspirar a que los periodistas hicieran bien el trabajo y pusieran contra la pared con preguntas pesadas a las consultoras de encuestas en vez de publicar los comunicados tal cual se los mandan, como si fueran unos monitos amaestrados. Habrá que ver...

 
At 5 de septiembre de 2007, 10:44, Blogger Montserrat Nicolás dijo...

se está poniendo suculenta la discusión en los comentarios...mooore!

best, Curvas

 
At 5 de septiembre de 2007, 10:57, Blogger Juan Emar dijo...

Se agradece que se rescate y se ponga en evidencia esto colega. Sobre todo porque las encuestas comienzan a tener un poder metafísico (ya fuera de la rigurosidad -si es posible- empírica) y deciden candidatos efectivamente. Bien recordará Alvear-Bachelet.
Con respecto a Adimark-GFK y sobre la "interpretación" (o acomodación política) de los datos, lo dejo desde ya invitado a debatir y a aportar sobre la lectura. Nihil novo sub sole.
Saludos

 
At 6 de septiembre de 2007, 10:15, Anonymous mariana y punto dijo...

es como el tema de un post donde hablabas de CSI, supongo que acá el problema es el mismo: confianza ciega en supuestos especialistas. Hasta donde yo sé no todos les creen, pero los periodistas en medios tradicionales parece que sí.
Debo agregar que tampoco he visto a otros especialistas que salten a discutir (en esos mismos medios) eso sí...

 
At 9 de septiembre de 2007, 11:44, Blogger Daniel de Witt dijo...

Usar encuestas como herramientas de construcción de noticias no tiene nada de malo. El problema es que la inmensa mayoría de las encuestas son utilizadas de manera tendenciosa, caprichosa, alejada de todo rigor científico, con el único fin de generar algo que no existe o de instalar un candidato o una situación en la sociedad.
Te doy un ejemplo concreto: en las últimas elecciones para la alcaldía de la Ciudad de Buenos Aires, había 2 candidatos con chances: un empresario de derecha (Macri) y un ministro de educación del gobierno actual (Filmus, de centro-izquierda). Había además decenas de partidos menores, la mayoría del sector que en Chile se denomina izquierda extraparlamentaria.
Faltando un mes más menos para las elecciones, Macri ganaba, según las encuestas, por 10 o 15 puntos. A medida que se acercaba la fecha del comicio, las encuestas comenzaron a indicar que estaban casi empatados Macri y Filmus.
El objetivo era claro: que la gente que iba a votar por la izquierda radical (un 10 % en la ciudad de Buenos Aires) vote por Filmus tentada de impedir el triunfo de Macri.
Luego ganó Macri por 20 puntos, lo que probaba la falsedad de las encuestas. Eso sí, lograron que la izquierda radical logre un sólo escaño en la legislatura porteña.
Un abrazo.

 
At 9 de septiembre de 2007, 21:22, Anonymous daniela rojas dijo...

Hola, que buen blog
Me parece excelente que alguien mencione los errores que se cometen en los estudios realizados en la tercera y en otro lados.
Suerte

 
At 9 de septiembre de 2007, 21:54, Blogger nadie dijo...

me han contado historias espeluznantes de Bofill...
creo que una encuesta tiene más interpretaciones que un acto fallido (y es bastante menos virtuosa en su génesis)
le saludo don

 
At 11 de septiembre de 2007, 18:13, Blogger Maynard dijo...

Mi opinión, mi futuro colega, es que a las encuestas les creo menos que a los gurús de autoayuda y solo un poquito más que a los numerólogos-tarotistas. La razón es simple y creo que ya la dejaron bastante claro otros como Mariana en los comentarios anteriores.

Lo que yo noto al ver tanta encuesta y estadisticas de preferencias por tal o cual señor sonriente que aspira al poder, no es otra cosa que lo que tu bien mencionas y que sería la real función de tales números: "los climas de opinión son muy importantes para la forma en que los individuos deciden votar" y que son los que al diario (o sus dueños) les conviene... y si ese no es el caso pues no me queda otra que pensar que es mera propaganda para vender el diario. Tal como mencionaste, un empate en la portada del diario no atrae a nadie a comprarlo.

Yo por mi parte creo que si la sociología no quiere perder su caracter reformador(o más bien lo pretende volver a recuperar), lo mejor que le queda es dejar de lado meter tanto dato estadístico en un computador para especular sobre el nuevo presidente, y buscar y estudiar los problemas que realmente le interesan y a la vez perjudican a la población.

Por lo demás se agradece el mencionar estos errores que nunca estan de más.

Saludos

 
At 11 de septiembre de 2007, 23:22, Blogger Interior Lux dijo...

Las encuestas como oráculos. Creo que las encuestas de La Tercera tienen menos credibilidad que el Mamo Contreras. Eso es muy aparte al hecho que interpreten las noticias como les dé la gana, esa es una costumbre muy propia de ellos. ¿Cuántos que "leen" diarios se quedan sólo en los titulares?

Bueno el texto recomendado de Bourdieu. Haré un post al respecto. y te linkearé. Saludos.

 
At 21 de marzo de 2008, 19:41, Anonymous Anónimo dijo...

Muchas gracias, aprendí un montón y desde mi ignorancia estoy muy, muy de acuerdo contigo.
Andrea P.

 

Publicar un comentario

<< Home