09/09/2016

Los problemas de las encuestas y de su divulgación

Democracia, encuestas, sondeos, medios de comunicación, RCN, Revista Semana

Juan carlos Rodriguez analiza las encuestas en Colombia

Por: Juan Carlos Rodríguez-Raga
Profesor Asociado del Departamento de Ciencia Política
Director del Observatorio de la Democracia de la Universidad de los Andes

A raíz de la publicación de la encuesta Colombia Opina, contratada por RCN y la revista Semana, una columna de Daniel Coronell en esta revista (re)abrió una necesaria e importante discusión sobre las encuestas de opinión, sobre sus muestras y metodologías y, en consecuencia, sobre lo que se puede y no se puede inferir a partir de sus resultados.

La controversia es particularmente necesaria en esta coyuntura, tan cargada políticamente, en la que los colombianos pronto acudirán a votar el plebiscito para la paz. Y es especialmente importante porque contribuye de alguna forma a elevar los estándares con que se manejan estas encuestas. Que estos se cumplan, sin embargo, no es solo responsabilidad de las firmas encuestadoras, sino también de las organizaciones que las contratan y de los medios de comunicación que reportan sus resultados.

Una de las críticas centrales de la columna consistió en señalar que la encuesta mencionada se habría presentado como una encuesta electoral cuando en realidad es un sondeo de opinión que incluye una pregunta sobre cómo votarían los encuestados en el plebiscito. En estricto sentido, todas las encuestas divulgadas en los últimos meses (y me concentro en las realizadas por Datexco, Polimétrica e Ipsos) comparten esa característica: la pregunta por el plebiscito es apenas una de muchas sobre diversos temas de coyuntura. Ese rasgo metodológico, sumado al hecho de que falta aún mucho tiempo para el día de la elección y ni siquiera se conoce el texto de la pregunta que será sometida a consideración de los colombianos, hace que todas estas encuestas sean apenas distantes aproximaciones a lo que en realidad sucederá en el plebiscito. Ninguna de ellas constituye, al menos por ahora, un buen instrumento para pronosticar los resultados.

A esta incertidumbre se agrega la confusión que generan datos tan disímiles entre los estudios publicados. Esta variación no solo se explica por la volatilidad de la opinión a medida que pasa el tiempo y suceden eventos coyunturales que afectan las percepciones de las personas, sino también, en gran medida, por las diferencias en el texto exacto de las preguntas formuladas, y por los diseños muestrales y la técnica de recolección de los datos. Datexco, por ejemplo, suele tener muestras de 700-900 encuestados en 23 ciudades grandes y medianas, y los instrumentos son administrados telefónicamente. Ipsos entrevista a 1000 personas que representan a dos terceras partes de la población urbana adulta, encuestando cara a cara en estratos bajos y telefónicamente en los altos. Finalmente, las muestras de Polimétrica, de alrededor 1500-1600 encuestados, se enfocan en la población que efectivamente dice haber votado en las elecciones recientes, los que podríamos llamar votantes habituales a quienes se encuesta presencialmente, aunque solo en las cinco principales ciudades del país.

Aunque las firmas encuestadoras publican sus fichas técnicas como lo prescriben las regulaciones vigentes, al momento de presentar los resultados deberían ser mucho más explícitas al describir el universo de su muestra (¿a quiénes representan sus encuestados?) y en detallar cuáles son las limitaciones de dicho universo. De hecho, ninguna de las encuestas mencionadas puede hablar en representación nacional en la medida en que, por ejemplo, ninguna puede decir absolutamente nada sobre la población rural del país (y no creo que se pueda partir del supuesto de que, frente a todos los temas, en Colombia los habitantes del campo piensan y opinan lo mismo que quienes viven en las ciudades).

También deberían ser más transparentes en relación con las implicaciones de recolectar la información por teléfono en lugar de hacerlo mediante entrevistas cara a cara en hogares, en términos de representatividad y de confiabilidad de dicha información.

Un conjunto más exigente de estándares de transparencia podría incluir, además, la publicación de los instrumentos utilizados —de tal manera que todos sepamos exactamente qué preguntas se les formularon a los encuestados y en qué orden— así como del margen de error de cada una de las respuestas. Esto último no es difícil de estimar y mucho menos de mostrar, como lo hemos hecho en el Observatorio de la Democracia de la Universidad de los Andes, al divulgar los estudios del Barómetro de las Américas.

Ahora bien, ningún esfuerzo de estas firmas por alcanzar estándares de transparencia más exigentes tendrá efecto sobre una información más precisa en las opiniones de los colombianos si, por una parte, las organizaciones contratantes no son más conscientes de qué es lo que les piden a las firmas encuestadoras y, por otra, si los medios de comunicación no asumen la responsabilidad de prepararse mínimamente para informar de manera veraz y prudente acerca de los resultados de estos estudios.

Algunas de las aparentes “anomalías” que denuncia la columna de Coronell no estaban ocultas detrás de un supuesto velo de opacidad tendido por la firma encuestadora con el ánimo de desinformar malintencionadamente al país, sino que son características del estudio que están expuestas a la luz pública. En una entrevista en la W, dijo Coronell que en su conversación con Javier Restrepo, gerente de Ipsos, este le “confiesa” que su encuesta no es nacional. En realidad, una lectura juiciosa de la ficha técnica, que indica que este estudio representa al 67 % de la población urbana adulta (es decir, 50 % de la población adulta del país), no solo permite saber eso de antemano, sino que ese conocimiento debería hacer que los periodistas y los medios modulen la manera como informan acerca de los resultados de una encuesta con estas características.

Lamentablemente, no creo que a los lectores les quede difícil imaginar un escenario en el que, a pesar de que Ipsos hubiera hecho explícitos todos los rasgos y limitaciones de su estudio y hubiera publicado sus cuestionarios y los márgenes de error por pregunta, los medios de comunicación, en su afán de producir noticias, habrían titulado los resultados de la encuesta de la misma manera como lo hicieron.

La polémica desatada ha llevado a que algunos líderes de opinión denuncien desinformación intencional por parte de las firmas encuestadoras y clamen por una regulación más estricta de su actividad. Sinceramente, no veo que se hayan cometido irregularidades. Las firmas encuestadoras han sido contratadas para realizar estudios rápidos que, por lo mismo, tienen inevitables limitaciones; producen lo que les piden.

Más allá de imponer requisitos para la publicación de resultados de encuestas que resulten engorrosos, quizás inútiles y probablemente contraproducentes, elevar los estándares de transparencia en el sentido expuesto aquí constituye una condición necesaria para fomentar una ciudadanía mejor informada. Como lo reconoce el mismo Coronell, esto no será suficiente mientras que en los medios de comunicación la posibilidad del titular llamativo sea más tentadora que la prudencia a la hora de interpretar estos resultados.

*Nota del autor: Quiero aclarar que el Observatorio está llevando a cabo el estudio de 2016 del Barómetro de las Américas-LAPOP en Colombia, y que la firma Ipsos está actualmente realizando el trabajo de campo para este estudio en 47 municipios del país. Sin embargo, el diseño de la muestra y del cuestionario, la supervisión en tiempo real del trabajo de campo, el análisis de los datos y la divulgación de los resultados corren por cuenta, y son responsabilidad, del Observatorio de la Democracia, no de Ipsos.

Compartir

  • Logo Facebook
  • Logo Twitter
  • Logo Linkedin