Juan Pardo (Feedback) y el desafío de las encuestas ante el plebiscito: “Los encuestadores siempre estamos expuestos al fracaso”

El próximo 4 de septiembre, los nervios no sólo rondarán en los comandos del Apruebo y del Rechazo. También lo harán en las oficinas de los encuestadores. ¿La razón? Será el momento de saber si las predicciones, a lo largo de meses, se acercaron o no a lo que ese día dirán las urnas. 

Y el desafío no es menor. Por primera vez, un electorado volverá desde el voto voluntario al obligatorio. Lo cual añade una cuota de incertidumbre no menor. 

A pesar de aquello, la mayoría de los estudios ha sido tajante en vaticinar la victoria de una opción sobre la otra. Cadem, Criteria, Feedback, y Tú Influyes, entre otras, han coincidido: el Rechazo está por sobre el Apruebo. 

En esta entrevista con The Clinic, Juan Esteban Pardo, ex presidente de la Asociación de Investigadores de Mercado y Opinión y director de Feedback, aborda el escenario de la industria de cara al plebiscito, analizando el factor de obligatoriedad del voto y centrándose en la masa electoral que, usualmente, no participa de las votaciones.

“El 4 de septiembre vamos a ser objeto de un alto grado de escrutinio público. Me encantaría encontrar una actividad donde la comprobación empírica fuera tan ácida”.

-¿Teniendo voto obligatorio, es probable que las encuestas no sean capaces de acertar el resultado del plebiscito?

-El 4 de septiembre vamos a ser objeto de un alto grado de escrutinio público. Me encantaría encontrar una actividad donde la comprobación empírica fuera tan ácida. Uno puede hacer predicciones de todo tipo en el campo de la economía y de los fenómenos sociales, pero cuando se trata de elecciones, son fenómenos que están tan sujetos a la coyuntura y donde las encuestas tratan de hacer una estimación del resultado probable a partir de distintas variables. Una de las principales tiene que ver con el comportamiento histórico de los electores frente a determinado tipo de elecciones y la singularidad del proceso es que no tenemos un precedente por el sistema de voto obligatorio con inscripción automática. Entonces no hay un parámetro que nos permita decir cómo se van a comportar los electores. 

La principal duda que existe es quiénes van a votar. En un modelo de voto obligatorio con inscripción automática no tenemos idea de cómo se va a comportar el electorado. Nos podemos encontrar con la sorpresa que el aumento de la participación electoral provenga con mayor volumen desde algunos sectores, como los estratos bajos que son los que más pesan en términos electorales.Otro segmento histórico que ha tenido muy baja participación son los jóvenes. Recién han aparecido en el plebiscito del 2020 con alguna potencia respecto de sus anteriores apariciones. Entonces hay muchas preguntas sobre la singularidad del aumento de la participación electoral.

-¿Ese es el factor clave: la participación?

-Claro. En las encuestas hay que tomar en cuenta para su análisis, especialmente en las basadas en paneles, que la declaración de participación tiene alta deseabilidad social. Ahora hay otros datos del ambiente que hacen de alguna manera poder reestimar lo que están diciendo estos datos. Por ejemplo, en las consultas al Servel: ¿qué significa que haya 12 millones de rut únicos consultados? ¿La gente realmente está interesada y, ante el anuncio del voto obligatorio van a ir a votar los segmentos que antes no lo hacían? Eso es un misterio completo.

“Las encuestas muy pocas veces son capaces de acceder a estos segmentos desvinculados de la política y que no suelen votar”.

-Para esta elección hubo una especie de coincidencia entre las encuestas de que el Rechazo estaba por sobre el Apruebo. ¿Sería esperable una sorpresa?

-Sí, hay una probabilidad de que el resultado del plebiscito sea distinto al que pronosticaban todas las encuestas. Nosotros publicamos en marzo que el rechazo estaba en los puntos arriba, pero poquito, sobre el Apruebo y de ahí en adelante todas las encuestas empezaron a marcar lo mismo. Nunca el Apruebo ha estado nuevamente sobre el Rechazo. Por lo tanto, como que uno podría decir que la tendencia se estabilizó en el período de los últimos cuatro o cinco meses. Está la incógnita de esta gran masa electoral que no participa históricamente. Tenemos por lo menos dos cortes etarios que no han tenido nunca la obligación de ir a votar con pena de multa. Entonces, esto debería movilizar a sectores cuya composición desconocemos en las encuestas. Las encuestas muy pocas veces son capaces de acceder a estos segmentos desvinculados de la política y que no suelen votar. La preocupación principal de ellos son los temas económicos y la seguridad ciudadana, no están preocupados de lo que dice el documento. Además, son muy susceptibles a la oferta populista.

-¿Existe una mayor presión para los encuestadores de demostrar que sus encuestas son confiables?

-Los encuestadores siempre estamos sometidos a esta prueba ácida del resultado de las elecciones. Y admiro realmente a los colegas que están vinculados a estas actividades de encuestas periódicas, porque eso les exige mucho mayor grado de escrutinio público. Pero el afán de lo que realizamos es hacer un trabajo apegado a un método conocido y replicable, de manera que cualquier persona que pueda replicarlo con la misma confiabilidad pudiera obtener un resultado similar. Y en eso, si tú miras las siete o diez últimas encuestas son todas más o menos coincidentes en la tendencia promedio, todas dan entre ocho y nueve puntos al Rechazo sobre el Apruebo. 

En todo esto hay una tesis que hay que desentrañar con mucho cuidado, porque siempre se estimó que a mayor participación, mayor probabilidad para el Rechazo. Pero en el último tiempo, creo que esa tesis ha empezado a mostrar algunas grietas en el sentido de que nadie tiene una fotografía exacta de estos segmentos desvinculados de la política. Queda la duda si este segmento está siendo fielmente representado en las encuestas. La mayoría de éstas son paneles online o telefónicas e independientemente de que los diseños muestrales sean ajustados al método y lo más rigurosos posibles, son metodologías muy débiles en tanto no logran representar adecuadamente a todos los segmentos de la sociedad. Hay un colega, Axel Callís, que dice que esas personas son extraterrestres, que ni siquiera los programas sociales del Estado son capaces de registrarlos.

-¿El hecho de que todas las encuestas hayan coincidido en un mismo -o similar- resultado para el plebiscito habla bien de la metodología utilizada?

-Se me olvidó mencionar algo importante: si tú haces memoria, siempre para un evento electoral, había iniciativas desde distintos sectores de levantar información pública basadas en encuestas lo más robusta posible. Y aquí pongo el caso paradigmático del CEP, que se convirtió en una especie de faro de la objetividad respecto de los resultados de las elecciones presidenciales en particular. A mí me llama particularmente la atención que tratándose de un evento tan relevante, no haya habido una iniciativa como el CEP, para no decir que tienen la obligación de hacerlo, para entregar información más confiable a la ciudadanía mediante estudios de cara a cara. Esto a mí me parece que es una nebulosa sobre el resultado. No sabemos cómo se va a comportar el mundo de la ruralidad, donde las encuestas online tienen dificultad para llegar.

-También está el factor de la georreferenciación que hizo el servel para facilitar el acceso a los locales en esta elección, ¿cómo ve ese factor nuevo?

-No sabemos cómo va a influir, si le podría agregar velocidad al proceso o incertidumbre. Por lo menos, tenemos el dato de las 12 millones de consultas, que quiere decir que la gente sabe dónde le va a tocar votar.

-¿Esas consultas del local de votación garantizan el voto? Porque la gente perfectamente podría meterse a ver si es vocal solamente, por ejemplo

-También, sin duda. Pero lo llamativo es que son 12 millones de consultas de rut único, aunque eso no asegura nada. Si van 12 millones de personas a votar eso quiere decir que éste será un predictor excelente a futuro, pero yo dudaría de que esté tan alineado. Aquí no existe línea base para hacer una estimación muy concreta de cuánta gente va a votar.

-La última elección con voto obligatorio fue hace 13 años. ¿Ya está instalada una cultura de que ir a votar es voluntario?

-Tengo la impresión de que el aumento de la participación electoral, si está focalizado en algún segmento en particular, podría dejar sorpresas. Ahí probablemente las encuestas van a tener que dar algún tipo de explicación. Una recurrente tiene que ver con la ley de la veda a las encuestas 15 días antes de la elección. Uno puede seguir encuestando, pero no puede difundir, eso claramente es un abuso. Es un black out solamente para un sector mayoritario de la población, para el que no paga por el servicio. De nuevo la economía social de mercado en su más abrupta expresión: o pagas por la información o quédate en la sombra por 15 días.

“Las metodologías que se utilizan en la mayoría de las encuestas siempre sobreestiman la representación de los estratos más altos y subestiman a los más bajos”.

-Volviendo a la pregunta inicial. ¿El hecho de que todas las encuestas coincidan en el mismo resultado, pese a que utilizan distintos métodos, habla bien de la industria?

-En las ciencias sociales se valora mucho la validación cruzada, cuando uno tiene un resultado que se parece a otros obtenidos a partir de métodos similares. Ahora, en la metodología de los paneles o de las encuestas online, hay varias sutilezas que hacen que cualquier comparación tenga que ser muy cuidadosa. Hay algunos paneles que son un río y otros que son un lago. En los que son como un río van entrando y saliendo personas y en el lago son siempre las mismas y tiende a agotarse rápidamente, porque las personas tienen que tener algún nivel de incentivo para participar. Ahora, las metodologías que se utilizan en la mayoría de las encuestas siempre sobreestiman la representación de los estratos más altos y subestiman a los más bajos.

“La industria ha privilegiado el uso de metodologías blandas de bajo costo”

-¿Usted hace una autocrítica del rol de la industria en los últimos dos años de elecciones?

-Siempre estamos bajo la lupa de la opinión pública, de los medios y de la academia, porque es cierto que la industria de alguna manera ha privilegiado el uso de metodologías blandas de bajo costo, siendo esa la principal característica. No ha habido una oportunidad de generar este tipo de información sin un cliente. Generar información a partir de encuestas es caro, especialmente si es cara a cara. También la pandemia nos empujó a las metodologías online, gracias a eso lograron sobrevivir e independientemente de que ese método tiene algunas falencias, es lo que se puede hacer en las condiciones actuales. Desde ese punto de vista, hay una autocrítica en el sentido de que no usamos las mejores metodologías disponibles, pero porque nadie nos está pagando para producir esa información.

-En otros plebiscitos las encuestas han fracasado, como el Brexit o el proceso de paz en Colombia. ¿Existe el riesgo de que eso ocurra en Chile?

-Claramente, los encuestadores siempre estamos expuestos al fracaso. Desde que estamos en la universidad sabemos que las encuestas que aciertan nunca van a ser titulares como las que fracasan, porque ahí hay más sangre. Así que la praxis te enseña a que hay que estar disponibles para el escrutinio público. Pero uno no se puede quedar detenido en la presión académica, uno tiene que salir adelante y tratar de perfeccionar el método.

“La industria de alguna manera ha privilegiado el uso de metodologías blandas de bajo costo, siendo esa la principal característica”.

-¿En qué bolsones electorales va a estar la clave del resultado del plebiscito?

-Bueno, el principal son los sectores populares, sin duda. Ahí está un 60% del electorado del país. Y si uno hace un doble click ahí, sectores que tradicionalmente han estado ajenos a la participación como son los jóvenes y las mujeres. Hay datos recientes de un estudio del Observatorio de Envejecimiento de la Católica que habla de una baja sistemática de la participación de sectores sobre los 60 años en los últimos procesos electorales.

-Ya hablamos de que la participación va a ser otro factor clave. ¿Usted se la juega con un porcentaje de participación?

-O sea, jugármela con un porcentaje de participación sería realmente hacer un pase mágico. Pero para no mentirme a mí mismo -porque a principios de año, escribí con un colega de la Universidad de los Andes un paper para la Revista Chilena de Sociología- y nosotros hicimos una apuesta bastante temeraria en este minuto, en la que hablamos de 11 millones. A la luz de lo que sé hoy, encuentro que fue un poco temerario, pero podría suceder que fueran 11 millones. A lo que voy es que, de todos modos, hay una total incertidumbre. 

Tiendo a pensar que habrá luces y sombras, que habrá mucha heterogeneidad interregional, entonces es una apuesta arriesgada. Con la última participación de 8,3 millones ya estábamos sorprendidos y era un contexto de voto voluntario pero, citando de nuevo a Axel Callís, hay algo que no estamos viendo las encuestas.

“Cuando los medios tratan a todas las encuestas como si todas fueran lo mismo, hay un error conceptual tremendo”.

-¿Cómo observa la relación entre los medios y las encuestas? ¿Hay desconocimiento de las metodologías que se utilizan? ¿Deberían tomar los medios una relación más distante de las interpretaciones que se hacen?

-Muchos países han privilegiado directamente tener alianzas estratégicas con una empresa para cubrir los eventos electorales a partir de este tipo de información. A mí me parece de toda lógica que eso ocurra, siempre y cuando sea explícito, que haya transparencia de que hay un acuerdo entre la empresa y los medios para generar información de ese tipo. Cuando los medios publican la información de manera no regular y la fuente es poco confiable, eso sí me parece un poco más delicado y en los últimos años hemos visto algunos ejercicios de este tipo que me parecen bien lamentables, pero hay algo que yo diría que es universal y que los medios tienen que mirar con atención: las encuestas tienen que ser juzgadas en sus propios méritos y por lo tanto es muy importante conocer las fichas técnicas. 

Los encuestadores hemos sido majaderos en reforzar esta idea de que cada vez que se publica una encuesta tiene que haber un recuadro con la ficha técnica, porque de otra manera es imposible evaluar a qué se refieren los datos. Y ahora, cuando los medios tratan a todas las encuestas como si todas fueran lo mismo, hay un error conceptual tremendo. O sea, el ideal es que los medios deberían tener especialistas internos que pudieran evaluar la calidad de la información, porque así como existen los fact checkers para una noticia importante tendría que haber un especialista en decir si la información parece razonablemente bien obtenida.

---