lunes, 29 de agosto de 2011

¿1+1=3? Sobre el Procedimiento para Calcular Apoyos Válidos de la Registraduría

Con:
Esteban Piedrahita, Ex Director del Departamento Nacional de Planeación.
Mauricio Romero, Investigador, Quantil Matemáticas Aplicadas

El uso de técnicas de muestreo estadístico para el conteo de grandes números de firmas en procesos políticos es un mecanismo eficiente que ahorra recursos públicos. En muchos estados de EE.UU. se utilizan técnicas similares (ver página del Consejo Nacional de Legislaturas Estatales de ese país: www.ncsl.org/default.aspx?tabid=16583). Sin embargo, para que los resultados sean creíbles, es fundamental realizar un procedimiento que sea adecuado estadísticamente, de tal manera que el margen de error sea mínimo. El problema con el conteo de firmas de los candidatos a la Alcaldía de Cali Susana Correa y Rodrigo Guerrero—suponiendo que la mecánica misma del proceso, que no está abierta al escrutinio público, fue hecha debidamente—no radica en aplicar técnicas de muestreo, sino en varios hechos: 1) la Registraduría no siguió los pasos que dictamina la Resolución 757 del 2011 (ver www.alcaldiabogota.gov.co/sisjur/normas/Norma1.jsp?i=41566 y www.registraduria.gov.co/Asi-se-hace-la-revision-de-firmas.html); 2) utilizó para el análisis de “uniprocedencia” muestras muy pequeñas y, por ende, poco adecuadas desde el punto de vista estadístico; y 3) cometió un error conceptual inexplicable a la hora de calcular el total de firmas declaradas “inválidas”.
Respecto del procedimiento que dicta la Resolución 757 de 2011, ésta establece que se debe seleccionar una muestra que por tamaño y representatividad permita estimar la proporción de firmas inválidas con un error máximo de 0,5% a un nivel de 90% de confianza. Es decir, que la probabilidad de tener un error superior al 0,5% en el cálculo de la proporción de firmas inválidas sea menor al 10%. El procedimiento que se describe en la resolución es un procedimiento estándar que se sigue en estos casos (ver Cochrane W, 1977. Sampling Techniques. John Wiley & Sons, Inc.). La siguiente figura muestra el tamaño de la muestra que dictamina la resolución de acuerdo a la cantidad de firmas recolectadas. En el caso especifico de Rodrigo Guerrero, dado que se recolectaron 115.250 firmas, 22.023 debieron ser revisadas y no 75.157 como lo hizo la Registraduría. En este caso (y en todos los que los autores han podido conocer) se analizaron más firmas de las necesarias desde el punto de vista estadístico, lo cual implica que el margen de error es más pequeño que el requerido. Esto no es grave, simplemente extraño e innecesario a la luz de la Resolución.





Como se dio a conocer en los documentos publicados por la Registraduría, de las 75.157 firmas analizadas en el caso de Guerrero, se anularon 28.940 por razones varias diferentes a uniprocedencia (cuando una misma persona firma varias veces). Esto implica que el ejercicio de muestra generó un estimado de la proporción de firmas “inválidas” del 38,51%. Lo que no aparece claramente en los documentos públicos de la Registraduría, pero se pudo dilucidar por un artículo de La Silla Vacía (www.lasillavacia.com/historia/el-registrador-esta-dispuesto-contar-una-una-las-firmas-de-susana-correa-y-rodrigo-guerrero), es que, adicionalmente, la Registraduría seleccionó 3.758 firmas de las 46.217 firmas calificadas como “válidas” tras la revisión de la muestra inicial para realizar un análisis grafológico. No es claro el por qué de este tamaño de muestra. Si tomáramos como universo estas 46.217 firmas “válidas”, se debió seleccionar una muestra de 17.133 firmas para respetar el margen de error de la resolución (como lo muestra la figura anterior). Dado que esta es una submuestra de una muestra aleatoria, el tamaño de la muestra en realidad debería ser mayor. Aunque la resolución no regula sobre el tamaño de la muestra que se debe seleccionar para pruebas de “uniprocedencia”, el tamaño de la muestra seleccionado no permite tener un estimador preciso de las firmas inválidas según el análisis de grafología. El margen de error y confianza asociados a esta muestra para el análisis grafológico no reflejan la intención del artículo 6 de la Resolución 0757 de 2011. Sin embargo, éste no es el peor error cometido por la Registraduría.
De las 3.758 firmas que analizó la Registraduría para determinar “uniprocedencia”, encuentra que 930 son “inválidas” por este concepto. Esto implica que 24,75% de las firmas “válidas” tras el primer filtro tienen este problema. La Registraduría suma este porcentaje al 38,51% declarado “inválido” por el primer muestreo. Esto daría que el 63,25% de las firmas son “inválidas”. Como en total se recogieron 115.250 firmas, entonces 42.349 serían “válidas” y 72.901 “inválidas”. Dado que el umbral es de 50.000 firmas, el candidato no quedaría certificado.
El problema está en que el 24,75% de firmas con “uniprocedencia” no se puede aplicar a la totalidad de las firmas analizadas, pues la muestra para uniprocedencia se sacó de las firmas “válidas” (un sub-conjunto del total). Al sumar los porcentajes de las dos muestras y aplicarlos al total de firmas se estarían contando dos veces algunas de las firmas declaradas “inválidas”. Puede que una firma misma pueda ser invalidada por dos motivos, pero ello no significa que se deba contar dos veces como firma inválida. Lo correcto sería decir que de las 46.217 firmas que quedaban “válidas” inicialmente, 11.437, el 24,75%, son “inválidas” por “uniprocedencia”, por lo que sólo quedarían 34.780 firmas “válidas (pues 28.940 descalificadas por el primer ejercicio y 11.437 por el segundo) entre las 75.157 firmas analizadas—es decir, un 46,28%. Si extrapolamos esta proporción a las 115.250 firmas presentadas, entonces 53.334 firmas serían “válidas”. Dado que el umbral es de 50,000 firmas, el candidato en realidad debió ser certificado bajo la metodología aplicada. En el caso de Susana Correa, corrigiendo este error, el total de firmas “válidas” serían 66.662, rebasando ampliamente el umbral. Es sorprendente que la Registraduría cometa errores de cálculo sencillos cuando se trata de decisiones tan importantes.
El uso de técnicas estadísticas para la toma de decisiones es válido. Permite ahorrar escasos y valiosos recursos públicos. Sin embargo, es importante que la reglamentación sobre los mismos sea adecuada y correcta, que los organismos hagan caso de dicha regulación, y, obviamente, que no cometan errores de aritmética al aplicarlas. La solución propuesta, revisar las firmas una por una, hace caso omiso de los evidentes errores de aplicación estadística y aritmética básica que hizo la Registraduría.

martes, 23 de agosto de 2011

La Estadística de la Registraduría Nacional

Carta al Registrador, Agosto 25 de 2011 (con Esteban Piedrahita)

Sorprendió a la opinión pública en Cali el viernes pasado la anulación sospechosa de la inscripción por firmas de dos candidatos, a todas luces, idóneos y buenos para la Alcaldía de Cali. Ya a título personal me han sorprendido las reacciones de la opinión pública cuestionando, entre otros, el uso de técnicas de muestreo para verificar el cumplimiento del mínimo de firmas válidas requeridas para inscribir un candidato. No es ésta, ni mucho menos, una práctica reprochable. En efecto, del uso de técnicas estadísticas depende una gran cantidad de decisiones públicas e incluso decisiones críticas sobre la misma salud de una población como, por ejemplo, la de aceptar o no la introducción de una droga en el mercado y siempre con cierta probabilidad de cometer un error. Creo que poner en duda este procedimiento, conducente a una asignación eficiente del tiempo y recursos de la Registraduría, es desviar la atención sobre algo más profundo, y es la forma ligera como se procede en ocasiones en las decisiones técnicas que se toman al interior de algunas entidades del estado.

He hecho mi mejor esfuerzo por entender la técnica estadística plasmada en la Resolución 0757 de La Registrduría (Diario Oficial del 7 de febrero de 2011) para la revisión de firmas para la inscripción de candidatos. Como mínimo tengo que decir que la falta de transparencia y claridad en la descripción de un procedimiento técnico tan importante para los destinos de una ciudad es absolutamente reprochable. Esta nota tiene como objeto analizar y esclarecer el procedimiento y resaltar que no se ha aplicado la norma como debería de ser. La metodología de la Resolución 0757 corresponde a la metodología expuesta en un libro clásico y autoritario en el tema: Cochrane W, 1977. Sampling Techniques. John Wiley & Sons, Inc. Utilizaré los datos del candidato Rodrigo Guerrero, uno de los aspirantes perjudicados, para quién tengo a la mano los resultados oficiales (el caso de Susana Correa es similar pero no tengo los datos oficiales a la mano).

El primer paso de la metodología estadística consignada en la Resolución 0757 (artículo 6) consiste en utilizar una muestra de datos para hacer una estimación de proporciones que tenga un margen de error a lo sumo de 0.5% con un 90% de confianza (en este caso específico se asume normalidad de la variable que mide el número de firmas anuladas o válidas como proporción del universo de apoyos y el cálculo se hace a dos colas).

La primera conclusión es que no existe un universo de datos (apoyos) para los cuales la metodología tenga como consecuencia que se necesita una muestra de 75.157 apoyos como aparentemente dice el documento oficial de la Registraduría que se utilizó como muestra para el caso del Dr. Guerrero (véase Figura 1).




En efecto, si el universo es de 115.250 datos (apoyos) como aparece en el documento oficial, la muestra utilizada debía ser, en ausencia de algún conocimiento preciso sobre la proporción de apoyos válidos en el universo, 21.912 apoyos a revisar. Sin embargo, se revisaron 75.157. Algo totalmente incomprensible a la luz de la Resolución.

Supongamos que por alguna razón la Registraduría decidió utilizar una muestra más grande y utilizó 75.157 apoyos muestreados de forma aleatoria e independiente. El segundo paso cosiste en calcular la varianza del estimador de la proporción (como una demostración más de la ligereza de la Registraduría en este asunto técnico es que la formula de la varianza del Diario Oficial contiene un error sin mayores consecuencia en este caso pero, que sí podría ser determinante en otros casos: en la fórmula de la varianza no se debe dividir por n multiplicado por (N-n) sino por N multiplicado por (n-1)). De nuevo, en ausencia de cualquier conocimiento preciso sobre la proporción verdadera de firmas válidas en la muestra, la varianza es a lo sumo 0.0001%. Ahora se debe calcular la proporción de apoyos anuladas en la muestra que son 29.870 de 75.157 lo que da una proporción, en la muestra, de aproximadamente 39.8%. Ahora se compara la proporción estimada en la muestra 39.8%, con el verdadero valor (proporción de apoyos nulos del universo) más la desviación estándar multiplicada por 1.28 (esto equivale a una prueba de hipótesis al 90% de una sola cola asumiendo normalidad). Técnicamente este segundo cálculo no es posible hacerlo pues no se conoce el verdadero valor mencionado anteriormente pero la Registraduria da instrucciones para hacerlo: Restar del número de datos del universo (115.250) el número mínimo de apoyos requeridos (50.000) y dividir por el número de datos del universo (115.250). Este cálculo da 56.6% y sumando 1.28 veces la desviación estándar calculada anteriormente se obtiene aproximadamente 56.7%. Luego, siguiendo con la metodología de la Resolución, se debe comparar 39.8% con 56.7%. Como el primer número es menor, según la Resolución se deberían de aprobar el listado de firmas. Más aún, en ausencia de volatilidad en la estimación de la proporción de apoyos anulados en la muestra, 39% es menor que 56.6% luego la proporción de apoyos anulados en la muestra es menor que la máxima tolerable en el universo. Es apenas obvio que la Registraduría no está aplicando, o no lo está haciendo correctamente, el análisis estadístico en la Resolución.

El resultado de este ejercicio sumado a las declaraciones del Registrador en la radio elevando a principio elemental de la estadística que entre mayor sea el universo menor puede ser la muestra son una clara ofensa a la inteligencia (no hay tamaño de muestra sin error y nivel de confianza y, si se fijan estos últimos, entre mayor sea el universo mayor debe ser la muestra – véase Figura 1). Por el bien de Cali, debería de reconsiderase los cálculos hechos sin necesidad de pasar a los estrados judiciales y aumentar los ya altos costos sociales de realizar una sana contienda electoral.