jueves, 8 de junio de 2017


Publicado en Portafolio: http://www.portafolio.co/opinion/otros-columnistas-1/alvaro-j-riascos-villegas-loterias-suicidas-analisis-506630


Por algunos años he tenido la afición de recopilar algunos de los mecanismos de asignación de recursos más absurdos que existen o han existido en Colombia. Finalmente, después de leer una nota del profesor Rakesh Vohra sobre una lotería suicida, mencionada en la novela de Marcus Clarke’s, For The Term of His Natural Life, caí en cuenta momentáneamente que, a pesar de todo, los colombianos quizás no estamos tan locos. 

Dice el mito, estudiado con detalle por Tim Causer en Norfolk Island’s ‘suicide lotterie’s: myth and reality, que a mediados del siglo XIX, las condiciones carcelarias de la isla Norfolk, cerca a Australia, eran tan dramáticas, que algunos convictos entraban en juegos extremos con el ánimo de ganarse la esperanza de aliviar el sufrimiento. En este juego, tres convictos elegían cada uno un palito entre tres, parcialmente cubiertos y aparentemente, de la misma longitud. Aquel que eligiera el más largo era la víctima, el segundo con el palito más largo era el victimario y el último el testigo. El trato era que el victimario le cortaba la cabeza a la víctima y los dos sobrevivientes del juego enfrentaban un posible juicio en una corte en Sydney, ganándose así una ligera posibilidad de, eventualmente, escapar. Mito o realidad, este juego es un ejemplo perfecto de un mecanismo aleatorio para asignar un servicio (¡y disfrutar de él!), el del victimario.

Menos espectacular, pero igualmente aleatorio, es la forma como algunas empresas públicas y privadas en Colombia contratan servicios, realizan licitaciones o en general, asignan algunos recursos. No es mérito exclusivo de los colombianos, pero algunos mecanismos de asignación de recursos en nuestro país son dignos de poner a competir en cualquier concurso de creaciones absurdas. No quiero sacar a relucir ningún victimario, solamente señalar que los he visto en práctica en algunas licitaciones públicas de infraestructura, del espectro electromagnético, contratación de servicios, y compra y venta de productos en mercados organizados. Las víctimas, por supuesto, somos todos los colombianos que pagamos el costo hundido de las ineficiencias del Estado, empresas y/o nuestra forma de organización económica. 

Una compañía en Bogotá licitó o licita la prestación de un servicio utilizando el mecanismo que describo a continuación (y estoy simplificando). Hasta una fecha límite, los interesados envían en sobre cerrado su oferta económica para la prestación del servicio (hasta ahí bien). Cuarenta días más tarde se registran los dos primeros decimales con los que cierra la tasa representativa del mercado (TRM). Estos dos números se utilizan para elegir uno de cinco mecanismos de acuerdo a la siguiente regla: el primer mecanismo, si los dos dígitos son menores que 20, el segundo, si son mayores que 20 y menores que 40, y así sucesivamente. Cada mecanismo determina un precio de referencia. Por ejemplo, en el primer mecanismo el precio de referencia es la menor oferta, en el segundo la mitad de la suma de la menor oferta más el promedio de todas las ofertas, en el tercero es la media geométrica de las ofertas y así, variaciones aberrantes de los mismos. El ganador de la licitación es aquel que más se aproxime por debajo al precio de referencia del mecanismo seleccionado. 

Otra empresa en Bogotá y algunas licitaciones públicas de infraestructura en Colombia, y en otras partes del mundo como en Italia, China, Chile, Perú, y Taiwán, por ejemplo, hacen algo un poco menos demencial que lo anteriormente descrito. Los agentes ofertan y se calcula un precio de referencia como la media geométrica o la media aritmética. El ganador es aquel que más se aproxima por debajo al precio de referencia. Este mecanismo tiene una motivación económicamente razonable y es la de eliminar a los participantes con ofertas demasiado bajas, ya que estas son señales de baja calidad, o incertidumbre sobre las verdaderas capacidades de cumplir con sus obligaciones. Es, sin embargo, una pésima forma de atacar ese problema y un mecanismo socialmente ineficiente (no gana el de menor costo). Peor aún, en el mejor de los casos (cuando los participantes son racionales en el sentido de la teoría de juegos), los equilibrios son el resultado de ofertas estratégicas aleatorias o concentradas en el precio de reserva. Para rematar, alguna vez oí decir, como justificación, que, como era una forma casi aleatoria de asignar un bien o contratar un servicio, era un buen mecanismo para garantizar que empresas pequeñas interesadas, en este caso, en adquirir parte del espectro electromagnético, también tuvieran oportunidad de ganar en la licitación. Esto es como hacer dos equipos de fútbol en el recreo del colegio, usando el orden alfabético de los alumnos. No tiene ningún sentido desde un punto de vista de eficiencia, o de bienestar social, promover la competencia e igualdad de oportunidades usando un mecanismo aleatorio. 

Es una pena que, después de, más o menos, 70 años de fundada la teoría de juegos, progenitora de la teoría de subastas, quizás el logro más grande de la teoría económica, y de varios premios nobel, otorgados por el desarrollo de la teoría de diseño de mecanismos, sigamos asignando bienes y servicios de forma suicida.

lunes, 13 de junio de 2016

Bienestar Social y Poder de Mercado en el Sector Eléctrico



Pasado el fantasma de un racionamiento eléctrico en los últimos meses, tiempo atrás se habían venido generando alertas de que no todo está muy bien en el sector eléctrico colombiano. A pesar de las buenas intenciones de la Comisión de Regulación de Energía y Gas (CREG), este mercado es complejo y difícil de amansar. No esperemos a que ocurra otro fenómeno del niño para ir tomando correctivos que se traduzcan en mayor bienestar social y mayor bienestar para los consumidores (recordemos que, en economía, el bienestar social se define como el beneficio de las firmas más el bienestar o excedente de los consumidores.  Es por esto que, aumentos en el bienestar social pueden ser consecuencia de aumentos en el beneficio de las firmas sin que necesariamente el beneficio de los consumidores sea mayor, esta diferencia será importante más adelante).
En una serie de artículos con varios colegas (Transition to Centralized Unit Commitment: An Econometric Analysis of Colombia’s Experience, The Energy Journal 2016 y Transition to Centralized Unit Commitment: A Structural Model of Colombia’s Experience, Borradores Semanales de Economía 2016) hemos venido llamando la atención sobre cómo algunas regulaciones recientes de la CREG han inducido mejoras notorias en la eficiencia productiva (reducción en los costos totales de generación del sistema al ser despachadas las plantas más eficientes) del despacho eléctrico colombiano y, también, en cómo estas mejoras no se han traducido en beneficios económicos para el consumidor. Dicho precisamente, la evidencia empírica muestra que las regulaciones han disminuido el costo de generación de la energía eléctrica en Colombia, pero también ha disminuido el beneficio de los consumidores y, en total, ha aumentado el bienestar social. Esto suena paradójico pero el bienestar social es el concepto estándar en economía para medir la salud de una industria. Esto es cuestionable desde muchos puntos de vista, pero aún más en el caso colombiano que no es un novato en generación eléctrica (mercados en desarrollo necesitan incentivos para la instalación del parque de generación). Por lo tanto, muy a pesar de las leyes de servicios públicos en Colombia, que usan el criterio de bienestar social para medir la salud de la industria, hay que comenzar a preguntarse por el bienestar de los consumidores.
Las conclusiones principales de estos estudios han sido las siguientes. Con la Resolución 051 de 2009 la CREG generó un cambio drástico en la forma como se realiza el despacho eléctrico colombiano. Hasta esa fecha el despacho era de compromiso individual y a partir de esa fecha, pasó a ser de compromiso centralizado. Aunque la descripción de ambos conceptos es técnica, basta con decir que el cambio fue muy apropiado. La motivación principal fue la posibilidad de reducirle el riesgo a los generadores térmicos de salir despachados y no poder recuperar sus costos de arranque y parada con sus ingresos. Esta falla de mercado debida a una no convexidad en la estructura de costos de los generadores térmicos, fue trasladada por medio del nuevo sistema a un despacho centralizado con el fin de internalizar el problema. Hasta ahí, todo iba muy acorde con la teoría económica y las experiencias internacionales. Sin embargo, no era previsible que, al eliminar un riesgo idiosincrático de los generadores térmicos, las ofertas en bolsa, el precio de bolsa y el precio de los contratos bilaterales fueran a aumentar. Es decir, al haber centralizado el despacho e internalizado los costos de arranque y parada, se esperaría que el despacho fuera más económico y de hecho lo fue (3.32% más económico por año producir toda la energía del país) pero no se esperaría que las ofertas, precios de bolsa y precios de contratos aumentaran (para el precio promedio ponderado de los contratos más del 14% en términos reales en tres años). Probablemente al haberle dado más libertad a los generadores para reportarle información al despacho (no solo ofertas de precios de generación de energía sino también los costos de arranque y parada) estos tuvieron mayor oportunidad para manipular el sistema. Esto es apenas una hipótesis pues, ni la teoría económica da luces sobre este problema, ni la evidencia empírica lo ha documentado. En conclusión, la eficiencia productiva aumentó al igual que los precios finales a los consumidores, lo cual significa que aumentó el poder de mercado de los generadores. Es decir, los aumentos en el bienestar social fueron apropiados por los generadores y no por los consumidores.
Ninguno de estos resultados es trivial y ciertamente requiere de más estudios. Pero lo cierto es que, en un mercado donde la información pública como el anuncio de la llegada de un fenómeno del niño, sirve como mecanismo de coordinación de los agentes en un equilibrio más beneficioso para los generadores que para el consumidor final, sin ningún tipo de colusión explícita, hay que tomar precauciones adicionales.
Haría bien la Superintendencia de Industria y Comercio el comenzar a hacer un monitoreo en tiempo real del poder de mercado de los agentes participantes del mercado mayorista de energía. 

jueves, 5 de noviembre de 2015

La pobreza del análisis económico de las políticas públicas


Publicado en Portafolio: http://www.portafolio.co/opinion/politicas-publicas-analisis

Hace algunos años escuché al profesor Wynand van de Ven decir, en un seminario de la Universidad de los Andes, que no existía nada más práctico que una buena teoría. El análisis económico de algunas de las políticas públicas en Colombia es un ejemplo alarmante de la falta de una buena teoría para estudiar los problemas económicos. Un caso ejemplar es el reciente debate mediático, mas no académico, sobre los carteles en el país y, principalmente, el presunto ‘cartel’ del azúcar.

Primero, la Superintendencia de Industria y Comercio (SIC) en la Resolución No. 80847 de 2015, que impone sanciones a los ingenios azucareros, ha desconocido que el equilibrio en el mercado del azúcar no es más que la respuesta óptima de los productores a los incentivos creados por los mecanismos de protección amparados en la ley. Los productores de azúcar no acuerdan cuotas como lo sugiere la SIC, cuya evidencia es muy pobre y refleja la carencia de una teoría para pensar sobre el mercado. Si lo que se observa en el mercado son precios internos como los que resultarían bajo competencia monopolística, esto no es porque los productores actúen de forma coordinada, sino porque el mecanismo del Fepa genera los incentivos y señales públicas adecuadas para que cada productor, actuando en función de su propio beneficio e independientemente de los demás, actúe como si hiciera parte de un cartel perfecto, sin serlo. Este es el equilibrio de Nash de este juego. Ahora, algunas observaciones sobre la Resolución: se habla de “equilibrios óptimos”, lo que deja muchas dudas de si saben de qué están hablando. Los equilibrios en situaciones de interacción estratégica son rara vez óptimos. Enfocarse en la dependencia de las fórmulas del Fepa en las participaciones de mercado, es también un error. Las fórmulas fundamentales pueden escribirse como desviaciones del precio promedio de venta de cada ingenio del el precio promedio indicativo del Fepa. En principio, cualquier participación de mercado es un equilibrio, y cuál es el que ellos juegan puede ser más fácil de explicar como un problema de focalización, con base en la historia. Esto es una mejor teoría de por qué las participaciones no varían mucho en vez de utilizar esa observación para decir que hay colusión. Y este no es el único mecanismo del Gobierno que actúa de esta forma (el FEP hace lo mismo).

Segundo, es un elemento esencial de la política de competencia determinar la sanción, y cuando se trata de castigos monetarias, estimar el daño causado de una práctica anticompetitiva. Sobresale la Resolución de la SIC por la ausencia de cualquier análisis en este sentido. La teoría económica está plagada de técnicas para construir escenarios contrafactuales y estimar costos de una forma científica que reflejen los daños y no con base en reglas imposibles de sustentar técnicamente. No tengo nada que decir sobre la obstrucción de importaciones, si las hubo que se multen a los responsables, pero que se estime técnicamente el daño.

Otro punto totalmente ausente de las discusiones es la competencia en el mercado internacional del azúcar. Hace algunos años (2011) hice el siguiente cálculo: en ausencia del Fepa, el precio interno de equilibrio sería el precio de exportación. Con base en la estimación de costos marginales que tenía, el resultado daba que la industria apenas sobreviviría. Un estudio de Abare, en Australia, ‘Sugar: International Policies Affecting Market Expansion’, sugiere que en ausencia de estas políticas proteccionistas en el mundo, el precio sería entre 28 y 41por ciento más alto. Si calculamos el precio promedio al que venden los productores de azúcar en presencia del Fepa y el Sistema Andino de Franjas de Precios, vemos que el precio promedio no es muy distinto a 28 por ciento más alto que el precio de exportación. La conclusión es obvia.

La SIC también desconoce la cadena que va del productor de azúcar al consumidor final. Vale la pena preguntarse si todas las medidas recientes en contra del sector no van a ser nada más que una transferencia de rentas de un sector económico a otro sin ningún beneficio para el consumidor final. Recordemos los objetivos de la política de competencia: promover una competencia sana y no restrictiva en una forma que no reduzca el bienestar social. En este sentido, sobresale la Resolución de la SIC por no hacer ningún tipo de cuantificación del efecto de las políticas sobre el excedente del productor o el del consumidor.

Esto nos lleva a lo fundamental, que no es preguntarse si los productores están actuando correctamente o no, sino, si el mecanismo del Gobierno se justifica y está bien diseñado desde el punto de vista del bienestar social. Sin embargo, no existe ningún estudio al respecto.

En el fondo, esta columna no es más que un llamado a utilizar más la ciencia para guiar nuestras decisiones de políticas públicas y pasarnos a los estudios, teorías y modelos para discutir de forma disciplinada y rigurosa, dejando de lado los medios y las redes sociales para otros menesteres.

sábado, 19 de julio de 2014

Una Evaluación Económica del Mecanismo de Despacho de Compromiso Centralizado en Colombia

A. Riascos y J.D. Martin (CEEII-BR, Cali)


Véase también: Mercado Eléctrico 

Recientemente se han agudizado las quejas por los altos precios de la energía en Colombia. Es claro que en el largo plazo el precio está determinado por la capacidad del sistema, la cual crece de forma discontínua. Sin embargo, existe preocupación respecto a la posibilidad que los precios que se observan respondan menos a movimientos de demanda y restricciones de capacidad que a consideraciones estratégicas de los generadores, las cuales están determinadas por las reglas que rigen el mercado.

En el año 2009 se presentó un cambio en las reglas de operación del mercado que permite el análisis del impacto que estas reglas tienen en los precios que se observan. La historia gruesa del funcionamiento del mercado primario de energía es la siguiente: desde 1993 hasta 2001, el mercado de electricidad spot requería que las unidades de generación (plantas) comprometieran, de forma “descentralizada”, su capacidad de generación y una única oferta de precio (puja) de energía hora por hora para cada una de las siguientes 24 horas. Usando estas pujas, el operador del sistema determinaba el despacho de generación de menor costo para satisfacer la demanda y el precio de equilibrio como el precio ofertado de la planta marginal. Este precio de equilibrio se utilizaba para compensar todas las plantas despachadas. Después de 2001, la Comisión de Regulación de Energía y Gas (CREG) determinó que, para cada una de las 24 horas, las plantas podían reportar una capacidad de generación distinta pero con un mismo precio de oferta.

Este diseño, sin embargo, no tenía en cuenta los costos de arranque y parada de las centrales térmicas. De acuerdo con la literatura y con la intuición, estas no convexidades en el escenario de subastas hora por hora con un único precio de oferta pueden conducir a ineficiencias productivas. Por un lado, los generadores térmicos se enfrentan al riesgo de incurrir en pérdidas si el precio de equilibrio no es lo suficientemente alto para compensar sus costos de arranque. Por otro lado, apagar centrales térmicas en marcha y arrancar otras de costo marginal más bajo podría resultar en una producción ineficiente al ignorar los costos de arranque.

Teniendo en cuenta estas ineficiencias, la CREG realizó en 2009 un rediseño del mercado spot y del despacho centralizado de energía. Los generadores están ahora obligados a separar sus ofertas en costos variables y cuasi-fijos. De esta forma, presentan pujas por hora para las próximas 24 horas que constan de tres partes (pujas complejas): i) la puja de costo variable (la misma para las próximas 24 horas), ii) nivel de costos de arranque y parada (el mismo para un período de tres meses) y iii) la capacidad máxima disponible (un valor diferente para cada hora). Con esta información el operador del sistema determina el nivel de generación de menor costo para satisfacer la demanda y el precio de equilibrio como el precio ofertado por la planta marginal. Entretanto, las plantas despachadas que no puedan cubrir sus costos fijos al precio de mercado son compensadas con un ingreso adicional al correspondiente por ventas de energía.

La literatura indica que este mecanismo soluciona los problemas de ineficiencia, pero genera problemas de incentivos. En particular, el mecanismo de subasta empleado para solicitar la información de los generadores que determina los precios de equilibrio y el despacho, puede incentivar a los generadores a exagerar sus costos. Aunque este incentivo está presente también en un contexto de compromiso descentralizado, en presencia de pujas complejas la posibilidad de comportamiento estratégico aumenta. Sin embargo, no hay estudios teóricos con resultados claros sobre cuál diseño es mejor, por lo cual el problema se torna de carácter empírico.

Un documento reciente de Castro, Oren, Riascos y M. Bernal (Transition to Centralized Unit Commitment: An Econometric Analysis of Colombia’s Experience, próximo a salir en la serie de Borradores de Economía) evalúa los efectos del cambio en la regulación que tuvo lugar en el 2009. Básicamente, lo que se hace es un análisis econométrico en el que se comparan los costos, los precios y los márgenes de los generadores antes y después del cambio en la regulación, controlando por todos los factores observados y que pueden afectar el mercado.

Bajo diferentes especificaciones del modelo los resultados muestran que, dados unos niveles de generación de energía, los costos totales de producción de electricidad en Colombia se han reducido desde 2009. Esto sugiere que el cambio en la regulación contribuyó a una mayor eficiencia productiva en el mercado. Más específicamente, las ganancias en eficiencia productiva oscilaron entre el 5% y 11% por año del costo eficiente de generación.

No obstante, en la figura 1 mostramos que los precios simulados, que reflejan qué habría sucedido en caso de no implementarse la resolución, habrían sido más bajos que los observados. En la Figura 1 también se muestra evidencia de que los precios en el mercado spot han aumentado en términos reales.

Figura 1: El eje vertical muestra el precio promedio para cada día de la semana en precios constantes de Diciembre de 2012. La línea verde punteada muestra el promedio desde que entró en vigencia la resolución 51. La línea punteada color magenta muestra el promedio simulado en el escenario contrafactual en ausencia de Resolución. La línea continua azul muestra el promedio observado con anterioridad a la entrada en vigencia de la Resolución.
La Figura 2 muestra que los márgenes (ofertas de las plantas menos costos) han aumentado desde 2009, sugiriendo un aumento en el ejercicio de poder de mercado por parte de los generadores. Esta observación es consistente con hallazgos para el Reino Unido e Irlanda; países que han implementado, en algunas fases, un mecanismo de compromiso centralizado similar al de Colombia.


Figura 2: La línea punteada magenta muestra el margen promedio (oferta menos costo en valor constantes de Diciembre de 2012) por hora antes de la resolución 51. La línea verde lo mismo pero después de la Resolución 51.

Por último, la Figura 3 muestra que el precio promedio de contratos bilaterales ha aumentado desde que entró en vigencia la Resolución 51. Es importante resaltar que todos estos cálculos controlan por las características de la demanda y la oferta que fueron cambiando a lo largo del tiempo.



Figura 3: Precios promedio de contratos bilaterales usuarios no regulados (Unr), usuarios regulados (Ur), usuarios intermedios (Inter.) y todos los usuarios (Todos).



Lo anterior sugiere que la mayor parte de las ganancias de la eficiencia han sido apropiadas por los productores de energía en lugar de los consumidores. Por tanto, a pesar de que la eficiencia productiva se ha incrementado, la flexibilidad estratégica adicional de los generadores puede haber reducido el bienestar de los consumidores finales. 

viernes, 21 de septiembre de 2012

Un Tour en Helicóptero por las Técnicas de Minería de Datos para la Detección de Transacciones Financieras Sospechosas


Las técnicas de minería de datos se dividen en dos grandes ramas. Los problemas de análisis supervisado y los no supervisados. En el primer caso los datos en consideración están marcados: existe una variable objetivo y se conoce sus valores. El problema en estos casos es descubrir qué tipo de relaciones existen entre las demás variables y la variable objetivo (marca). Un ejemplo típico es una base de datos de clientes deudores de una institución financiera para la cual se tiene las características socio demográficas de cada cliente y si el cliente ha sido cumplido o no (calidad crediticia). La variable objetivo en este caso es la calidad crediticia del cliente y la pregunta es si existe alguna relación entre los variables socios demográficos y la calidad crediticia del cliente. En los problemas no supervisados no está bien identificada la variable objetivo o simplemente no se tiene. Este sería el ejemplo más común en las bases de datos de transacciones financieras en la que se quiere detectar movimientos sospechosos. Con contadas excepciones, en estas bases de datos no está marcado qué es fraude, qué es sospechoso, etc. En estos casos el objetivo de las técnicas de minería de datos es detectar transacciones atípicas con respecto al grueso de las transacciones, donde la atipicidad puede definirse de muchísimas formas y la definición hace el mejor uso de la intuición y conocimiento del investigador (monto de transacciones, frecuencia, medio de pago, origen, fechas, etc.).  A continuación describimos algunas técnicas más útiles y avanzadas para definir y detectar transacciones sospechosas cuando no existen datos marcados. El caso en el que existen por lo menos algunos casos marcados, más no necesariamente todos, se conoce como un problema de análisis semi supervisado y se discute brevemente al final del documento.

Rankings de atipicidad basado en aglomeraciones (clusters)

En la primera etapa se utilizando todas las transacciones de un individuo y se van agrupando personas sucesivamente (jerárquica) hasta obtener un número de grupos que entre los individuos o transacciones del mismo grupo sean parecidos de acuerdo a algún criterio y que entre grupos sean lo más distintos posibles. Una vez hechos los grupos el objetivo es capturar la idea de que los datos atípicos son más difíciles de clasificar en algún grupo. Como el proceso es secuencial jerárquico (de muchos grupos a menos grupos) lo que se espera es que los datos atípicos se observen cuando un dato que inicialmente está en un grupo al pasar a otro, cambie significativamente las características del grupo al que pertenecía vs. al que ahora pertenece.

Ganancia en información o entropía relativa

Se estiman las distribuciones de muchas variables de interés (condicionales o no a otras variables) y se estima la variable correspondiente de toda la población (todos los individuos). Después se calcula la entropía relativa entre las distribuciones individuales y la distribución agregada (condicional o no). La entropía relativa es una forma de medir la distancia entre las distribuciones y es una medida de qué tanta información sobre la distribución agregada de una variable puede uno tener obtener cuando apenas conoce la distribución individual. Cuando esa ganancia en información es baja, se considera que la distribución es atípica.

Factores atípicos locales (Local outlier factor)

La idea de este método es mirar localmente las densidades de diferentes variables de interés. Casos en regiones con muy poca densidad se consideran atípicos.

Fronteras de atipicidad

Las técnicas anteriores arrojan muchos indicadores de atipicidad con repecto a diferentes variables. Una forma de visualizar estos indicadores es utilizando fronteras de atipicidad donde básicamente se grafica simultáneamente varios indicadores de atipicidad y se calcula la envolvente de los datos. Cuando un individuo o grupos de transacciones se salen de la frontera sugiere que hay una forma de atipicidad a lo largo de varias dimensiones (variables).

Aprendizaje activo secuencial

Las bases de datos transaccionales son en general muy grandes y el análisis de todas las transacciones resulta computacionalmente dispendioso y demorado. Esta técnica hace posible explorar una base de datos mediante muestras pequeñas que van siendo escogidas según el patrón que arrojen los resultados del análisis secuencial de las muestras. Básicamente de las primeras muestras se define el muestreo adecuado de la próxima muestra. Esto hace posible barrer bases de datos muy grandes con muchos menos recursos computacionales y de forma mucho más eficiente.

Reglas de asociación

Las reglas de asociación son una técnica que permite detectar comovimientos (dependencia) entre las variables estudiadas que ocurren con poca frecuencia. Es decir, identificar eventos que condicional a que ocurran, lo que puede ser en muy pocas ocasiones, ocurren simultáneamente con una alta probabilidad. Está técnica es útil para caracterizar los comportamiento atípicos que puedan haber sido identificados por la técnicas anteriores.

Coeficiente de máxima información (MIC)

Este es una técnica computacionalmente muy intensiva y representa el estado del arte en técnicas para la detección de relaciones de dependencia entre variables en bases de datos grandes. Intuitivamente, se basa en la observación de que si existe algún tipo de relación entre dos variables, entonces es posible hacer una malla del gráfico de dispersión (scatter plot) de las dos variables que encapsule en una celda específica esa relación. Esta técnica puede ser usada de la misma forma que las reglas de asociación con el fin de caracterizar los registros atípicos y hace parte de una familia más general de técnicas conocida como MINE (maximal information nonparametric exploration).

Problemas semi supervisados

En ocasiones muy especiales puede suceder que, por investigaciones anteriores o la acumulación de conocimiento factual sobre transacciones de lavado de activos o financiación de terrorismo, se tenga unos casos conocidos de transacciones comprobadamente ilícitas. En esto casos el resultado será una base de datos con unos pocos registros marcados y una gran mayoría que se desconoce como clasificarlos. En estas circunstancias se usan por lo menos dos técnicas importantes: (1). Auto aprendizaje: esta técnica consiste en utilizar un modelo de aprendizaje supervisado para construir un modelo de clasificación inicial. Con eso modelo se marca toda la base de datos. Después se agregan los datos marcados con probabilidad alta de ser sospechosos a los datos marcados originales. Se reestima el modelo y se repite este proceso en varias ocasiones hasta obtener una base de datos marcada que ha pasado por varias rondas de este procedimiento. (2). Aprendizaje no supervisado con restricciones: en esencia estos métodos consisten en complementar las técnicas anteriores de análisis no supervisado usando los registros marcados como restricciones que deben respetar los algoritmos de detección de datos atípicos.

Referencias

  • Torgo (2007).  Resource Bounded Fraud Detection
  • Jardine y Sibson (1971). Mathematical Taxonomy.
  • Breuning, M. Kriegel, H., NG, R,. y Sander, J (2000). LOF: Identifying density-based local outliers. 
  • Major y Riedinger (2002). EFD: A Hybrid Knowledge/Statistical – Based System for the Detection of Fraud.
  •  Deng, X., Roshan, J., Sudjianto, A., Wu, J. Active Learning via Sequential Design with Applications to Detection of Money Laundering.
  • Hastie, T., Tibhirani, R., y J. Friedman (2009). The Elements of Statistical Learning: Data Mining, Inference , and Prediction.
  • Reshef, D., Reshef, Y., Finucane, H., Grossman, Sh., McVean, G., Turnbaugh., Lander, E., Mitzenmacher, M., y P. Sabeti (2011). Detecting Novel Associations in Large Data Sets.
  • Zhu (2006). Semi supervised learning: Literature Review





lunes, 29 de agosto de 2011

¿1+1=3? Sobre el Procedimiento para Calcular Apoyos Válidos de la Registraduría

Con:
Esteban Piedrahita, Ex Director del Departamento Nacional de Planeación.
Mauricio Romero, Investigador, Quantil Matemáticas Aplicadas

El uso de técnicas de muestreo estadístico para el conteo de grandes números de firmas en procesos políticos es un mecanismo eficiente que ahorra recursos públicos. En muchos estados de EE.UU. se utilizan técnicas similares (ver página del Consejo Nacional de Legislaturas Estatales de ese país: www.ncsl.org/default.aspx?tabid=16583). Sin embargo, para que los resultados sean creíbles, es fundamental realizar un procedimiento que sea adecuado estadísticamente, de tal manera que el margen de error sea mínimo. El problema con el conteo de firmas de los candidatos a la Alcaldía de Cali Susana Correa y Rodrigo Guerrero—suponiendo que la mecánica misma del proceso, que no está abierta al escrutinio público, fue hecha debidamente—no radica en aplicar técnicas de muestreo, sino en varios hechos: 1) la Registraduría no siguió los pasos que dictamina la Resolución 757 del 2011 (ver www.alcaldiabogota.gov.co/sisjur/normas/Norma1.jsp?i=41566 y www.registraduria.gov.co/Asi-se-hace-la-revision-de-firmas.html); 2) utilizó para el análisis de “uniprocedencia” muestras muy pequeñas y, por ende, poco adecuadas desde el punto de vista estadístico; y 3) cometió un error conceptual inexplicable a la hora de calcular el total de firmas declaradas “inválidas”.
Respecto del procedimiento que dicta la Resolución 757 de 2011, ésta establece que se debe seleccionar una muestra que por tamaño y representatividad permita estimar la proporción de firmas inválidas con un error máximo de 0,5% a un nivel de 90% de confianza. Es decir, que la probabilidad de tener un error superior al 0,5% en el cálculo de la proporción de firmas inválidas sea menor al 10%. El procedimiento que se describe en la resolución es un procedimiento estándar que se sigue en estos casos (ver Cochrane W, 1977. Sampling Techniques. John Wiley & Sons, Inc.). La siguiente figura muestra el tamaño de la muestra que dictamina la resolución de acuerdo a la cantidad de firmas recolectadas. En el caso especifico de Rodrigo Guerrero, dado que se recolectaron 115.250 firmas, 22.023 debieron ser revisadas y no 75.157 como lo hizo la Registraduría. En este caso (y en todos los que los autores han podido conocer) se analizaron más firmas de las necesarias desde el punto de vista estadístico, lo cual implica que el margen de error es más pequeño que el requerido. Esto no es grave, simplemente extraño e innecesario a la luz de la Resolución.





Como se dio a conocer en los documentos publicados por la Registraduría, de las 75.157 firmas analizadas en el caso de Guerrero, se anularon 28.940 por razones varias diferentes a uniprocedencia (cuando una misma persona firma varias veces). Esto implica que el ejercicio de muestra generó un estimado de la proporción de firmas “inválidas” del 38,51%. Lo que no aparece claramente en los documentos públicos de la Registraduría, pero se pudo dilucidar por un artículo de La Silla Vacía (www.lasillavacia.com/historia/el-registrador-esta-dispuesto-contar-una-una-las-firmas-de-susana-correa-y-rodrigo-guerrero), es que, adicionalmente, la Registraduría seleccionó 3.758 firmas de las 46.217 firmas calificadas como “válidas” tras la revisión de la muestra inicial para realizar un análisis grafológico. No es claro el por qué de este tamaño de muestra. Si tomáramos como universo estas 46.217 firmas “válidas”, se debió seleccionar una muestra de 17.133 firmas para respetar el margen de error de la resolución (como lo muestra la figura anterior). Dado que esta es una submuestra de una muestra aleatoria, el tamaño de la muestra en realidad debería ser mayor. Aunque la resolución no regula sobre el tamaño de la muestra que se debe seleccionar para pruebas de “uniprocedencia”, el tamaño de la muestra seleccionado no permite tener un estimador preciso de las firmas inválidas según el análisis de grafología. El margen de error y confianza asociados a esta muestra para el análisis grafológico no reflejan la intención del artículo 6 de la Resolución 0757 de 2011. Sin embargo, éste no es el peor error cometido por la Registraduría.
De las 3.758 firmas que analizó la Registraduría para determinar “uniprocedencia”, encuentra que 930 son “inválidas” por este concepto. Esto implica que 24,75% de las firmas “válidas” tras el primer filtro tienen este problema. La Registraduría suma este porcentaje al 38,51% declarado “inválido” por el primer muestreo. Esto daría que el 63,25% de las firmas son “inválidas”. Como en total se recogieron 115.250 firmas, entonces 42.349 serían “válidas” y 72.901 “inválidas”. Dado que el umbral es de 50.000 firmas, el candidato no quedaría certificado.
El problema está en que el 24,75% de firmas con “uniprocedencia” no se puede aplicar a la totalidad de las firmas analizadas, pues la muestra para uniprocedencia se sacó de las firmas “válidas” (un sub-conjunto del total). Al sumar los porcentajes de las dos muestras y aplicarlos al total de firmas se estarían contando dos veces algunas de las firmas declaradas “inválidas”. Puede que una firma misma pueda ser invalidada por dos motivos, pero ello no significa que se deba contar dos veces como firma inválida. Lo correcto sería decir que de las 46.217 firmas que quedaban “válidas” inicialmente, 11.437, el 24,75%, son “inválidas” por “uniprocedencia”, por lo que sólo quedarían 34.780 firmas “válidas (pues 28.940 descalificadas por el primer ejercicio y 11.437 por el segundo) entre las 75.157 firmas analizadas—es decir, un 46,28%. Si extrapolamos esta proporción a las 115.250 firmas presentadas, entonces 53.334 firmas serían “válidas”. Dado que el umbral es de 50,000 firmas, el candidato en realidad debió ser certificado bajo la metodología aplicada. En el caso de Susana Correa, corrigiendo este error, el total de firmas “válidas” serían 66.662, rebasando ampliamente el umbral. Es sorprendente que la Registraduría cometa errores de cálculo sencillos cuando se trata de decisiones tan importantes.
El uso de técnicas estadísticas para la toma de decisiones es válido. Permite ahorrar escasos y valiosos recursos públicos. Sin embargo, es importante que la reglamentación sobre los mismos sea adecuada y correcta, que los organismos hagan caso de dicha regulación, y, obviamente, que no cometan errores de aritmética al aplicarlas. La solución propuesta, revisar las firmas una por una, hace caso omiso de los evidentes errores de aplicación estadística y aritmética básica que hizo la Registraduría.

martes, 23 de agosto de 2011

La Estadística de la Registraduría Nacional

Carta al Registrador, Agosto 25 de 2011 (con Esteban Piedrahita)

Sorprendió a la opinión pública en Cali el viernes pasado la anulación sospechosa de la inscripción por firmas de dos candidatos, a todas luces, idóneos y buenos para la Alcaldía de Cali. Ya a título personal me han sorprendido las reacciones de la opinión pública cuestionando, entre otros, el uso de técnicas de muestreo para verificar el cumplimiento del mínimo de firmas válidas requeridas para inscribir un candidato. No es ésta, ni mucho menos, una práctica reprochable. En efecto, del uso de técnicas estadísticas depende una gran cantidad de decisiones públicas e incluso decisiones críticas sobre la misma salud de una población como, por ejemplo, la de aceptar o no la introducción de una droga en el mercado y siempre con cierta probabilidad de cometer un error. Creo que poner en duda este procedimiento, conducente a una asignación eficiente del tiempo y recursos de la Registraduría, es desviar la atención sobre algo más profundo, y es la forma ligera como se procede en ocasiones en las decisiones técnicas que se toman al interior de algunas entidades del estado.

He hecho mi mejor esfuerzo por entender la técnica estadística plasmada en la Resolución 0757 de La Registrduría (Diario Oficial del 7 de febrero de 2011) para la revisión de firmas para la inscripción de candidatos. Como mínimo tengo que decir que la falta de transparencia y claridad en la descripción de un procedimiento técnico tan importante para los destinos de una ciudad es absolutamente reprochable. Esta nota tiene como objeto analizar y esclarecer el procedimiento y resaltar que no se ha aplicado la norma como debería de ser. La metodología de la Resolución 0757 corresponde a la metodología expuesta en un libro clásico y autoritario en el tema: Cochrane W, 1977. Sampling Techniques. John Wiley & Sons, Inc. Utilizaré los datos del candidato Rodrigo Guerrero, uno de los aspirantes perjudicados, para quién tengo a la mano los resultados oficiales (el caso de Susana Correa es similar pero no tengo los datos oficiales a la mano).

El primer paso de la metodología estadística consignada en la Resolución 0757 (artículo 6) consiste en utilizar una muestra de datos para hacer una estimación de proporciones que tenga un margen de error a lo sumo de 0.5% con un 90% de confianza (en este caso específico se asume normalidad de la variable que mide el número de firmas anuladas o válidas como proporción del universo de apoyos y el cálculo se hace a dos colas).

La primera conclusión es que no existe un universo de datos (apoyos) para los cuales la metodología tenga como consecuencia que se necesita una muestra de 75.157 apoyos como aparentemente dice el documento oficial de la Registraduría que se utilizó como muestra para el caso del Dr. Guerrero (véase Figura 1).




En efecto, si el universo es de 115.250 datos (apoyos) como aparece en el documento oficial, la muestra utilizada debía ser, en ausencia de algún conocimiento preciso sobre la proporción de apoyos válidos en el universo, 21.912 apoyos a revisar. Sin embargo, se revisaron 75.157. Algo totalmente incomprensible a la luz de la Resolución.

Supongamos que por alguna razón la Registraduría decidió utilizar una muestra más grande y utilizó 75.157 apoyos muestreados de forma aleatoria e independiente. El segundo paso cosiste en calcular la varianza del estimador de la proporción (como una demostración más de la ligereza de la Registraduría en este asunto técnico es que la formula de la varianza del Diario Oficial contiene un error sin mayores consecuencia en este caso pero, que sí podría ser determinante en otros casos: en la fórmula de la varianza no se debe dividir por n multiplicado por (N-n) sino por N multiplicado por (n-1)). De nuevo, en ausencia de cualquier conocimiento preciso sobre la proporción verdadera de firmas válidas en la muestra, la varianza es a lo sumo 0.0001%. Ahora se debe calcular la proporción de apoyos anuladas en la muestra que son 29.870 de 75.157 lo que da una proporción, en la muestra, de aproximadamente 39.8%. Ahora se compara la proporción estimada en la muestra 39.8%, con el verdadero valor (proporción de apoyos nulos del universo) más la desviación estándar multiplicada por 1.28 (esto equivale a una prueba de hipótesis al 90% de una sola cola asumiendo normalidad). Técnicamente este segundo cálculo no es posible hacerlo pues no se conoce el verdadero valor mencionado anteriormente pero la Registraduria da instrucciones para hacerlo: Restar del número de datos del universo (115.250) el número mínimo de apoyos requeridos (50.000) y dividir por el número de datos del universo (115.250). Este cálculo da 56.6% y sumando 1.28 veces la desviación estándar calculada anteriormente se obtiene aproximadamente 56.7%. Luego, siguiendo con la metodología de la Resolución, se debe comparar 39.8% con 56.7%. Como el primer número es menor, según la Resolución se deberían de aprobar el listado de firmas. Más aún, en ausencia de volatilidad en la estimación de la proporción de apoyos anulados en la muestra, 39% es menor que 56.6% luego la proporción de apoyos anulados en la muestra es menor que la máxima tolerable en el universo. Es apenas obvio que la Registraduría no está aplicando, o no lo está haciendo correctamente, el análisis estadístico en la Resolución.

El resultado de este ejercicio sumado a las declaraciones del Registrador en la radio elevando a principio elemental de la estadística que entre mayor sea el universo menor puede ser la muestra son una clara ofensa a la inteligencia (no hay tamaño de muestra sin error y nivel de confianza y, si se fijan estos últimos, entre mayor sea el universo mayor debe ser la muestra – véase Figura 1). Por el bien de Cali, debería de reconsiderase los cálculos hechos sin necesidad de pasar a los estrados judiciales y aumentar los ya altos costos sociales de realizar una sana contienda electoral.