La Legislatura porteña aprobó en octubre del año pasado nuevas regulaciones para el uso del sistema de cámaras de vigilancia en CABA, lo que a su vez incluye el reconocimiento facial. A pesar de esto ya hay varias organizaciones que expresaron su oposición a su uso debido a que en varias partes del mundo esta tecnología generó problemas e incluso vulneró los derechos de muchos ciudadanos.
Es por esto que la ONG Observatorio de Derecho Informático Argentino (O.D.I.A.) hizo dos pedidos para poder entender cómo se utiliza el sistema, los cuales no tuvieron respuesta.
A partir de esto, presentaron un amparo "para detener el Sistema de Reconocimiento Facial de Prófugos de la Ciudad de Buenos Aires", que fue rechazado y luego apelado.
Los motivos
"Quienes formamos parte de O.D.I.A. entendemos que es necesario un espacio de debate acerca de los vínculos entre las personas y lo digital y creemos que la ciudadanía no termina donde comienza una pantalla", plantearon desde la organización.
El sistema de reconocimiento facial posee varios problemas, como un caso del 2019 en el que en Bahía Blanca un ciudadano fue detenido durante una semana por un error.
Gonzalo De Vita, miembro del Observatorio de Derecho Informático Argentino, explicó que el Sistema de Reconocimiento Facial de Prófugos (SRFP) que se usa en la Ciudad "es un software de reconocimiento de caras en las imágenes de las videocámaras del sistema de videovigilancia de la Ciudad de Buenos Aires para localizar prófugos y personas en rebeldía".
"Cuando se encuentra a una persona con pedido de captura en la vía pública se le envía una notificación al personal policial para que la busque y sea detenida", resaltó.
Desde la organización abrieron un amicus curiae para poder participar de este pedido de información al gobierno porteño. De Vita detalló los problemas que detectaron, los potenciales riesgos y las presentaciones judiciales que hicieron para que se frene su uso, en diálogo con Clarín.
/https://assets.iproup.com/assets/public/images/lazyload.gif)
Centro de monitoreo de camaras de suguridad en el subte de la linea D
¿Qué problemas detectan en el sistema?
Los problemas que detectamos son de órdenes éticos, legales y técnicos. En primer lugar, bajo el eje ético, los sistemas de reconocimiento facial en todo el mundo, hechos por empresas de primer nivel como Amazon, Google, Microsoft, fueron reconocidos como sesgados bajo auditorías, produciendo un mayor número de errores hacia poblaciones minoritarias.
En el caso de la Ciudad de Buenos Aires no podemos saber si esto ocurre ya que no se nos dio acceso al mismo. Si el sistema detecta a una persona incorrectamente, la misma debe ser demorada aún cuando el error sea evidente.
¿Y desde lo técnico, qué detectaron?
A nivel técnico, pasando de largo los problemas relacionados con uso de tecnologías obscuras y obsoletas, los sistemas informáticos requieren de garantías de eficiencia, en particular los de inteligencia artificial necesitan una validación de sesgo.
Cualquier sistema de este tipo tendría que tener una precisión mínima del 95%, pero con una rápida regla de 3 logramos estimarla en 53.87%. Sospechamos que podría ser aún menor en poblaciones racializadas y/o minorías.
¿Cómo funciona este reconocimiento facial?
El sistema funciona con inteligencia artificial para encontrar y reconocer personas en imágenes y contrastarlas contra rostros presentes en otra imagen. Estos sistemas tienen una fase de entrenamiento asistido donde se le presenta caras en distintas condiciones de iluminación, ángulo, etc. y el sistema "adivina" si la persona corresponde a una foto que ya vio.
Como explica Cathy O’Neil en su libro Armas de Destrucción Matemática, la calidad de estos sistemas dependen ampliamente de la calidad de su entrenamiento: una de nuestras preguntas fue acerca de los datos de entrenamiento, pero la Ciudad de Buenos Aires declaró no conocerlo ya que estuvo a cargo de una empresa privada.
¿Y cómo se aplica?
Para la puesta en práctica se usa la base de datos de búsqueda es la de la Consulta Nacional de Rebeldías y Capturas (CoNaRC) con las imágenes del Registro Público de Personas (ReNaPer) y las cámaras de videovigilancia en la vía pública de la ciudad de Buenos Aires.
No sólo en Argentina diversas organizaciones se oponen a este sistema. A mediados del año pasado, por ejemplo, hubo un caso en los Estados Unidos que despertó fuertes polémicas: un afroamericano había sido detenido por un error en un programa de reconocimiento facial, y esto reavivó la preocupación sobre los riesgos de sesgo en la inteligencia artificial, en medio de una ola de protestas contra el racismo y la violencia policial.
Incluso Amazon, que tiene el mejor sistema de reconocimiento facial del mundo (y lo terceriza para otras empresas y Estados), extendió este año la prohibición de que se lo use con fines policiales. En general, las asociaciones suelen indagar en cómo se construyen e implementan estos sistemas, que no suelen ser del todo claros.
¿Cuán seguro es este sistema?
La seguridad es clave en un sistema de esta índole, porque los datos biométricos no son modificables y cualquier vulneración haría que otros sistemas que se basan en reconocimiento facial, como por ejemplo las identificaciones de las entidades bancarias, estén comprometidas.
Sin una auditoría extensiva de la implementación y con respuestas muy escurridizas del GCBA solo podemos adivinar el estado de seguridad del sistema sin embargo algunos detalles técnicos, como el sistema de encriptado que utilizar, que fueran informados por el propio GCBA indican que el SRFP porteño se encuentra utilizando tecnología declarada obsoleta hace años, esto participa a construir nuestra sospecha y la demanda de una auditoría exhaustiva.
¿En base a qué sistema operativo funciona?
En tal sentido, el proveedor jamás presentó a la opinión pública las medidas de seguridad introducidas al sistema ni tampoco los sets de datos empleados por el mismo para su entrenamiento, por lo tanto, no podemos saber cómo funciona.
La ONG O.D.I.A. se opone al uso de cámaras en la ciudad
"La mera existencia de este sistema afecta nuestros derechos", aseguran desde O.D.I.A. ¿Por qué?
El derecho a la privacidad es una garantía constitucional. Estar constantemente monitoreado e identificado niega esta posibilidad. El artículo 18 de la Constitución Nacional, indica que se debe seguir el "debido proceso" y que todos somos inocentes sin un juicio previo, este sistema juzga a todas las personas que simplemente transitan por la vía pública, obviando el juicio previo y que sólo debe ser juzgado por "Juez Natural". Este sistema no es un Juez y mucho menos es Natural.
Otro derecho existente es el de reunión. Al ser un sistema ubicuo en constante funcionamiento cualquier persona se debe sentir observada y con ello su comportamiento afectado. Por ejemplo: un abogado con un cliente, una relación privilegiada en el derecho, y sostenida en el famoso caso Halabi. Se debe garantizar la privacidad en todo momento.
Hay un debate en torno a "derechos vulnerados" y "prevención de riesgo", también. ¿Cómo es esto?
Claro, una de las problemáticas planteadas respecto a este tipo de sistemas es el grado de proporcionalidad entre la invasión a la privacidad que estos producen y los riesgos que se pretende paliar. En la mayoría de los casos un elemento que queda por fuera de las discusiones es aquel que viene dado en pensar qué sucedería si esta tecnología fuera utilizada para otros fines. En este punto, las medidas de seguridad y uso adecuado de esta tecnología resultan fundamentales para poder ponderar adecuadamente los riesgos implícitos en su uso.
Lamentablemente, tales aspectos del SRFP no fueron puestos en conocimiento de la ciudadanía. Al día de la fecha, la Ciudad cuenta con un sistema automatizado operando en sus calles del que existen pocas o nulas garantías respecto a su seguridad interna y externa.
¿Qué es el amicus curiae que abrieron y de qué se trata el amparo?
El juez resolvió otorgarles a "todas aquellas personas que pudiera tener un interés en el resultado del litigio la posibilidad de integrar el proceso tanto como actores o demandados". Para eso publicó el llamado en medios oficiales como el Boletín Oficial.
Desde el Observatorio de Derecho Informático Argentino, colaboramos con la difusión y el pedido de participación a la sociedad en general y a tomar conocimiento de la gravedad que esto significa. El amparo en sí presenta los problemas mencionados anteriormente y solicitamos la desconexión del sistema.
