Transcript for:
Seminario sobre Transparencia Algorítmica: 4ª Sesión del Consejo de Transparencia

buenas tardes buenas tardes a todos Bienvenidos a la cuarta sesión de los seminarios del Consejo de transparencia que en este caso perdonad Versa sobre la transparencia algorítmica Yo creo que es un tema que ya no podíamos obviar que está de absoluta actualidad Y que además imagino que va a experimentar profundas mutaciones en los meses años que siguen y por lo tanto tenemos que empezar a a ponernos las pilas no en esto en la doctrina administrativista sí que se han puesto las pilas desde hace bastante tiempo porque hay muchos escritos sobre esto pero bueno desde la perspectiva de la aplicación o de la garantía de un derecho pues hemos creído que era un tema que teníamos que abordar ya en esta sesión quiero dar en primer lugar las gracias a todas las personas asistentes a este seminario algunas de ellas vienen de fuera y representan también a otros órganos de garantía como son Yolanda Pineda la presidenta y marci emeric vocal de la gaip del del órgano que es garante del derecho de acceso a la información pública en Cataluña también Jesús González presidente del Consejo de transparencia y protección de datos eh de Madrid y desde luego a todas las personas que trabajan cada día en las uits de los diversos ministerios eh de la aje y cómo no pues a todos los técnicos que trabajan en el consejo de transparencia y que están aquí pues eh Para ayudarnos y para fomentar el debate posterior a las intervenciones que seguro que será muy nutrido y desde luego los agradecimientos que yo los Expreso como persona física pero que son agradecimientos del presidente y de todo el consejo a los tres ponentes que tenemos esta tarde que yo creo que son ponentes de lujo no es que te de la espalda Es que lo tengo el micrófono aquí entonces los voy a presentar por el orden de intervención son Susana de la Sierra Jesús Jiménez y Javier de la Cueva y son tres perspectivas nos pueden dar y ofrecer tres perspectivas diferentes respecto de la transparencia algorítmica una perspectiva más doctrinal de la doctrina administrativista y constitucional una perspectiva desde el órgano de garantía de Andalucía en este caso Jesús Jiménez Que es el presidente del Consejo de transparencia y protección de datos de Andalucía y la perspectiva de la sociedad civil precisamente Javier cueva que es uno de los patrones de la fundación civio que pidió en su momento el acceso al aplicativo llamado Bosco para determinar o para encontrar Quiénes son aquellos consumidores que pueden considerarse vulnerables desde la perspectiva del Bono a la energía eléctrica después de la breve presentación que voy a hacer en ese orden que es su orden de intervención Yo haré una de verdad mini presentación de qué nos ha llegado al consejo de transp encia Estatal para obviamente ellos pueden comentar también y creo que lo van a hacer nuestras resoluciones pero para poneros un poco en en situación bien pues presento en primer lugar a Susana de la Sierra Morón que es catedrática de derecho administrativo de la Universidad de Castilla la Mancha Pero además de catedrática es otras muchas cosas y ha sido otras muchas cosas a lo largo de su vida y todavía las que será No ella yo creo que a una eh compagina perfectamente lo que es la dogmática jurídica con la práctica jurídica en distintas instituciones y eso le permite precisamente dar luego frutos en publicaciones que siempre abordan temas de gran interés en este sentido Pues fue por ejemplo directora de la ika fue también letrada del gabinete técnico del tribunal supremo aquí representado por Diego Córdoba magistrado y en el que también coincidimos ella y yo y eso ha dado fruto a diversas investigaciones tanto en el ámbito de la comunicación audiovisual del derecho de acceso a la información de la transparencia y sobre todo del control de la parte de la justicia administrativa y del control de la actividad de los poderes públicos especialmente en estos momentos en los que las decisiones automatizadas son cada vez mayores y además presta una especial atención y quiero hacer hincapié en ello a los problemas que puede ocasionar la brecha digital a los colectivos vulnerables eh desde esta perspectiva de qué ocurre cuando toda nuestra actividad eh se digitaliza Y en este sentido fue también una de las ponentes expertas en la elaboración de la carta de derechos digitales Jesús Jiménez es el presidente como ya ha dicho del Consejo de transparencia y protección de datos de Andalucía Pero además de ser presidente tiene una larguísima trayectoria eh Como funcionario de carrera en la junta de Andalucía han puesto siempre eh directivos y que tienen mucho que ver con el asesoramiento jurídico y con la toma de decisiones desde la perspectiva jurídica yo recuerdo que la primera vez que conocí a Jesús Jiménez fue en el congreso internacional de transparencia en Cartagena él tenía una intervención sobre cuál había sido la la actividad del Consejo Y entonces en esta libreta que he traído porque es el hecho estuvo allí yo me apunté una diferenciación que él hizo entre la transparencia ilusoria y lo que realmente es transparentar como esa voluntad de explicar qué está ocurriendo realmente Bueno pues es esta explicaba tiene también mucho que ver en relación con la transparencia algorítmica además quiero deciros que Jesús está últimamente trabajando muchísimo estos temas ha publicado diversos artículos que parten de esos conceptos de transparencia la oscuridad algorítmica Y que además nos va a aportar en este caso pues toda esa perspectiva que no tiene el el el consejo Estatal pero sí el consejo de transparencia que es la perspectiva de la protección de datos de carácter eh personal y En tercer lugar pero desde luego no menos importante Javier de la cueva que es abogado pero aún a su su formación jurídica a una formación filosófica porque es doctor en derecho y que es experto y especialista en todo lo que tiene que ver con tecnología y derecho es además Bueno desde luego tiene una actividad docente y de ponencias no de una actividad pedagógica y divulgativa muy importante en este sector y además como ya he adelantado antes es patrono de la fundación civio que precisamente como una fundación de la sociedad civil está haciendo mucho hincapié en reivindicar el derecho de acceso a la información de todos aquellos sistemas de todas aquellas aplicaciones que tienen un impacto en los derechos o en las eh en los intereses derechos y expectativas de ciudadanos que se ven afectados por esas decisiones administrativas os agradezco a los tres realmente vuestra presencia y que sé que va a ser muy muy interesante antes de daros la palabra y yo se lo había avisado ya en un correo quiero decir que no es que les esté robando el tiempo de forma inesperada sí quería hacer unas un breve apunte de En qué situación nos encontramos actualmente y esta breve introducción parte de cuatro ideas fuerza que simplemente voy a anunciar la primera idea fuerza en mi opinión esto es una opinión personal es que nos encontramos en un momento de aprendizaje y en una tendencia que yo sí constato a un incremento en la precisión del uso del lenguaje del uso de los términos y en el ahondamiento de los conceptos a los que hacemos referencia esto puede parecer una obviedad pero en este ámbito realmente a veces se producen confusiones Y entonces hay que delimitar y yo creo que precisamente eh Susana va a hacer hincapié en este tema Qué es realmente un algoritmo Qué es una Inteligencia artificial Qué son los algoritmos que utilizan Inteligencia artificial etcétera y todo esto nos va a servir también a los que formamos parte de este entramado en la garantía del derecho de acceso para ir puliendo nuestros propios pronunciamientos y nuestras propias reflexiones la segunda idea fuerza que yo quería trasladar es que también desde la perspectiva de las personas que ejercen el derecho de acceso a la información Se constata una cierta evolución es decir en un primer lugar se pone el acento se pone el foco en el acceso al código fuente en cambio últimamente en la tercera fase en la tercera oleada de reclamaciones que han llegado a este consejo el acento no se pone tanto en el acceso al código fuente sino en el acceso a determinada información que te va a dar una mejor comprensión que te explica cómo funciona el algoritmo cuáles son sus especificaciones técnicas Quiénes son los responsables de la aprobación de ese algoritmo Y yo intuyo que dentro de poco se nos va a preguntar Cuáles son o se no a nosotros Perdón primero a a a la administración pública Cuáles son los datos que nutren ese algoritmo existen o no existen auditorías internas que permitan observar si hay sesgos o no en esos datos o cómo se manejan o los errores que se puedan detectar por tanto Hay también una evolución en la pretensión de las personas que quieren acceder jurídicas y físicas desde luego al acceso a la información de estos algoritmos o de estas aplicaciones eh informáticas la tercera idea importante para mí es este proceso de concienciación del papel que juegan o que pueden jugar los organismos garantes del derecho de acceso a la información entre ellos el consejo de transparencia y los otros órganos garantes que están aquí presentes como un vértice que permite antes de acudir a la jurisdicción contenciosa administrativa pulir mediar consolidar una determinada práctica de transparencia y de acceso entonces no es que nos hayan llegado una que nos ha llegado una cantidad ingente de reclamaciones en este sentido yo creo que van a llegar de forma creciente y el papel de estos órganos de garantía creo que es un papel esencial en el que todos nos estamos empezando a concienciar como evidencia los seminarios que se están organizando las publicaciones que se están escribiendo etcétera y la cuarta idea en la que me voy a detener un pelín más es el propio reposicionamiento del Consejo de transparencia y buen gobierno respecto de este tema y en concreto respecto del del acceso Perdón al al algoritmo Bosco a raíz del cambio de la presidencia con el actual presidente se tomó una opción con la actual presidencia que era la de no retirarnos del pleito es decir el consejo de transparencia no apeló la sentencia dictada por el juzgado central de lo contencioso administrativo porque a partir de ese momento ha habido un reposicionamiento que ha jugado que está intentando ahondar en un sentido más favorable al acceso a a este tipo de información en qué se basa precisamente o cuáles son los criterios dichos muy rápidos en los que se basa este reposicionamiento que se inicia con una resolución eh Precisamente dictada en el ámbito autonómico y local respecto al acceso al código fuente que determina pues cuáles van a ser los miembros de los tribunales en procedimientos electivos se inicia ahí y la primera gran idea es esto sí es información pública de esa gran idea que puede parecer obvia Pero quizá no lo era tanto nace la segunda no vamos eh No está justificada la aplicación de una causa de inadmisión basada en el carácter abusivo de la reclamación por no responder a las finalidades de la ley porque precisamente y Este es otro criterio fuerte el conocimiento el acceso a esta explicaba permite ejercer una rendición de cuentas un control un conocer Cómo actúan las administraciones públicas y estas son precisamente las finalidades que persigue la ley de transparencia por tanto en esa primera sentencia de carácter dictada Perdón en el ámbito autonómico eh Y local ya se apunta Esa esa necesidad ese carácter esencial y carácter de información pública de este tipo de de información a lo que se va añadiendo en las posteriores Perdón sentencias resoluciones que ha dictado el consejo Pues esta idea de que hay un desarrollo hay un contexto que tiende a un desarrollo progresivo de estas aplicaciones que evidentemente tienen un impacto en las decisiones que toma la administración y esta este impacto No necesariamente tiene que ser total en el sentido de que sea la aplicación informática la que tome la decisión administrativa es decir incluso cuando hay posteriormente porque esta es una de las alegaciones que realiza generalmente la administración pública no porque también está y lo contarán luego en esa en esas sentencias dictadas eh la decisión no se dicta por la aplicación informática sino que luego es revisada y es adoptada por un órgano administrativo en estas resoluciones que hemos dictado en relación con sistemas que utiliza la seguridad Social para determinar quién tiene derecho a determinadas prestaciones económicas ya se apunta también esta idea y se hace también hincapié se ha trasladado a las resoluciones del Consejo este concepto al que aludía hace un minuto de la explicaba y se hace alusión al hecho de que cada vez hay una mayor demanda de explicaba y mientras no existan otros mecanismos que puedan garantizar esa transparencia mientras no existan se dicen esas resoluciones pues es absolutamente esencial garantizar el acceso obviamente Esto está dicho en términos muy generales y luego hay que analizar los límites que pueden concurrir en cada caso hasta el momento los límites invocados lo han sido desde una perspectiva o bien no justificada de forma suficiente o bien desde una perspectiva que se ha entendido insuficiente desde una perspectiva sustantiva por parte del consejo y habitualmente como ahora eh os explicarán los límites que se arguyen por parte de las administraciones públicas para denegar este acceso es o bien la propiedad intelectual de ese algoritmo de ese código fuente básicamente o bien la confidencialidad con anclaje en el 141k que es bastante discutible o bien un elemento que enseguida os explicarán la seguridad pública En cuanto a la vulnerabilidad que pueden eh que pueden causar ese acceso perdón a las aplicaciones informáticas este después un poco en brochazos muy gordos la situación en la que nos encontramos actualmente y Los criterios que han fundamentado ese reposicionamiento de la posición del Consejo de transparencia y así que después de esto no tengo nada más que hacer que dar la la voz a a Susana para su ponencia Muchísimas gracias Susana adelante Bueno muchísimas gracias Marta Muchas gracias al consejo por la amable invitación me hace mucha ilusión estar aquí y me hace mucha ilusión estar con mi querida Marta timón eh con quien compartí muchas horas de despacho en el gabinete técnico del tribunal supremo aprendimos mucho crecimos juntas y y desde entonces somos también muy amigas lo cual e es importante también e Bueno pues como decía es una ilusión estar aquí porque además me va a permitir eh aprender de quienes comparten mesa conmigo Jesús y Javier Es un honor para mí a Javier ya lo conocía con Jesús todavía no había coincidido y voy a explicar en estos 25 minutos más o menos que tengo asignados algunas cuestiones relacionadas con la teoría general del control y evidentemente vinculándolo con la transparencia algorítmica yo me empecé a ocupar de cuestiones relacionadas con Inteligencia artificial y con algoritmos explicaré que no son exactamente sinónimos ambas expresiones hace unos años Precisamente en la teoría del control empecé a estudiar las transformaciones de la justicia administrativa o la teoría del control de las administraciones públicas y evidentemente surgió como uno de los elementos principales que había que tener en consideración como la justicia administrativa controla la administración inteligente como controla el uso por las administraciones públicas de instrumentos de Inteligencia artificial está la justicia administrativa a día de hoy preparada para realizar este control necesita socios adelanto spoiler Sí por ejemplo el consejo de transparencia se necesitan noras probablemente también y luego otra cuestión que menciono muy brevemente una de las diapositivas pero que no es el objeto de la sesión de hoy es a su vez Qué sucede cuando los jueces cuando la justicia utiliza instrumentos de Inteligencia artificial el denominado juez robot he articulado con Desde esa perspectiva esta ponencia en bloques un primer bloque Si se quiere donde se presenta el aparato conceptual Inteligencia artificial algoritmos que es queé qué temas jurídicos se plantean en general en el uso de algoritmos eh Y en particular algoritmos de Inteligencia artificial por las administraciones públicas eh luego me detendré en los órganos que ejercen el control e mencionar específicamente algunas resoluciones judiciales que existen hasta la fecha y me referiré al eh Por el momento endeble marco jurídico que existe tanto en España como en otros ordenamientos jurídicos y que está haciendo que los jueces sean realmente con la ayuda de algunos organismos reguladores eh o supervisores Quiénes están creando un marco jurídico a la altura de los tiempos con los instrumentos Eh pues que tienen a su disposición bien Qué son los algoritmos y Qué es la Inteligencia artificial lógicamente sobre esto se podría hablar eh Por extenso de hecho ni siquiera entre los científicos en sentido estricto no los científic sociales o los juristas existe consenso sobre el propio concepto de Inteligencia artificial e Y bueno pues existen distintas acepciones eh sobre las que a continuación diré algo pero muy importante es que los algoritmos no son necesariamente Inteligencia artificial hay algoritmos de Inteligencia artificial en sentido estricto y algoritmos que no son de Inteligencia artificial es importante tener presente que es un concepto heterogéneo y adem más evolutivo la propia noción de Inteligencia artificial entre los científicos entre los eh ingenieros de informática eh va evolucionando lo que es ahora Inteligencia artificial no es lo que era en los años 50 eh y por lo tanto es un concepto heterogéneo y hay que tenerlo muy presente eh precisamente porque a la hora de analizar los problemas jurídicos que se suscitan en uno y en otro caso e pues probablemente habrá que dar eh soluciones distintas un algoritmo en la acepción clásica más allá incluso del contexto informático es cualquier procedimiento formalizado en una serie de pasos para solucionar un problema o conseguir un resultado utilizo aquí una definición desde mi punto de vista muy acertada y muy clara del profesor wergo Lora uno de los grandes expertos en esta materia e para a continuación indicar que procede el álgebra que se aplica con carácter general que es verdad que ha encontrado acomodo específico en el ámbito de la computación porque es el lenguaje o el instrumento esencial eh del lenguaje computacional pero que no es Ni más ni menos que un procedimiento una serie de pasos que dan lugar a un resultado y el instrumento informático este algoritmo puede funcionar a modo de actuación reglada por utilizar un concepto jurídico es decir yo al algoritmo le doy una serie de órdenes y le programo para que en función de a + b DC por lo tanto es posible saber en función de las órdenes que se le han dado al instrumento Qué resultado va a salir por ejemplo se va a conceder una beca a las personas entre 13 y 15 años para que realicen estudios de A B y C siempre y cuando la nota media sea x eso no es más que una fórmula que se puede traducir en términos informáticos y es Us un algoritmo no de Inteligencia artificial porque la Inteligencia artificial en principio y y luego introducir algún Matiz aunque no quiero abundar mucho en ello la Inteligencia artificial en sentido estricto es aquel sistema basado en una máquina diseñado para funcionar con distintos niveles de autonomía es decir es un programa informático es un software que eh No necesariamente recibe unas instrucciones y en función de esas instrucciones hay un resultado previsible sino que aprende por sí mismo va captando datos Y en función de esos datos que capta pues puede producir un eh un borrador de resolución administrativa por ejemplo en función de eh distintos documentos de los que se ha alimentado una máquina y uno le pide Pues en función de este de estos borradores de resolución en sistemas semejantes produce un borrador de resolución para este nuevo caso donde yo te proporciono nuevos datos Entonces el algoritmo va captando aquellos elementos que considera relevantes aquellos datos y produce con autonomía eh No siguiendo directamente las instrucciones precisas y regladas que se le han dado y que generan un resultado previsible produce con autonomía una resolución administrativa o si nos encontramos en el ámbito judicial una resolución judicial o por ejemplo eh se puede configurar un algoritmo para que aprenda por sí mismo e identifique perfiles de eventuales defraudadores de la agencia tributaria o de cualquier ámbito en el que podamos pensar evidentemente eh los problemas jurídicos que se plantean en uno y otro caso son distintos desde el punto de vista de la transparencia es decir si nos encontramos en un algoritmo del primer tipo que no es Inteligencia artificial en sentido estricto Pues el algoritmo podrá funcionar mejor o peor pero la transparencia No es igual de relevante que en los algoritmos de Inteligencia artificial en el primer supuesto una beca donde los requisitos son reglados y por lo tanto es previsible saber si uno va a obtener la beca o no va a obtener la beca si yo reúno los requisitos y me deniegan la beca es relativamente poco importante conocer las tripas del algoritmo es relativamente poco importante porque no me genera indefensión porque yo recurro reúno los requisitos previstos en la convocatoria y por lo tanto no tengo ningún problema pero si se configurara un algoritmo e En aquellos supuestos en los que hay margen de apreciación el algoritmo con autonomía decide A quién concede e la beca o la ayuda Eh respecto de quién realiza la propuesta de sanción respecto de quién se van a iniciar Pues actuaciones inspectoras en el sector que queramos si quiero recurrir esa resolución pues evidentemente es importante saber porque explicaba eh Bueno pues he sido destinatario de esa resolución concreta y Para eso sí que es relevante con conoc las tripas del algoritmo por lo tanto importante tener en cuenta que algoritmo e Inteligencia artificial no son sinónimos que hay algoritmos de Inteligencia artificial y que hay algoritmos que no son algoritmos de Inteligencia artificial ya digo que luego el debate es bastante más extenso pero a los presentes efectos de momento eh contener esta esta diferencia Clara es importante e algo relevante también el uso que se realice o el uso que se le de al algoritmo en cada caso concreto Eh puede ser un algoritmo que se utiliza en una actividad en una actividad auxiliar es decir se proporciona información y el órgano administrativo quien tiene que tomar una decisión pues lo tiene en cuenta como otros tantos elementos y toma la decisión pero puede ser una decisión automatizada en el caso de algoritmos que no son de Inteligencia artificial eso no plantea problemas pero si tenemos una decisión automatizada es decir un algoritmo que aprende por sí mismo dentro de ese margen de apreciación y y adopta una decisión con efectos jurídicamente vinculantes pues ahí evidentemente el impacto en la Esfera jurídica de quien recibe la resolución del destinatario de la resolución Es evidente por lo tanto y en consecuencia hay países que han prohibido el uso de actividad automatizada especialmente de algoritmos de in encia artificial En aquellos ámbitos reservados a la potestad discrecional es el caso de Alemania está prohibido el uso de este tipo de algoritmos en el ejercicio de potestades discrecionales veremos que en España esto no está regulado pero está previsto en la carta de derechos digitales que mencionaba antes Marta hay un debate sobre la naturaleza jurídica del algoritmo que sí que quería mencionar porque es relevante Qué es un algoritmo a efectos jurídicos Bueno pues hace unos años publicó un artículo un profesor brillante Andrés Boys e con el título los algoritmos son reglamentos ha sido un artículo muy leído es un artículo brillante como lo es el autor y y lo escribió claramente ante la necesidad de dotar de garantías de un de dotar de un régimen jurídico concreto a los algoritmos ha sido un artículo muy contestado Eh no estoy segura de si alguien eh sigue la doctrina de and Boys yo creo que en general todos nos hemos posicionado eh en contra de su teoría si bien Yo tengo una posición un tanto eh digamos mixta eh el debate que se plantea es si los algoritmos son reglamentos dada su aplicación general a diversos supuestos o si son actos administrativos o si son un tertium genus etcétera Yo aquí coincido con eh algunos autores que se han posicionado en esta línea Yo entiendo que pero pero como son es una realidad sujeta a cambios mi opinión también es posible que en el futuro eh pueda cambiar pero entiendo que el algoritmo Per sé carece de una naturaleza jurídica específica es decir habrá que atender al tipo de algoritmo ante el que nos encontremos a su función concreta en el procedimiento administrativo si es auxiliar si es decisorio etcétera y en cada caso concreto desempeñará las funciones jurídicas de la norma jurídica que lo ampare y de la función concreta que esa norma jurídica le hay atribuido en el proceso por eso creo que con carácter general no es posible afirmar que el algoritmo tenga una determinada naturaleza jurídica el legislador desde luego e no lo ha establecido así ni en España ni en ningún otro sitio y tampoco la jurisprudencia hasta la fecha escasa pero pero ya existe jurisprudencia en algunos estados tampoco se ha pronunciado sobre la naturaleza jurídica del algoritmo insisto porque creo que no es necesario sí que es necesario construir como pretendía Andrés Boys un sistema de garantías de la transparencia algorítmica evidentemente se encuentra en el núcleo duro de ese sistema de garantía saber Al menos que una administración está utilizando un algoritmo cómo lo está utilizando Cómo opera el algoritmo etcétera hay que Establecer un estándar de control por lo tanto un sistema de garantías eh un sistema un estándar de control que como indicaba antes eh presentará algunos elementos comunes en todos los casos pero necesariamente tendrá que tener una heterogeneidad interna porque habrá que establec ofrecer distintas eh garantías en función del tipo de algoritmo y del tipo de función que desempeña en cada caso se ha de garantizar la tutela judicial efectiva y en muchas ocasiones la transparencia algor algorítmica va a ser un elemento imprescindible para garantizar la tutela judicial efectiva en otros casos no en esos casos de algoritmos reglados que no son de Inteligencia artificial en sentido estricto probablemente no sea un problema eh respecto de la tutela judicial efectiva a pesar de que evidentemente la transparencia siempre sea positiva en sí misma luego además habrá que barajar otros intereses en conflicto que son justamente esos límites del artículo 14 que mencionaba antes Marta por ejemplo la propiedad intelectual esto guarda relación con el Aunque es distinto con el debate sobre la naturaleza jurídica del algoritmo es decir el algoritmo está sujeto a propiedad intelectual es una obra literaria como se dijo en un primer momento o es más bien quizás un documento público esencial del funcionamiento ordinario de las administraciones públicas y cada vez más aunque no lo sepamos porque hay mucha opacidad porque no sabemos exactamente qué administraciones están utilizando qué algoritmos Y para qué Por lo tanto va a ser esencial una labor de ponderación en cada caso concreto se habrán de establecer unas líneas generales de este sistema de garantías pero la labor de ponderación en cada caso concreto El Deber de motivación y de justificación de la Administración por ejemplo que rechaza dar acceso al código Fuente o a lo que sea pues yo creo que es una de las claves no se exige esa justificación esa motivación singular de la Administración eh Bueno pues en relación con esos otros intereses en conflicto que pueden ser atendibles pero que tienen que estar justificados eh la ley de transparencia acceso a la información pública y buen gobierno es de momento la ley que tenemos eh en relación con con la transparencia y la publicidad activa para dar a conocer los algoritmos eh que utiliza cada administración eh Es verdad que no recoge de manera específica esta materia Pues porque es una materia que ha surgido en tiempos recientes pues quizás se podría proceder a la reforma y aunque igual las Cortes en este momento no están para estos temas Pero bueno pues quizás se podría proceder a la reforma para dotarnos de un régimen jurídico específico en en esta materia eh pero por ejemplo alguna ley más reciente la ley valenciana de 13 de abril sí que alude a la transparencia algorítmica y en los elementos de información de relev pública pues recoge justamente la relación de sistemas algorítmicos o de Inteligencia artificial que tengan impacto en los procedimientos administrativos o en la prestación de los servicios públicos con una serie de cuestiones Y por supuesto de acuerdo con los principios de transparencia y de explicaba otra ley más reciente la ley 1522 integral para la igualdad de trato y la no discriminación recoge un artículo 23 dedicado específicamente a la inteligencia artificial y menciona la carta de derechos digitales a la que aludía antes Marta y también eh alude a los algoritmos que se utilizan en la toma de decisiones y insiste en la necesidad de tener en cuenta entre otras cuestiones el principio de transparencia H se se continúa con la transparencia en otros apartados eh del mismo artículo la transparencia en el diseño y la implementación Y la capcidad de interpretación de las decisiones adoptadas por dichos organismos bien he aludido a la opacidad en el uso de algoritmos por las administraciones públicas en España hay ya bastantes casos de uso algunos los conocemos otros no algunos los conocemos más otros menos en el ámbito de subvenciones en la junta de Andalucía por ejemplo hay unos instrumentos muy interesantes e en la fase de de justificación de subvenciones Bueno pues para controlar e precisamente cómoo se justifican las subvenciones en materia de contratación pública inspecciones e infracciones e inspección por ejemplo infracciones de tráfico los límites de velocidad hay una máquina que capta una imagen eso es un dato y automáticamente decisión automatizada eh Bueno pues se realiza una propuesta de sanción esto en principio en principio no sería un algoritmo de Inteligencia artificial en sentido estricto eh pero es Matiz porque Eh bueno en la medida en que que hay alguna posibilidad de error por parte de la máquina y y luego hay quien considera que la máquina podría actuar con cierta autonomía Pues podría entenderse que hay un margen para entender que es un algoritmo de Inteligencia artificial pero en principio no lo es en sentido estricto la cnmc parece que también está utilizando instrumentos de Inteligencia artificial para detectar eh conductas contrarias a la libre competencia en el mercado evidentemente Contamos con el caso del Bono social al que del caso Bosco al que imagino que se referirá después Javier en procesos selectivos ha habido ya alguna resolución del Consejo de transparencia en el sistema sanitario y luego en la estrategia de Inteligencia artificial 2024 presentada recientemente por por por el gobierno se alude al proyecto gotech lab que supuestamente va a ser un laboratorio de algoritmos para su funcionamiento en la administración general eh del Estado también en otros estados eh existen este tipo de de instrumentos evidentemente pero en pocas ocasiones nos encontramos o bien con un registro público o bien con un lugar donde eh las administraciones públicas eh realicen este ejercicio de publicidad activa de los algoritmos que utilizan eh en su actividad como ejemplos Pues el el el observatorio global de Inteligencia artificial urbana eh promovido entre otros por el ayuntamiento de Barcelona y en Estados Unidos hay una página eh si se clica eh puedo distribuir después la la presentación no tengo ningún problema hipervínculos e Hay acceso a la página del gobierno de Estados Unidos sobre Inteligencia artificial que es una página específica y hay una tabla Excel larguísima donde en teoría constan todos los casos de uso de Inteligencia artificial en eh la administración estadounidense el mayor porcentaje de de uso de instrumentos de Inteligencia artificial y de algoritmos en general en las administraciones públicas es eh de ayuda en el proceso de toma de decisiones no estrictamente de instrumentos decisorios que evidentemente como insistía antes los problemas jurídicos eh Son muy distintos lo cual no quiere decir que no se tenga que controlar Porque si ha sido un instrumento que ha tenido un peso específico singular en la decisión que se ha adoptado a pesar de que digamos que la máquina no ha adoptado la decisión pues evidentemente ese dato es relevante una teoría del control eh del uso de algoritmos por parte de las administraciones públicas insisto con la transparencia en el foco tiene que ser una teoría amplia eh Hay distintos actores por utilizar la terminología de la ciencia política que coadyuvan Eh Pues a un mejor funcionamiento de las administraciones públicas en todos los ámbitos Y en este en particular el control interno evidentemente y el control externo en control interno hay algunas eh experiencias hasta la fecha bastante exitosas de personas concretas muy motivadas con esto de la Inteligencia artificial pues por ejemplo la Vice interventora eh de la junta de comunidades de Castilla la Mancha que matild de Castellanos está muy implicada y ha diseñado todo un sistema de control interno con instrumentos de Inteligencia artificial allí en Castilla la Mancha eh pero de momento son supuestos aislados y eh aquí nos interesa justamente ese control externo el control externo eh A través de auditorías que cada vez van a ser más importantes porque así lo exige el ordenamiento jurídico en relación con los algoritmos es decir hay que auditar el algoritmo auditar desde el inicio el algoritmo que está correctamente construido que no que está correctamente nutrido de de datos que los datos no contienen sesgos que el algoritmo no funciona de manera discriminatoria etcétera Eh pero evidentemente en un estado de derecho Pues el control último necesariamente tiene que ser el control de los órganos jurisdiccionales ayudados eh de una manera yo creo que intensa y necesaria por los organismos independientes y los organismos reguladores esto lo paso eh voy a pasar porque voy muy mal de tiempo luego puedo hablar de la carta de derechos digitales eh si alguien tiene alguna curiosidad y y voy a pasar Eh aquí eh bien organismos independientes y reguladores que e ayudan en la tarea de control de la actividad algorítmica eh por parte de las administraciones públicas Pues en primer lugar el consejo de transparencia y buen gobierno en el que no me voy a detener precisamente porque hay otras intervenciones que que van a aludir a ello pero luego en el turno de preguntas podemos profundizar quizás en alguna de las cuestiones se planteó en el momento en que elaboramos la carta de derechos digitales que se hizo pública en julio 2021 y que a fecha de hoy carece de valor normativo Aunque ha sido integrado en algunas normas se planteó la posible creación de una agencia de derechos digitales para tutelar entre otros los derechos de la ciudadanía en sus relaciones con las administraciones públicas la carta de derechos digitales que insisto es un documento de política pública no es una norma pero está formulada como si fuera una norma una carta de derechos recoge entre otras cuestiones eh la transparencia algorítmica el derecho de acceso al código fuente el derecho a recibir una explicación en lenguaje entendible de una resolución administrativa adoptada con un instrumento de Inteligencia artificial es decir recoge un elenco de derechos relacionados con esta materia eh que nos ocupa hoy se planteó como digo la posible creación de una agencia de derechos digitales eh como órgano que pudiera tutelar estas cuestiones Hay que ser realistas esto no va a suceder se planteó que se integraran sus funciones en el e en la agencia de protección de datos Pero bueno la agencia de protección de datos estaba también presente ahí yo creo que no quería ni oír hablar del tema porque tienen pocos recursos y no querían asumir más funciones creo e otra posibilidad es la la futura agencia Estatal de evaluación de políticas públicas cuya ley se aprobó recientemente y donde eh Bueno pues va a tener un peso importante justamente la digitalización y el uso de los instrumentos digitales y de Inteligencia artificial en las administraciones públicas y fundamentalmente la agencia española de supervisión de Inteligencia artificial cuyos estatutos fueron aprobados por el real decreto de 22 de agosto 2023 que tendrá su sede en Coruña que fue fue recurrido el acuerdo de sede pero Bueno finalmente va a tener su sede en Coruña en estos últimos tiempos estaban seleccionando al dir o directora e es una agencia independiente pero tiene una conformación que me opinión hace que no sea tan independiente eso también lo podemos llevar al debate pero es importante subrayar algunas de sus funciones por ejemplo en el artículo 25 relativo a las competencias de la subdirección de informes e infraestructuras de prueba se indica que en concreto se realizarán evaluaciones de impacto para que los algoritmos involucrados en la toma de decisiones que se utilicen en las administraciones públicas tengan en cuenta criterios de minimización de de sesgos transparencia y rendición de cuentas es decir esta autoridad independiente va a velar por esta cuestión y luego Aunque no es el tema hoy pero también me interesa destacarlo en el artículo 26 entre las competencias de la subdirección de certificación evaluación de tendencias coordinación y formación en Inteligencia artificial se recoge como competencia apoyar técnicamente mente y o asesorar a jueces y tribunales en Casos de conflictos relacionados con la Inteligencia artificial a requerimiento de los propios tribunales Es verdad que jueces y tribunales están habituados a analizar cuestiones bien complejas o bien complejas desde el punto de vista económico desde punto de vista urbanístico desde científico etcétera Pero es verdad que aquí hay un elemento adicional porque la prueba digital es cara Eh Pues porque no hay informáticos quizás en los órganos jurisdiccionales aunque se ha propuesto que incluso sean miembros del órgano eh que puedan desempeñar estas funciones y aquí esta agencia si está bien dotada pues en teoría eh va a prestar eh Bueno pues esa ayuda tan necesaria a a los órganos jurisdiccionales en este tipo de supuestos que nos ocupan aquí donde el conocimiento técnico y especializado es tan necesario esta plétora de de organismos eh de control necesariamente tiene que estar coordinada y por lo tanto sería deseable como ocurre en algún estado en el ámbito específico de la protección de datos Pero creo que sería eh extrapolable A este supuesto Pues que existieran ciertos quizás protocolos de colaboración entre organismos reguladores organismos supervisores etcétera y luego en relación con esta última cuestión que mencionaba en algún lugar he propuesto que quizás eh estos organismos podrían desempeñar en su caso sobre todo la agencia de supervisión de la Inteligencia artificial la función de amicus curia eh en la jurisdicción creo que sería interesante quizás proponer una reforma normativa para fomentar la figura de la micus curiae y que bueno pues puedan intervenir desde desde ese punto de vista Muchísimas gracias Me detengo aquí porque ya he consumido el tiempo me he excedido un par de minutos más pero luego en el debate si surge alguna otra cuestión pues podemos profundizar en ello Muchas gracias [Aplausos] pues muchísimas gracias Susana la verdad es que ha sido una intervención muy interesante me ha apuntado muchas cosas Tendremos que pensar bastante y luego abriremos un debate seguro interesante doy la palabra sin más dilación a a Jesús para que nos hable sobre sí Bueno buenas tardes Muchas gracias a José Luis por la la invitación Marta por la amable moderación y Bueno sobre todo por por permitirme venir a aprender no porque la verdad es que es un placer escuchar a los ponentes que comparten la mesa eh de transparencia algorítmica creo que hay autoridad en esta mesa yo eh soy director del Consejo de transparencia y protección de datos de Andalucía somos autoridad de control en materia de transparencia y autoridad de control en materia de protección de datos por tanto yo creo que si alguna singularidad de aporto es precisamente Esa visión de la protección de datos y hace tiempo que que intento no hablar demasiado del la protección de datos personales como límite a la transparencia porque yo creo que todos tenemos la cabeza el artículo 15 todos la hemos aplicado en el caso concreto y creo que en la transparencia algorítmica la llegaremos a aplicar porque mucho tiene que ver los datos en las herramientas algorítmicas Cuál es el contenido de ponencia pues quizás todo lo contrario es decir la el tratamiento de datos personales es un elemento clave en la administración pública sobre todo cuando utiliza sistemas o herramientas algorítmicas eh casi de manera natural supone tratamiento de datos personales y la administración tiene que rendir cuentas también del tratamiento de datos personales que hace a través de las herramientas algorítmicas y yo creo que intentaré no sé si con mucho acierto intentaré explicar En qué medida van en la misma línea los eh los derechos vinculados al régimen o al marco jurídico de protección de datos personales con la eh transparencia las dificultades que surgen incluso con leyendo el reglamento nuevo reglamento de Inteligencia artificial no bien Y a partir de aquí aclarar en primer lugar que que cuando hablamos de administración pública a estos efectos de transparencia no solo hablamos de la admistración territorial estamos hablando también del sector público instrumental sino si solo trasladamos la administración local hablamos de ciclo integral del agua hablamos de movilidad hablamos en otros ámbitos también de sanidad hablamos de educación es decir No solo hablamos de decisiones administrativas ya sea eh propuestas previas a una decisión o ya hablamos de una decisión automatizada estamos hablando digamos de un espacio de relación con los ciudadano muy mucho más mucho más amplio no solo sujeto al derecho administrativo sino a veces claramente en una actividad de Mercado como puede ser un servicio público y en esas servicios públicos también se están utilizando herramientas algorítmicas de Inteligencia artificial eh Y por supuesto la función idad concreta en el sector puede ser eh de planificación presupuestaria instrumentos estratégicos operativos ordenación de espacio asignación de recursos económicos digamos que es eh un espacio muy amplio de intervención o de relación a través de estas herramientas y creo que es oportuna esa clarificación no solo hablamos de Inteligencia artificial yo creo que hombre tiene singularidades propias Pero siempre a mí me gusta hablar de de herramientas que vien por su complejidad eh su oscuridad intrínseca Por así decirlo es de difícil conocimiento por el ciudadano es decir o no conoce su existencia o no la entiende Sencillamente porque no se lo han dicho o porque realmente habiéndose sea trasladado eh un código no ha llegado a entender nada digamos sería esa herramienta eh A partir de ahí claramente tienen que tenemos que garantizar la transparencia No puede haber un espacio oscuro en esos ámbitos porque siempre se convierte en espacio de impunidad y y además hay un una realidad que está ya descrita por autores británicos Y es que la oscuridad Nunca es absoluta la oscuridad es transparencia para para quien tiene recursos y tiene capacidad técnica siempre hay algo alguien que puede como dicen ellos destapar el algoritmo por tanto si la administración se resiste del código eh es posible que alguien con recursos y con y con influencia puede llegar la información por tanto la información se convierte en un privilegio de acuerdo eh ejemplos yo pongo ejemplos extraído he intentado evitar o sea nosotros no tenemos lo digo directamente no tenemos el conflicto que que tiene el consejo de transparencia gobierno de solicitud de acceso al código lo que sí tenemos son herramientas claramente de Inteligencia artificial que tiene un impacto muy serio sobre los datos personales muy serio y por ahora nadie nos ha preguntado lo cual significa que no está sujeto a control de nadie no está sujeto a control del ciudadano y eso me preocupa mucho Entonces yo pongo ejemplo para que entendáis exactamente el alcance el alcance de del espacio de oscuridad o impunidad Por así decirlo diseño son títulos de contrato que son públicos lo veréis en el registro de de contratación diseño e implementación del asistente virtual corporativo de una administración pública análisis sistemático y automatizado del sentimiento de las conversaciones mantenidas por las personas usuar asistentes sistema de identidad de biometría facial con análisis de evidencia en un modelo de uso de software en la nube sensorización de flujos turísticos para eso se monitoriza la oferta y los productos destinados a Los visitantes se obtendrán datos de comportamiento Los visitantes que acuden a la ciudad analítica de vde es la base de este sistema de sensor inteligente aprendizaje automático desarrolla un sistema de información sobre infancia adolescencia y un modelo predictivo de necesidades se utilizarán datos demográficos socio de servicios sociales y de salud para analizar y predecir patrones en los datos con prioridad de identificar esos niños y niñas en riesgo de sufir vulnerabilidad de abandono proyecto certeza de voz proyecto investigación de detección precoz de sospecha violencia contra la mujer a través de la voz planificación de centrro educativos mediante técnicas avanzadas y predictivas sobre datos de menores se anticipa el fracaso escolar plataforma de soliciones de Inteligencia artificial basada en bidata para para el criado de cáncer plataforma inteligente cognitiva para la gestión itiva una administración pública veamos que el impacto es mucho más es mucho más que que un algoritmo determinista incluso una incia artificial para conocer la movilidad a partir de ahí pues eh lo que está claro que el sector público tiene muchos datos de los ciudadanos Yo creo que es el que más segundo lugar son datos de mucha naturaleza uno pueden ser menos sensible Pero hay mucho sensible hay datos de categoría especial salud servicios sociales datos genéticos emociones datos biométricos etcétera eh Y por otro lado su tratamiento es decir su obtención su recopilación por parte de la Administración pública no se basa en el consentimiento el consentimiento en cuando es una relación con ese desequilibrio es residual es porque esa administración y porque la norma lo dice se basa en ejercito poderes públicos se basa en obligaciones legales etcétera por tanto existe una tendencia con esa facilidad a recopilar datos sensibles y no sensibles eh A partir de ahí claramente si ya me centro en sistema de Inteligencia artificial su combustible son los datos son los datos y el reglamento de Inteligencia artificial acepta como premisa que el desarrollo uso del sistema intelencial implica en muchos casos el tratamiento de datos personales Y esa Y esa es la premisa y además se enuncia a lo largo de todo el reglamento y otras veces se deduce habla directamente de datos de entrenamiento datos de validación datos de prueba datos de entrada proporcionado al sistema o que que adquiere y por otro lado los datos de salida la predicción la recomendación Incluso se habla de datos que están incrustados en el algoritmo es decir no están no no se perciben Pero alguien como dicen un truso motivado es capaz de extraer o categorizar datos de de los datos de entrenamiento que se han utilizado precisamente para para entrenarlo por tanto hablamos de un espectro de datos normalmente person personales o que se relacione con datos personales eh bastante bastante amplio hablamos de contenidos predicciones recomendaciones o decisiones o decisiones que afectan a los ciudadanos eh También se refiere el reglamento a tratamientos específicos estamos hablando de identificación autentificación biométrica habla de perfilado habla directamente de lación perfiles Porque si si hay una habilidad clara que tiene los sistema inel artificial es precisamente inferir inferir es decir eh llegar a a perfilar y no olvidemos que el perfilado supone eh golpear a un ciudadano con los datos personales de otro enad coge una estimación y por probabilidad tú también Por así decirlo y se lo tiene que comer entonces a partir de ahí digamos que a ese ciudadano algo hay que decirle de de cómo ha ocurrido Cómo ha ocurrido eso al menos para que pueda desmentir o o reaccionar o defenderse frente frente a ello eh todo intuimos que eh A partir de aquí cuando ese ese esos sistemas se utilizan o o se emplean por el sector público se genera o se debos considerar un espacio de rendición de cuentas de rendición de cuenta es decir la administración cuando eso se produce en el sector público todo ese todo ese tratamiento de datos se produce el sector público la administración tiene que rendir cuenta del tratamiento que hace tiene tiene que garantizar el cumplimiento de obligaciones ya Digamos si el reglamento general de protección de atop o el reglamento artificial eh impone obligaciones al a cualquier usuario implementador cualquier actor en este ámbito cuando es una administración pública está sujeto a una res cuenta específica frente al ciudadano sin motivación como todos eh sabemos bien y además como algo que recordó el supervisor europeo de protección de datos durante la elaboración del reglamento reglamento de incia artificial es que la transparencia es un Pilar de un buen gobierno pero el cumplimiento de la normativa de tratamiento de datos personales también entonces la transparencia tiene que tiene que ir de la mano con un adecuado cumplimiento de la normas de tratamiento de datos personales eh recordamos que el supervisor europeo de protección de datos supervisa administración pública supervisa sector público en protección de datos y se ha convertido en autoridad de vigilancia del mercado de los sistemas de Inteligencia artificial vale de acuerdo con el reglamento qué supone el marco jurídico de protección de datos personales bien primer lugar se establecen unos requisitos para tratar datos personales esto que Que obviamente sería de aplicación con normalidad a la a la administración pública per usted obviamente licitud hablamos de principios concretos no a partir del artículo 5 principio reglamento de protección de datos principio de licitud principio de transparencia minimización exactitud limitación de plato de conservación integridad bien cuando hablamos de administración pública la la licitud supone el cumplimiento de un marco normativo completo hablamos de que tenga norma jurídica que habilite a un órgano concreto con una competencia concreta digamos eh un espacio de control Por así decirlo específico eh exclusivo Por así decirlo de la Administración eh pública después supone también como este marco jurídico de protección reconocimiento de derechos a los interesados Y en este sentido nos interesa mucho el artículo 22 del reglamento de protección de datos que son que es en relación a la decisión automatizada eh Por ejemplo y también los derechos de acceso a la información esto hablando Ya como interesado por el dato personal derecho de acceso a la información derecho de rectificación supresión de oposición etcétera también eh Hablamos en ese marco de las obligaciones de protección de datos desde el diseño y por defecto que supone adopción de medidas técnicas organizativas concretas supone la elaboración una evaluación de riesgos y evaluación de impacto en la protección de datos personales artículo 35 reglamento general de protección de datos Y este tiene mucha importancia en los sistemas de de Inteligencia artificial de hecho se específicamente se se cita este este estudio esta evaluación en el reglamento de Inteligencia artificial eh se establecen obligaciones específicas para los responsables de tratamiento en nuestro caso el sector público y se establece además un marco institucional de garantía estamos hablando ya en este caso la intervención de un autoridad de control Lo que me interesa aparte de esta descripción a vista de pájaro de lo que es un marco jurídico de protección de datos personales lo que me interesa es la responsabilidad proactiva y es que el responsable tiene que demostrar que cumplido todo eso Y eso obviamente provoca una labor de documentación es decir eh supone una labor documental de creación de documentos que obviamente en nuestro en nuestro ámbito ahora mismo Está o puede estar sujeto a la a la rendición de cuentas es decir tiene un documento que que exhibir o que aportar eh Y esto por eso me enlaza directamente con lo que es la transparencia sabéis que la transparencia se se se define eh como acceso a contenidos y documentos cualquiera que sea su formato soporte que obren en poder de los sujetos obligados que hayan sido elaborados adquirido en eero de sus funciones Por tanto la transparencia se construye sobre la base de la documentación existente cuando el documento no existe la respuesta es muy fácil de la administración y de la autoridad de control no existe y no existe obligación de construir no existe una obligación de construir un informe explicativo no lo que exista documento y Su contenido pero lo que exista entonces tiene mucha importancia la labor de documentación de cualquier proyecto de cualquier sistema de Inteligencia artificial y además en qué términos Porque además tiene que estar construidos unos términos que sean entendibles para el ciudadan Eh no puede confundirse cuando hablamos de transparencia si leemos el el reglamento de Inteligencia artificial hace expresa referencia a la transparencia y yo lo veo ciertamente paradójico porque es todo lo contrario es decir si leemos el reglamento de Inteligencia artificial yo a mí me gustaría ver con la entrada en vigor de ese reglamento cualquier solicitud de acceso a código de un sistema inicial yo creo que incluso a las autoridades de control se nos mediatiza el acceso al código a través de la entidad la autoridad de vicia de mercado Por eso fue muy inteligente el supervisor europeo de protección de datos en convertirse en autoridad de vigilancia del mercado porque digamos simplificando mucho si la autoridad de control de material proteccion tiene que Acceder al código para verificar si se cumple Mater protonado incluido los sesgos evitar los sesgos tiene que hacerlo a través de la autoridad de vigilancia de mercado entonces yo me pongo a imaginarme un ciudadano y veremos a ver qué capacidad de acceso al código va a tener Cómo concretamos la la transparencia en concreto estos ámbito obviamente en primer lugar con la obligación específica de publicidad activa entonces Eh ya se ha expuesto eh Susana precisamente eh la la la modificación de la ley valenciana por ejemplo donde establece una serie de contenido un estándar que ha dado lugar a trabajo ya en la universidad de valencia ayer se presentó una en la universidad de Cádiz y un poco construir un modelo un modelo de para dar cuenta o o generar espacio de publicidad activa en estos sistemas eh A mí me gusta mucho más citar porque yo creo que es el gran desconocido y sobre todo no está siendo objeto de control efectivo nosotros hacemos controles pero pero nos cuesta nos cuesta y estamos hablando de del registro de actividad de tratamiento el Rito activad tratamiento es una obligación de la del reglamento general de protección de datos est hablando de del artículo 30 del reglamento protección de datos artículo 31 nuestra Ley orgánica que es una obligación cífica de publicad activa y por tanto puede ser verificada por las dos autoridades por la de protección de datos y por la de transparencia bien Creo que es una buena ocasión para eh generar un estándar específico de ese registro porque claramente claramente el tratamiento de datos que se produce mediante sistema de Inteligencia artificial eh tiene peculiaridades precisamente de oscuridad Por así decirlo por tanto sería conveniente empezar a trabajar en construir contenidos del registro de activdad de tratamiento específicos para este tipo de herramientas yo si podéis hacer la prueba empezar a buscar registros tratamiento que deben ser público cuando sector público y veréis que no dicen nada significativo desde el punto de vista de la rendición de cuentas en cuanto al tratamiento de datos personales suelen ser bastante estándar Yari yo me encantó uno eh investigando un poco sobre el tratamiento de datos genéticos eh empezamos a buscar y realmente pocas pocas eh registr da una información completa de lo que suponía para un ciudadano el tratamiento de su datos genéticos salvo el de la guardia civil en relación a la utilización del ADN para la identificación era muy era bastante preciso después desde la perspectiva de la publicidad activa en con la Inteligencia artificial tenemos un problema tenemos un problema Por qué Porque esta la publicidad activa se vincula a un sujeto obligado concreto y lo tiene que hacer página web una serie de condiciones Pero hay que identificarlo sin embargo siempre se habla de sistema de Inteligencia artificial con una una línea horizontal de ciclo de vida de ciclo de vida y no es del todo cierto ya Incluso el reglamento de incia artificial habla también de una línea vertical lo que le llaman cadena de valor la línea de suministro Esto no es un producto Bueno lo es perdón el reglamento s lo es el marcado c del producto que tiene un ciclo de vida que sí lo tiene pero no es no es tan sencillo en cada una de esas fases intervienen múltiples actores múltiples actores entonces he recopilado ejemplo de cadena de valor para que veamos que que no es tan limpio decir usted responda o publique el registro de AC tratamiento o o traslade usted determinada información ejemplo de modelo desarrollo implementación de la Inteligencia artificial del sistema en una organización interno coincide en proveedor usuario desarrollo a medida de de un sistema internal para otra entidad una entidad escribe el código y entrena al sistema y lo comercializa a través de una Api simplificando mucho y y siendo yo de letras el usuario graba datos y obtiene un resultado no sabe exactamente qué pasa dentro y ese usuario puede ser la propia administración Obviamente el implementador no puede hacer cambios solo puede enviar datos de entrada y recibir resultado una entidad otro modelo una entidad vende modelos pre-entrenos la entidad que adquiere el modelo incorpora datos de entrenamiento el proveedor vende un sistema que puede actualizar sus modelos cuando el usuario introduce nuevos datos el aprendizaje en línea un un desarrollador de sistema lo vende a otro desarrollo de sistemas para continuar entrenando para mejorarlo para adaptarlo a tareas más específicas con dos conjuntos de datos una entidad Integra diferentes sistemas de Inteligencia artificial los cuales decide Qué sistema interal va a resolver el problema Por tanto veis que de operadores podemos tener en un mismo sistema actuales o digamos en la línea de herencia Por así decirlo múltiples operadores entonces A quién se le exige el cumplimiento de la normativa transparencia cuando nosos nos movemos en el entorno de sector público Y por supuesto ya si son sistemas inter artificial de propósito general digamos est por naturaleza Por así decirlo después tenemos mediante el ejercicio del derecho de acceso a la información pública bien imaginemos que que la administración tiene documentado el proyecto de todo el sistema Inteligencia artificial tal tal cual lo exige el reglamento de Inteligencia artificial y tal cual lo sige la norma administrativa bien bien insistimos la transparencia se basa en el documento existente por tanto el documento existente por definición tiene que existir y por otro lado tiene que ser claro y si no lo es pues vol Ten un problema a mí me encanta ver como la sociedad civil como entidades sin quieren hacer al código pero el ciudadano lo puede hacer no lo va a entender por tanto algo tiene que haber que el ciudadano entienda porque si no la transparencia Eh no voy a decir que es ilusoria porque bastante valor da que pueda acceder cualquiera al código pero creo que deberíamos trabajar Por así decirlo en que el documento existente eh digamos la documentación del proyecto también pensase en alguien que no tiene toda la información también no sol la norma de transparencia tiene tiene peculiaridades en cuanto a sujeto obligado en cuanto a la c de acceso si trasladamos toda la cadena de valor o el ciclo de vida a a un expediente que no va a ser único el cedano A quién solicita tendríamos el artículo 171 debe concretarse en el organizativo entidad que sea la información hemos visto que la información Se va a formar por paquetes eh si ha sido elaborado por otro se le remitirá la información la solicitud de información al otro el artículo 194 Y por supuesto con el riesgo de in admisión si ni siquiera sabe quién Quién ha sido el responsable por tanto en estos entornos tan complejos de cadena de valor ciclo de vida hay una un riesgo de peregrinación del ciudadano bastante bastante considerable Qué puede aportarnos el reglamento de Inteligencia artificial a todo esto bien pues lo cierto es que el reglamento de interel artificial en sus considerando parte de que esta regulación lo que pretende es posibilitar el ejercicio de los Derechos habla en general de los interesados pero pero bien En definitiva puede considerarse que es un reglamento que pretende servir al ejercicio eh de derecho si hay determinados preceptos que sí podrían considerarse que desde el punto de vista de la transparencia y el tratamiento de datos personales podríamos utilizar hablamos por ejemplo bu el reglamento es bastante No no voy a decir complejo que lo es sino que tiene muchos artículos que están íntimamente relacionados unos con otros voy intentar simplificar en primer lugar el derecho a la explicación en las decisiones tomadas individualmente que es el artículo 86 que genera una documentación relativa a la explicación de las decisiones obviamente basadas previamente los datos de entrenamiento aplicaciones claras Y significativas sobre el papel del sistema en el procedimiento de toma de y los principales elementes de la decisión adoptada se relación al artículo 26 etcétera También eh obligaciones de información específicas al interesado en concreto ya vinculado casi al reglamento general de protección de datos y en su desarrollo eh el establecimiento de requisitos que debe cumplir el sistema de Inteligencia artificial de alto riesgo en este caso estamos hablando de eh de obligaciones que se se corresponden se relacione bastante bien con la responsabilidad proactiva deec de reglamento de protección de datos hablamos de eh datos y gobernanza de datos de documentación documentación de sistema de gestión de riesgo incorporación de documentación técnica eh del sistema el mantenimiento de los registros transparencia y suministro de información a los responsables del despliegue información sobre la precisión robustez ciberseguridad sobre el sistema de gestión de calidad son documentación que se genera Que obviamente está al servicio cuando es administración pública de esa rición de cuentas con los límites que hablábamos antes de eh de la protección Por así decirlo del producto frente a terceros también la documentación de la evaluación de impacto de la protección de datos en relación con la evaluación de impacto de los derechos fundamentales la norma esta evaluación específica se regula en el artículo 27 y prevé que pueda tener en consideración o que traslade la información de la evaluación de impacto en la protección de datos personales eh después también toda la documentación que se genera en el marco como producto sistema como producto en el marco de Norma armonizada las especificaciones comunes la evaluación de conformidad el marcado el marcado etcétera A que se refiere al artículo a la sección quinta del capítulo tercero del reglamento qué dificultades tiene qué dificultades tiene o qué dificultades nos genera el reglamento aparte de como producto su protección su protección como producto que ya hemos dicho que en concreto Acceder al código está vetado o mediatizado Por así decirlo Eh Pues en primer lugar que toda esta documentación que nos permitiría entender que se está documentando a efectos de acceso o de transparencia se limita a los sistemas de alto riesgo nada más Y eso no son los únicos que existen Entonces digamos nos deja un espacio unos sistemas los chatbot etcétera que y sobre todo los confesos lo de lo de análisis de riesgo de fraude fiscal blanqueo de capitales que los considerando consideran que no debe estar en alto riesgo eh todo eso queda fuera del espacio de este espacio de de documentación sin perjuicio de que como en el ámbito ya de los códigos de de conducta Por así decirlo o las posibilidades que tiene la comisión Europea de extensión de documentación Pues que se hagan uso de ellos eh Y en segundo lugar la limitación que decíamos antes limitación de acceso a documentación que están manifiestas en todas baj B la insisto bajo la rúbrica de transparencia están se trasladan en todo el reglamento de Inteligencia artificial otras dificultades son las que ya conocemos con carácter general que son las institucionales legales es decir ese equilibrio ese equilibrio de derechos públicos intereses derechos públicos y privados protección datos personales eh propiedad intelectual intereses económicos se mantien que eso se podría contrarrestar con con unas buenas prácticas contractuales de manera que cuando la administración eh quiera sistema Inteligencia artificial haya cláusulas contractuales que le otorguen los derechos necesarios para posibilitar el acceso a la documentación a la plena documentación eh dificulta también la asistencia de múltiples actores la modularidad que hemos hablado antes cadena de valor nos dificulta conocer Quién es quién es el responsable que y no quiero avanzar más perdido ya 2 minutos y medio solamente quiero recordar no voy a entrar en un posible estar de transparencia pero sí decir que la transparencia es una obligación de resultado no sirve para nada hacer Público de normas si no se cumple con el resultado y muchas [Aplausos] gracias Muchísimas gracias Jesús también otra ponencia que ha llenado de ideas claves que luego comentaremos el debate Y ahora te voy a dar la palabra Muchas gracias eh la verdad es que estoy absolutamente tentado en no hablar de nada de el recurso de casación de cibio porque los temas que han salido son tan apasionantes que se me va un poco la mente a ello pero quisiera en primer lugar agradecer al señor presidente la invitación a participar aquí a agradecértelo también a ti a Marta y por supuesto agradecer a David cabo y a elmonte o a belmonte y David cabo que son directores generales de la fundación civio que están sentados aquí en la segunda eh en la segunda fila porque si no fuera por ellos Yo tampoco estaría aquí eh yo no me gusta el fútbol tengo esa ventaja con lo cual tengo mucho tiempo libre dispongo de mucho tiempo libre que utilizo para mí para mi propio placer fundamentalmente intelectual eh Y pero lo que siempre utilizo con ellos Es un término futbolístico Y es que yo lo que digo es que me limito simplemente a rematar de cabeza un pase de Gol que es el que siempre me hacen ellos yo cuando llego al procedimiento de ciio es porque debajo existe una labor de iceber eh callada soterrada que eh se hace mediante siete personas en una oficina de Madrid y que continuamente que llevan años pensando en ella cuando nosotros llegamos a este momento y todo el mundo está hablando de transparencia algorítmica llevamos ya 5 años con este tema 6 años Eva David 6 años llevamos nosotros ya con este tema o sea que desde hace 6 años llevamos planteándonos esta situación en 1997 yo escribí un artículo sobre la transferencia de las apis 1997 O sea que lamentablemente somos tan pobres como aquellos que inventaron el supermercado intentando sustituir al ultramarinos Y por supuesto quebraron porque nunca jamás o sea todavía faltaban como 30 40 años y cibio es una fundación de early adopters que lo que nos gusta es jugar mucho con las maquinitas eh Y desde ahí por tanto se nos plantean vamos viendo los problemas que este tipo de cosas pero por una labor muy sencilla porque estamos en el puro experimento en el día a día no entonces eh cuando nosotros nos planteamos este problema no nos planteamos El problema del acceso al código fuente lo que nos planteamos es cuál es la problemática que existe en una sociedad que tecnológicamente de repente tiene que darse la vuelta se tiene que cambiar porque lo que entramos es a a encontrarnos con unas problemáticas derivadas de la utilización de unas tecnologías y el principal problema que queda sin resolver todavía y es al que tenemos que ir es cómo hacemos esa reparto de poderes esa separación de poderes montesqui en la sociedad digital porque cuando nosotros lo que hacemos es llevamos a cabo un análisis de los federalist papers en el número 10 lo que se está diciendo es que no puede existir ningún tipo de información que vaya entre un poder u otro y si sin embargo aquí lo que nos encontramos es en nuestro estado que quien administra las redes del poder judicial Precisamente es el poder ejecutivo entonces la problemática que nos estamos encontrando con respecto a la a la adaptación de todo este tipo de tecnologías es múltiple y variada y una de ellas una de ellas una de las manifestaciones es que lo que ahora venimos a denominar Inteligencia artificial que yo bajo esa perspectiva eh hace ya 15 años decidí que no me iba a hacer un un doctorado en Derecho sino que porque el derecho lo que me da son una serie de norm as pero la capacidad de hacerme preguntas y de reflexionar sobre el mundo me lo daría la ciencia tecnología sociedad y de ahí que lo que estudié fue un eh un doctorado en filosofía y el primer problema que se nos plantea Es que la postmodernidad tiene una característica esencial y es o te cambio los nombres de cosa o no te la voy a poder vender Eh entonces qué es lo que ocurre que cuando lo que nosotros nos vamos al eh a los artículos 1 eh Y nos vamos al artículo 2 2 y al artículo 1 3 del código civil tenemos ya dos algoritmos allí insertos y estos algoritmos que tenemos allí insertos son el artículo 1 nos dice que carecerán de validez las disposiciones que contradigan otra de Rango superior ética deóntica señores algoritmo la pirámide que el senana representación del ordenamiento jurídico como hace depender una norma de la validez de la superior es un puro algoritmo es una pura ordenación absolutamente lógica y en el colegio nos castigaban si no conocíamos un algoritmo esencial que era el del orden alfabético donde los dos errores normales eran no saber dónde poner la che o olvidarla y no saber dónde poner la elle o olvidarla porque la ñe sí sabíamos Dónde estaba pero la Che y la elle eran errores bastante evidentes por lo tanto cuando se produce un cambio de una tecnología que es la tecnología de la oralidad a una tecnología en la cual ya lo que hacemos Es utilizamos una tecnología que es la de la escritura diseñamos dibujamos las palabras y esas palabras por tanto para dibujarlas utilizamos unas letritas eso es la tecnología de la escritura se produce una gran Revolución jurídica Y esa gran Revolución jurídica tiene finalmente una consecuencia en el código civil que es el que implanta un tipo de desarrollo algorítmico y lo que nos viene a decir es que las leyes solo se derogan por otras posteriores punto nos hemos cargado ya la costumbre eh Y en segundo lugar lo concreta con el artículo 13 la costumbre solo regirá en defecto de la ley aplicable siempre y cuando no sea contraria a laboral al orden público y que resulte probada por lo tanto estamos Estableciendo unas condiciones algorítmicas de existencia y no olvidemos por supuesto ley especial deroga ley general ley posterior de loa ley anterior etcétera etcétera toda la vida llevamos haciendo algoritmia Entonces qué ocurre que silicon baley que es una gran fuerza geopolítica necesita dinero e inventa cosas y estas cosas que no se inventa ya la Inteligencia artificial tiene fundamentalmente dos grandes ventajas Ya nadie habla del metaverso y ya nadie habla de los nfts eh Entonces eso ya no se habla de ello ya hemos cambiado el lenguaje y lo que decía la profesora Susana Sierra es que es fundamental el hecho de la terminología absolutamente Y esto es lo que nos encontramos porque el ejemplo que yo pongo siempre para establecer un un una Inteligencia artificial Es que la Inteligencia artificial es como el cáncer los médicos cuando dices tiene cáncer dices Sí pero es que hay miles de cánceres con lo cual o digo qué cáncer concreto es o no me está usted diciendo nada entonces la Inteligencia artificial nos pasa Exactamente igual De qué está usted hablando Qué tipo de Inteligencia artificial me está usted contando porque solamente desde el momento en el cual usted me identifica Cuál de ellas estamos hablando es cuando yo le puedo adherir y Añadir como también decía Jesús una determinada eh característica jurídica y efectivamente la profesora Sierra lo que nos decía es que no tienen peré una naturaleza jurídica porque Qué es un orden alfabético o qu es un Lex deroga una ley anterior deroga una ley posterior Y qué es lo que nos encontramos por tanto que sin embargo tienen siempre una característica comú al igual los cánceres tienen características comunes la Inteligencia artificial tiene una característica común y tiene tres lugares y estos tres lugares o tres fases la primera de ellas es la la inyección de datos que estos datos pueden ser creados traídos o pueden ser una vez que los he dotado de unos algoritmos lo que hago es los vuelvo a producir más datos por lo tanto los datos pueden ser también de una autopoiesis de la propia circulación de los propios datos en segundo lugar existe una algoritmia una reglas de ordenación y estas reglas de ordenación luego posteriormente Una vez que se les aplican lo que genera es un modelo anda Y antes lo explicábamos en el café que el mejor ejemplo que tenemos para ver cómo se hacía esto manualmente se llama diccionario de la Real Academia de la lengua española porque lo que teníamos eran muchísimos datos estos datos lo que se decía era se ponían unas cartulinas O sea que estamos en la línea de las cartulinas Yo también me he traído aquí mi mi mi mi mi digamos mi mi mi mi ponencia la he traído aquí y entonces lo que se hacía era se decía a ese tipo de datos que se recolectaban por numeros numerosísimas personas que eran todos aquellos países hablando hablantes hispano hablantes en a partir de 1710 lo que se dice es lo que vamos nosotros a hacer es le vamos a critar al a aplicar dos algoritmos el primero de ellos es el algoritmo del desuso y el segundo algoritmo se usa o no se usa esta palabra que lo que genera es la introducción de términos nuevos Como por ejemplo fútbol o la aparición de términos nuevos como hacker o decir este ya no se utiliza vamos a quitar del diccionario de la re Academia y el segundo se le aplica un algoritmo de ordenación alfabético y de ahí obtenemos un modelo que es el diccionario de la Real Academia todos los sistemas de Inteligencia artificial tienen esas tres fases y ahora le llamamos Inteligencia artificial a lo que antes le denominamos software lo que pasa es que le llamamos software no lo podemos vender Eh entonces lo que hay ahí también es unos grandos intereses que además lo que le aplicamos es la doctrina típica del choque Qué miedo Qué miedo tenemos mucho problema que lo que va a venir Y entonces ya lo que tenemos es la siguiente Ronda de financiación ya no para financiar noos la generación de algoritmos o de Inteligencia artificial sino para financiar noos contra los peligros que se nos pueden producir Y esto es muy típico de las investigaciones científicas Nunca Jamás voy a dar la investigación por cerrada porque con esta nueva pregunta que yo abro obtengo nuevas rondas de financiación dicho esto lo que yo sí quisiera ya eh comentar es eh otra serie de cosas que yo entiendo que son bastante eh relevantes el la problemática de la Inteligencia artificial es doble en primer lugar porque lo que estamos sustituyendo científicamente es una relación de causalidad por una relación de correlación estadística Y eso lo que significa es que la correlación estadística cómo mentir con estadísticas es algo que ya se sabe perfectamente Entonces ahí es donde nosotros tenemos una gran problemática a efectos causales jurídicos jurídicamente siempre Nosotros hemos tenido la relación de causalidad como uno de los elementos en los cuales lo que podría yo realizar es una accountability y por supuesto los sistemas de gobernanza y eh De ahí establecer determinado tipo de responsabilidades y sin embargo cuando yo lo que entro es en relaciones eh de correlación se me difumina a través de ese Data provenance a través de dónde provienen los datos y a través de las distintas capas de cebolla que se van integrando dentro de los datos y dentro de las maneras de manejar los datos eh este tipo de problemática pero es que hay otro problema adicional y es el siguiente el conocimiento No solamente es conocimiento Expreso cuando una máquina lo que quiere hacer es datos esos datos tienen que ya que estar formalizados pueden estar estructurados o no Porque ya las máquinas pueden entender también extraer datos de lenguaje perdón de datos no estructurados entonces esos datos ya sean estructurados no estructurados siempre tienen que estar expresos pero lo de siempre y el ejemplo mejor es ese de niña ese chico no me gusta para ti que le dice la madre a la hija y la hija le pregunta pero tú queé sabrás mamá y dice Mira yo no lo sé pero Eh entonces ese conocimiento tácito que tenemos los seres humanos no está formalizado y por tanto en la Inteligencia artificial carece de uno de los elementos esenciales del conocimiento humano que es el conocimiento tácito si cogemos las teorías de nonaka sobre cómo funciona el conocimiento en el cual lo que vamos es de un conocimiento eh tácito lo expresamos y por tanto ya es conocimiento formalizado para que luego vuelva a surgir un conocimiento tácito esa circularidad del conocimiento entre Expreso y tácito las máquinas están olvidando la mitad por lo tanto llamarle inteligencia es una especie como de burla Eh entonces yo no le llamaría inteligencia lo que la mayoría son métodos estocásticos de producción de resultados eh Entonces estos métodos estocásticos de producción de resultados los puedo yo obtener de El entorno porque voy aprendiendo el entorno mediante sensores pero también lo que puedo hacer es los puedo aprender de los de los que ya tenía anteriormente dicho esto eh entro ya en el tema ciio qué es lo que ha ocurrido en este procedimiento cuando civio lo que se plantea es el conocimiento del código Fuente eh No es realmente el conocimiento del código fuente lo que yo quiero saber lo que yo quiero denunciar es el hecho de que actualmente no se nos regula mediante normas jurídicas se nos regula mediante normas que son de tipo formal existen dos tipos de lenguaje el lenguaje natural que es en el que yo estoy hablando ahora y existe el lenguaje formal el lenguaje formal es el que sigue unas reglas determinadas Aristóteles hizo lenguajes formales estamos hablando de la ética eh el mejor ejemplo para el derecho es la lógica la lógica deóntica que se fundamenta en la obligación en la prohibición y en la recomendación entonces este tipo de cuestiones son las que eh tenemos Nosotros siempre que tener en cuenta y la problemática que tenemos es que si El conde de romanones en el siglo XIX dijo Haga usted la ley y déjeme el reglamento ahora lo que se dice es Haga usted la ley y el reglamento que yo eh haré la aplicación informática y si te la casilla de deducción por hijos en el impuesto sobre la renta a las personas físicas te he cambiado el ejercicio de tus derechos y ahí es donde viene el artículo de magnífico de Boys en el sentido de decir cuidado que las leyes son reglamento Perdón que los que que el algoritmo es reglamento y yo estoy de acuerdo contigo no sé si son reglamentos o no porque hay tantos algoritmos y evidentemente el ABC no es un no es un reglamento y también se ha planteado que cuando existen oposiciones como resulta que lo que estoy haciendo es llevando a cabo empieza por la letra F mañana empezarán a defender la tesis los de la letra f y dicen los que están al final de otra letra No no es que si usted ya está comenzando siempre y el corte lo hace al principio de cada una de las letras usted lo que no está haciendo es una justicia distributiva lo que usted tendría que decir es si tenemos 1000 personas que están en la oposición Haga usted un un un número aleatorio y por ese es por el que estamos iniciando porque no tienen el mismo número de distribución de apellidos la letra c que la letra m que la letra V que la letra Z entonces y eso no es un algoritmo o sea es un algoritmo pero no es un reglamento O sea que existen numerosísimos supuestos en los que nosotros tenemos que tener eso en cuenta civio lo que dijo fue queremos conocer Cómo funciona el programa Bosco porque hemos detectado conocemos perfectamente que los resultados que da la página web del ministerio no son los resultados que nosotros que sí que hemos hecho una formalización en código de lo que dice la ley resulta que usted hay algo que aquí no le funciona porque no le está dando el código no le está concediendo este Bono social a grupos de personas que sí tendrían que tener derecho a ello con lo cual déjeme usted ver ese código porque yo tengo derecho a conocer las normativas las reglas el código fuente de lo que a mí me está regulando mis derechos por lo tanto se trata en primer lugar de un supuesto en el cual la norma jurídica se está utilizando para tomar una determinación de a quién le concedo un derecho y A quién no le concedo un derecho e se planteó Además desde la perspectiva del artículo 93 de la Constitución dado que lo que estamos es en presencia de una norma aunque sea de tipo técnico que lo que de la cual resulta la concesión de un derecho no es idéntica por tanto a una norma jurídica y ya todos sabemos que lo que nos encontramos bajo un punto de vista antropológico que existen a lo largo de la historia de la humanidad las normas de tipo social las normas de tipo religioso y las normas de tipo legal y la gran contribución de Kant a la filosofía del derecho fue diferenciar la norma religiosa de la norma eh jurídica y luego Posteriormente la gran contribución por parte de la sociología y de la antropología que como decía mi eh director de tesis Antonio Alonso el filósofo Antonio Alonso son hijas bastardas de la filosofía directamente eh junto con la psicología entonces eh la gran contribución es decir también existe una normativa de de social claro la norma técnica qué naturaleza tiene bajo un punto de vista cultural bajo un punto de vista antropológico la utilizamos la ponemos dentro de la normativa jurídica sirve como norma jurídica en algunos casos sí las barreras del metro me impiden a mí entrar o no pero realmente es una norma jurídica o no es una norma jurídica entonces aquí lo que tenemos es la gran reflexión de la disciplina de la ciencia tecnología y sociedad acerca de de qué estamos hablando cuando lo que estamos hablando es de una normativa de tipo técnico Y si la Norma al tipo técnico por tanto lo que tiene es una plu visión O sea la podríamos reconocer desde una pluralidad de ángulos uno de los cuales tendría que ser el jurídico cuando lo que estamos en presencia de este tipo de situación Porque ha sido un determinado algoritmo el que ha decidido si yo puedo o no tomar una tener una contribución de derecho este planteamiento el artículo 93 e se desestimó realmente se desestimó pero hubo tres elementos que lo que hacen es eh Ya hemos preparado la eh la el recurso el anuncio del recurso de casación y y por tanto Pues voy a hablar de una matriz de de nueve elementos y esta matriz de nueve elementos son tres líneas y tres columnas eh Y eh hemos fundamentado nuestro recurso de casación En las siguientes cuestiones en primer lugar eh sobre los eh graves perjuicios a los intereses generales en segundo lugar la trascendencia de lo que estamos hablando y En tercer lugar la inexistencia de jurisprudencia que son tres de los requisitos jurisprudenciales que tenemos tenemos tener mucho cuidado en eh que no se pensara que lo que estamos haciendo es hablando de hechos pero ya el propio recurso de apelación eludió esa problemática de que no se estuviera eh cuestionando el hecho de si el código o no código es el que toma la decisión o no toma la decisión porque a mí me es Exactamente igual y por qué me es Exactamente igual por la sencilla razón de que el hecho de que se utilizara la herramienta de una manera u otra nosotros ya hemos conocido cómo se hacía y quién lo ha hecho magníficamente bien lo han hecho magníficamente bien los sindicatos y lo ha hecho magníficamente bien las entidades de gestión de la propiedad intelectual y cómo lo hacían muy sencillo si yo perdía el asunto en primera instancia yo nunca recurría Por qué Porque la judicatura y los tribunales única y exclusivamente tenían las bases de datos de las audiencias provinciales con lo cual cuando yo ganaba resulta que a mí sí me me me presentaban un recurso de apelación y ya sabemos que cuando uno ha ganado en primera instancia es más fácil que también le den la razón en la segunda instancia Entonces el ían siempre el recurso en primera instancia tanto los sindicatos como las entidades de propiedad de la gestión por tanto cuando la judicatura ya recibía en aquellos CDs las bases de datos ya lo que tenía era una percepción sesgada de las casos en los cuales podía fundamentar su eh su eh decisión porque nunca jamás le llegaban las de primera instancia que precisamente eran contrarias a las que se estaban eh evaluando ahí por lo tanto ya sea como una herramienta o ya sea como eh un eh sistema en el cual se integra la decisión es necesario y es conveniente a efectos de seguridad jurídica que la ciudadanía pueda reflexionar pueda verificar si lo que existe Es la posibilidad de introducción de un sesgo o no otro ejemplo muy tonto el ayuntamiento Madrid dijo cuando ya estamos a punto de tener cáncer de pulmón todos nosotros vamos a implantar el sistema de solamente los coches pares salen los días pares y los coches impares salen los días impares Sí pero es que resulta que hay más días impares al año entonces en elementos tan básicos como esa reflexión se produce una distorsión digamos de las disciplinas yo yo Es que soy de letras no Yo es que yo Es que soy de ciencias Y eso que es En definitiva un eh una cuestión e artificial es una división artificial ese problema interdisciplinar es con el que nosotros nos encontramos ahora porque la persona que tendría que tener la capacitación suficiente como para reflexionar sobre estos temas ahora se nos dice que es imposible pero tendría que ser una persona que conociera perfectamente de lo que Cómo funciona el código fuente en segundo lugar o cómo funcionan los sistemas informáticos en segundo lugar Cómo funciona el derecho y En tercer lugar Cómo funciona la documentación y la archivística que ya nos ha dado muchísimas respuestas sobre toda la problemática de cuidado que siempre estamos como con la percepción de que los datos son algo estático pero siempre estamos en situaciones de procesos y ahí es donde nosotros tenemos que analizarlo los tres elementos de la matriz son en primer lugar el hecho eh de eh límite de la propiedad intelectual se nos dice esto es un código fuente es propiedad intelectual de la Administración pública por tanto usted no tiene que llevarlo no tiene que tener acceso la respuesta nuestra es la siguiente ejerce usted la ponderación de los límites del artículo 14 de la ley de transparencia y en esta ponderación de los del artículo 14 del artículo 14 1j de la ley de transparencia perdóneme usted es que yo tengo acceso a la cartografía Usted no tiene ningún inconveniente en darme la cartografía y esto hay que combinarlo con el artículo 13 del texto refundido la ley de propiedad intelectual que excusa de la propiedad intelectual de toda aquella producción documental de la Administración pública a muy poquitas cosas con lo cual si nosotros lo que interponemos es este tipo de excusa resulta que una miríada una ingente cantidad de documentación de las administraciones públicas nunca jamás sería objeto de transparencia porque es difícil que no exista una obra científica literaria doctrinal por parte de la Administración pública en el momento en el cual lo que está haciendo es la construcción de una determinada reflexión y eso Precisamente es es la definición de una obra de propiedad intelectual por lo tanto entendemos que ese artículo de la propiedad intelectual llevado de una manera talibán en el sentido de decir No no es que todos los casos desde el momento que tiene propiedad intelectual ya aquí no se puede acceder nunca más porque por Dios eh la sagrads ima propiedad intelectual tendríamos aquí un grave problema entendemos que atenta contra produce un grave perjuicio a los intereses generales tiene una gran trascendencia futura y no hay jurisprudencia sobre este caso en segundo lugar El acceso parcial a la información como resulta que nosotros ejercitamos nuestra demanda Y en el escrito conclusiones hay un fundamento en el cual lo que se dice es que en el que también es aplicable el artículo 16 por tanto del acceso parcial lo que nos dice el tribunal de instancia y luego nos dice la sala es que hemos modificado el petitum y que eso esa desviación procesal está totalmente prohibida y claro yo lo que le digo es yo no puedo estar haciendo una desviación procesal si lo que estoy diciendo es la la obligación que tiene la administración pública porque ese artículo no es de derecho dispositivo ese artículo es de derecho necesario si es de derecho necesario la administración pública aunque yo no se lo solicite es su obligación hacerlo y esto es por tanto lo que solicitamos del tribunal supremo que nos analice si esto es como nosotros lo entendemos tampoco hay jurisprudencia supone un grado de perjuicio a los intereses generales y entendemos que es de Gran trascendencia y un elemento que sí que atañe a eh todos los consejos de transparencia de eh de de del estado se nos dice que claro nosotros interponemos la demanda y nos fundamentamos en un acto jurídico que es el de la resolución del Consejo de transparencia donde lo que se dice es que nosotros no podemos Acceder al código con una sola causa que es con la causa de la propiedad intelectual del código aquí hay el límite del 14 1j de la ley de transparencia Y luego qué es lo que viene vienen a declarar a los juzgados el subdirector general que fue el responsable de la generación de que el código que realmente lo que hacía este hombre era tapar que habían hecho una chapuza directamente directamente eh o sea esto ya no es un problema de código hay una lenguaje que hay una terminología que se utiliza mucho en informática que es el código spaghetti o sea aquel que es chapucero eh Porque claro solamente se puede explicar que sea chapucero Eh y además no lo digo yo lo dice la sentencia si se accediera a este código se podría incluso hasta hacer minería de criptomonedas en los servidores del Ministerio de Hacienda eh si el código realmente se puede hacer eso ese código es una chapuza O sea tú no puedes tener una aplicación que es la aplicación Bosco donde lo único que va a hacer es conectar quien lo solicita con la comercializadora que a lo que le va a decir es tú a este señor que tiene este nif lo que le tienes que hacer es le tienes que aplicar un descuento esto es toda la transmisión de informa que existe Es que ni siquiera archiva ningún tipo de dato eh simplemente autoriza transmite punto ya está bueno pues si resulta que eso lo que a mí me permite es hacer criptomonedas perdón eh No sé algo algo algo mal habrá hecho esa subdirección general y la discusión que tenemos ahí fundamentalmente es la de la seguridad por ocultación eh o sea no no es que esto lo tenemos que hacer secreto y nos traen un informe del del del criptológico del Instituto criptológico Nacional que lo que genera es una sentencia disparatada que tiene un efecto que una consecuencia que es muy interesante y es que la problemática de que los órganos judiciales si no conocen de lo que se está hablando son están al final perdiendo el respeto en una gran parte de la ciudadanía porque todo científico de la computación que lee o toda colegio profesional dedicado a la ciencia computación y a la informática que lee esto lo que hace es pierde la fe en las instituciones y necesitamos unas instituciones sólidas y unas instituciones fuertes en un estado y fundamentalmente el poder judicial tiene que ser respetado absolutamente desde todos los sectores sociales y esto es una pérdida de confianza en la judicatura no podemos generar un estado donde lo que se diga por parte de los científicos de la computación y todas las personas que cada día tienen más importancia en lo que es la tecnificación de la soci que precisamente los jugados y tribunales son unos ignorantes y lo que llevan a cabo es este tipo de decisiones no es por tanto una decisión que sea inane es que es una decisión muy vergonzosa bajo un punto de vista de la ciencia de la computación y lo que se nos produce aquí es que cuando se nos está diciendo que el límite es el de la propiedad intelectual debido a esta intervención del informe criptológico nacional y de la testifical obviamente interesada del subdirector general de la propiedad intelectual Perdón del del del ministerio donde lo que se estaba haciendo y donde se hizo fue el desarrollo del programa Bosco lo que se genera al final es una plétora de eh excepciones Y entonces ya la sentencia a primera instancia nos viene incluso a decir que aquello lo que atenta es contra la seguridad nacional atenta con las funciones administrativas de vigilancia inspección y control atenta contra los intereses económicos comerciales atenta contra la política económica y monetaria y atenta contra la garantía o de la confidencialidad O el secreto requerido en procesos de toma de decisión eh Y esto es por tanto lo que nosotros tenemos que reivindicar ante el tribunal supremo que los actos jurídicos del de los diferentes consejos de transparencia de España cuando lo que dicen Es que la límite es el del 1j esto ya lo que hace es cierra la posibilidad de intervención por parte de la Administración Pública para introducción de hechos nuevos qué es lo que realmente hace y lo hace la sentencia de primera instancia lo que hace es utilizando la excusa de que la administración lo que puede hacer es introducir cualquier tipo de hecho y alegar cualquier tipo de hecho utilizando esa excusa no introduce hechos nuevos sino lo que introduce es toda esta miríada también de e de nuevas límites al al derecho entonces utiliza el truco de llevar a cabo mediante la introducción la posibilidad de introducir hechos utiliza el truco de no introducir hechos sino realmente utilizar limitaciones a los derechos que ya estaban establecidos creo que es relevante eh las tres cuestiones que hemos planteado entiendo que la relevancia del límite de la propiedad intelectual tiene que ser analizado por el tribunal supremo entiendo o entendemos que la relevancia también del acceso al código eh al del acceso parcial es bastante relevante y luego por último que las decisiones de los distintos órganos garantes de transparencia tengan una un cierre para que la administración pública entre otras cosas lo que no haga es diga Bueno yo lo dejaré todo para el contencioso porque ya bastante tenemos que no se atiende por parte de la Administración pública y esa es una de las grandes cánceres que tenemos en en la transparencia uno la falta de recursos Porque yo cada vía siento más que los consejos de transparencia son héroes sin capa eh esta gente que hay que son héroes porque no les dan recursos el el consejo de transparencia de Madrid no tenía recursos tampoco o sea es es como verdaderamente vergonzoso para qué puedo crear un consejo de transparencia no le do todos recursos no le do todos funcionarios le voy quitando competencias legales etcétera etcétera Bueno pues es importante reivindicar la fijeza de la de la de las decisiones de las resoluciones de los consejos de transparencia para evitar que mediante este tipo de subje refugios la Administración pública eluda su obligación de transparencia que es En definitiva lo que está haciendo mediante no dar respuesta a las peticiones de transparencia Y en segundo lugar mediante declarar como inanes las resoluciones de los distintos consejos de transparencia y en esas estamos y dentro de do años les contaré qué ha pasado eh Muchas gracias [Aplausos] pues muchísimas gracias Javier por introducirnos en la algoritmia del alfabeto y llegar finalmente a las cuestiones tan prácticas del pleito que tenéis eh pendiente de resolución y que plantea cuestiones realmente interesantes desde la perspectiva del del derecho de acceso Bueno yo creo que han sido tres ponencias que nos han abierto muchos frentes sea Abre ahora las preguntas el debate las consideraciones la intervención de todos los que estáis en esta sala y seguro que que podéis aportar preguntar o cuestionar José Luis adelante voy a abrir el el turno y bueno como no puede ser de otra forma en primer lugar felicitar a los tres ponentes por las magníficas intervenciones que nos nos han aclarado muchas cosas Si sino que nos habéis dado también muchos elementos para reflexionar y también apuntado por dónde tenemos que ir orientando las soluciones O al menos Cómo podemos ir abordando este enorme reto que tenemos en relación con con la transparencia de estos desarrollos que cada día tienen más presencia en el funcionamiento de la de la administración no em Hay muchísimas muchísimas eh cuestiones que me gustaría eh comentar pero me voy a limitar una eh que puede parecer menor pero creo que no no lo es tanto eh eh en relación con una afirmación que que Susana has deslizado en en tu intervención por lo demás eh magnífica y es la de que eh Cuando se trata de algoritmos digamos simples no algoritmos que contienen o que forman parte de Inteligencia artificial no habría indefensión en caso de que se es decir es decir no hay indefensión lo quiero comentar porque es un argumento que que ya he leído otras veces y que no sé qué grado de extensión tiene pero sí entre sobre todo entre administ vistas no eh eh claro no hay indefensión pero al final del proceso eh pero si hay una lesión inicial eh de de los Derechos o la puede haber no eh de entrada si un si un algoritmo aunque sea un algoritmo simple está eh mal programado eh Y aunque sea un algoritmo simple puede tener sesgos eh dependiendo de de cuáles hayan sido los parámetros que se hayan utilizado o cuá Sid los datos que están utilizado en la programación pues aun si está mal programado Eh puede dar un resultado discriminatorio y eh No podemos eh No podemos tampoco infravalorar eh ese efecto inicial Aunque finalmente asumiendo la carga eh que que que tiene el ciudadano de tener que recurrir esa decisión aunque finalmente se restablezca digamos eh la igualdad y se elimine la discriminación ahí sí hay una lesión inicial de los derechos por lo tanto obviamente estos algoritmos simples no tienen digamos la capacidad o o la la el riesgo la gravedad del riesgo que tienen la Inteligencia artificial pero creo que no los debemos inf infravalorar en cuanto a la capacidad de lesionar derechos no era simplemente esta esta reflexión Sí pues muchas gracias porque era justo Una de las cuestiones que tenía anotadas y que si había tiempo quería profundizar un poco en ello al hilo Además del caso Bosco en el que tenemos un perfil de recurrente potencial que es un una persona vulnerable son distintos colectivos todos ellos conducentes a situaciones de vulnerabilidad que por lo tanto eh No tienen en muchas ocasiones medios económicos o medios de otro tipo eh Para recurrir En ese sentido Ya la carga de recurrir es es un daño que era que era un poco lo que tenía anotado cuando me refería cuando realizaba esa información susceptible de muchos matices porque todo es muy Matiz como he tratado de insistir Eh me refería sobre todo a que en este tipo de supuestos e no genera indefensión el desconocimiento en general del código fuente es decir hay otros instrumentos para saber que ese algoritmo está funcionando de manera incorrecta Pero eso no quiere decir que no lo tengamos que atacar Porque evidentemente si nadie lo ataca y no se destripa y no se prueba que funciona de manera eh incorrecta Pues eso no se va a modificar y por lo tanto La carga del recurrente de continuar recurriendo interponiendo recursos especialmente en estos supuestos pues es bueno pues se encuentra en el meollo del Estado de derecho en el núcleo duro del Estado de derecho y por supuesto que genera indefensión desde ese punto de vista cl precisamente eh precisamente eh esa eh Esa digamos contextualización eh para para nosotros nuestras resoluciones es clave no Porque eh y de hecho hay un pasaje en las eh resoluciones en las que eh se introduce la salvedad de que mientras que no existan otros instrumentos eh Para poder verificar que esas decisiones no son arbitrarias lógicamente eh si se incorporan eh auditorías de terceros que puedan fiscalizar lo ya no sería necesario acceder eh al código fuente pero en las circunstancias actuales las que tenemos que decidir tenemos que decidir con los datos existentes en la realidad y por eso decimos en las circunstancias actuales no hay otra manera de poder verificar si tiene un efecto discriminatorio si tiene un sesgo salvo poder acceder a la información sí Totalmente de acuerdo y del eje ferenda pues cabe plantearse quién tiene derecho de acceso al código fuente porque como hemos insistido también en muchas ocasiones es una cuestión de ponderación Incluso si fuera verdad que estuviéramos ante un supuesto No digo en Bosco porque evidentemente no es el caso pero en otros supuestos de un grave riesgo para la seguridad nacional es fácilmente entendible que se pueda dar ese supuesto Cómo no Bueno pues articulema supremo hay un magistrado especialmente designado para controlar la actividad del CNI por ejemplo no pensemos quizás que pueda haber un magistrado especializado con un equipo técnico para controlar ese tipo de supuestos yo que ademá no me voy a enterar De nada pues igual no tengo derecho de acceso a ese código fuente pero que haya un mecanismo institucionalizado Pues esta por ejemplo cuando entre en funcionamiento que va a ser una de sus funciones y en caso de control judicial Pues que haya un sistema por el cual al menos el los juez pueda conocer las tripas de ese instrumento no es decir quizás no derecho de acceso generalizado sino una regulación Pues detallada de detalle distinguiendo los distintos supuestos y viendo quién tiene derecho de acceso qué hacemos entre tanto yo creo que intentar acceder a a esa información y conceder por lo tanto la la petición e yo creo también un poco lo que dices es la línea que apuntaba Jesús de ese acceso mediatizado no a través de instituciones o a través de personas que tengan un conocimiento más específico o que incorporen esos otros saberes a los que tú hacías referencia porque es verdad que estamos en un momento de aprendizaje todos y que respecto de resoluciones de autoridades reguladoras suele haber una deferencia judicial porque hay una experiencia previa y una profesionalización pero también tenemos que tener en cuenta que en este caso las resoluciones que se están recurriendo forman parte de autoridades garantes que tampoco están especializadas en en en lo que es la digitalización y el saber técnico entonces aquí realmente hay que hacer un esfuerzo de incorporación de otros saberes o de incorporar lo que decía a Jesús de ese acceso mediatizado yo no creo es mi opinión particular que deba negarse el acceso porque comparto personalmente eh lo que decía Jesús en el sentido de a ver Es verdad que el ciudadano medio me incluyo yo no me voy a enterar si me das el acceso al código fuente dependiendo de cuál sea el lenguaje en el que me lo estás dando pero yo creo que si hay maneras y por eso insistí al principio en cómo yo he notado esa evolución en las ion esas maneras de pedir una explicaba dar todo lo Es verdad que siempre te faltará el código fuente a no ser que tengas un acceso mediatizado una inteligibilidad de aquello a lo que accedes pero en principio yo creo que ahora es lo que tenemos que hacer que se está dando acceso a todos eso esa información de especificaciones técnicas de casos de uso faltan pues esos datos etcétera Pero en fin todavía estamos en un proceso y yo no sé si aquí la deferencia judicial puede entrar lo digo por este caso concreto realmente Bueno pues es uno de los primeros casos Si se había alegado en el procedimiento ante el consejo la seguridad lo que pasa es que había sido descartado por falta de justificación suficiente es decir si se había hecho un análisis desde la perspectiva del límite por parte del consejo que eso Supongo que es lo que también permite que vuelvas a incorporar el D como como uno de los límites hay hay una cuestión y es la siguiente históricamente ya se ha producido este problema este problema ya lo el de acceso a un código que no conozco y era el de la gente que en una mayoría de sociedad analfabeta resulta que tenían que Acceder al código fuente de los procedimientos judiciales Entonces qué es lo que se hace se establece una figura un intermediario que se llama procurador que es el que representa al administrado por lo tanto el hecho de no tener conocimiento de En qué código está escrito una determinada información no puede ser una una limitación o no de acceso al mismo ocurre también exactamente mediante el tema de la obligatoria de traducción de aquellos documentos que no estén en los lenguajes oficiales en el momento el cual yo tengo esa obligación de traducción En definitiva lo que se produce es la transmutación de un código en otro a través de un intermediario que lo que hace es hace que ese código por tanto pueda ser verificado la verificación pública las fuentes abiertas es una práctica que incluso hasta la Unión Europea está recomendando actualmente y ya se sabe Por supuesto que y no nos olvidemos que la infraestructura en la que nosotros vivimos actualmente que es una infraestructura tecnológica son los denominados Quest for comments es un conjunto de unos 9800 documentos que formalizan lo que es el hecho de que podamos enviar un correo electrónico desde aquí hasta aquí son libres son gratuitos están en un código que todo el mundo puede leer aunque uno no lo entienda pero siempre lo que puedo hacer es tener a un ingeniero o a un colega o a quien sea que lo que puede hacer no solamente traducirlo sino lo que puede hacer además es formar empresas tales como Apple t como Google que todas dependen de una infraestructura común de un procomún digital que es entendible por toda la humanidad y ese tipo de cosas por tanto que la infraestructura de la sociedad tecnológica en la que nosotros estamos Precisamente es está sobre un código que está abierto ese código es legible entonces esa es la manera que nosotros tenemos que entender hubo también históricamente otro supuesto y es el del nacimiento de la ciencia en un momento determinado la ciencia lo que tiene es por un lado viene la ciencia por el otro lado viene la alquimia la alquimia se basaba en un conocimiento específico única y exclusivamente para los miembros de una tribu que eran los discípulos de la persona que lo que estaba haciendo era teniendo ese conocimiento y la ciencia a partir de 1665 oldenburg en la Royal society lo que dice es No no es que tenemos que ponerlo en un registry book y este registry Book tiene que ser abierto y entonces de ahí nacen los philosophical transactions que es la primera revista la primera revista científica del mundo por lo tanto la ciencia se fundamenta en la verificabilidad y en la refutabilidad aunque yo no sepa nada de Medicina tengo que tener la posibilidad de que quien me trate a mí como médico pueda saber qué experimentos son los que han hecho con aquel cáncer que me está competiendo o lo que sea por tanto el hecho de que ya tengamos o no tengamos un conocimiento del código no excusa que ese código tiene que permanecer abierto para que el resto de la humanidad pueda pueda utilizarlo no solamente para utilizarlo en favor de derechos fundamentales sino utilizarlo para hacer riqueza para creer riqueza los juristas somos el mejor ejemplo de creación de riqueza mediante un código libre eh los hosteleros el segundo nosotros vamos a nuestras Jesús sí no sí se oye sí a mí a mí me lle un poco desbasta la frustración vale porque yo yo creo que la al final al final cuando llega la solicitud del código Cuando digo el código digo cualquier elemento técnico de la herramienta ya es tarde digo muy tarde vale no es justo que ni a la administración ni ni a la autoridad de control ni siquiera al tribunal se le abra el debate de Qué causas o qué motivo hay para permitir o no el acceso al cigo Entonces yo creo que estos deberes de deben ya estar hechos pero a todos los efectos Porque además la mayoría de a mí me da mucha pena decir es cierto hay veces que si si yo me olvido de de digamos de de la la frivolidad del código espaguetti si me olvido de eso es posible que realmente el funcionario entienda que es así si yo pongo el ejemplo del acceso a aquellos sistemas que identifican que perfilan eh digamos posible fude fiscal o banqueo de capitales no es justo que cuando se solicite en ese momento a un funcionario se le ponga sobre la mesa ese debate no es justo vale porque hay un motivo real es que puede usted eludir el cumplimiento de la norma si usted tiene el acceso a las claves de pues ese debate es previo es decir cuando usted decida generar una una aplicación o un sistema con una con un cometido explique por qué con qué para qué con qué ámbito de publicidad justifique por qué lo va a hacer pública o no y el ejemplo concreto de digamos de estos sistemas que que perfilan hay una y hablo de protección de datos que es mucho más intenso ahora mismo Está más contrastado que la transparencia digamos la poción está previamente ya ya la traemos de casa Por así decirlo te dice directamente una decisión comunitaria que no se accede a los sistemas que evalúen el riesgo de fraude fiscal en materia del IVA y te lo dice así de claro y si usted quiere cuestionar lo cuestiona esa decisión pero no pone función la situación de decidir y encima lo llevan a los tribunal lo llevan testigo ya es tarde entonces creo que que Precisamente hay que dejar Claro que que lo sistema no puede ser ocurrencia de nadie sino que tienen que responder a decisiones con sus actos separables por quien sea en un sector público sobre todo actos separable de derecho administrativo decisión de este sistema con esta características con este sistema de acceso a qué ámbito de acceso hasta que no hagamos eso va a ser complicado porque además en los hay una realidad existe límites precisamente para evitar la ilusión del cumento de la norma límite de propiedad intelectual pero un límite que es intrínseco a a la a la tecnología es decir a mí me yo le digo un científico Oye tú me puedes explicar una decisión con este sistema y dices no yo te puedo hacer una en local que le llam los principales magnitud se han considerado por el sistema Pero yo no soy capaz de de desentrañar toda la decisión bien y Bueno pues en el momento de de decidir utilizarlo se da el botón de expulsión no se puede utilizar a la administración así de claro Entonces se cuestiona el sistema en su conjunto porque no es accesible pero en el momento de crearlo yo creo que ya cuando se solicita el acceso ya es tarde ya al final se pone a a un funcionario a autoridad de control al tribunal es una posición muy muy complicada al caso concreto cuando realmente son decisiones administrativas yo no soy partid conar los reglamento pero pero digamos el punto de vista de la verificación de todos estos esquemas se aproxima mucho No sé si va alguna interven si quier Hola eh Solo dos comentarios eh sobre Bueno lo que se ha comentado de la de que se genera riqueza efectivamente Bueno pues con el software libre pues y mayor compartición de conocimiento Es verdad que pues genera má más riqueza y a su vez más conocimiento pero claro por otra parte pues en el mercado en el que vamos de libre competencia en el que que tenemos no nuestro sistema de de libre competencia capitalista etcétera Pues también hombre una empresa sector privado como una selva no y al final las empresas tienen que hacer pues sobrevivir hacen su inversión en Innovación Crean un algoritmo mejor que la competencia luego consiguen que un organismo público la administración contrate su su producto y Bueno pues Vale resulta que puede ese algoritmo afectar a algún algún derecho no pero claro si imponemos a la empresa entonces a efectivamente a que muestre el código etcétera estamos atacando un poco a la propia actividad económica a la inversión a la innovación y O sea que me parece un poco hay un dilema no eh Y bueno la segunda cuestión Eh me ha parecio muy interesante claro el hecho de que bueno que no hace falta que sea un acceso público total del algoritmo sino Bueno restringido pues sí que lo vea el juez o un experto etcétera Pero Mi pregunta es eso ahora mismo se articula de alguna manera Porque ahora mismo la ley es o o se le da al interesado al solicitante el acceso a la información que sea en este caso algoritmo o no pero esa ese intermediario pues me parece muy buena idea Pero no sé si se articula de alguna manera gracias Bueno yo al hilo de intervención me parece interesante El Bueno a mí me han surgido muchas dudas preguntas a las intervenciones de los ponentes a los que felicito Ya en este momento en primer lugar desde luego la la el conocimiento del código fuente cuando se actúa en la empresa privada no plantea muchos problemas el problema es cuando existe una colaboración administración pública empresa privada qué es lo que estaba planteando pente y cada vez será mayor porque la administración pública no tendrá ni los conocimientos ni los medios para desarrollar determinados mecanismos de Inteligencia artificial ni de códigos muy sofisticados y por lo tanto utilizará empresas privadas El problema es que llegará la empresa privada y dirá bueno cuidado Yo le ayudo al cumplimiento de funciones públicas pero como usted está ejerciendo funciones públicas y me viene un ciudadano impugnando y diciendo el código fuente yo mi código fuente no lo quiero revelar porque este es mi negocio la técnica en la pregunta y ese mecanismo de colaboración pública y priv efectos de conocimiento me lleva a la segunda cuestión que se ha abordado ya digo que tengo vari y es cuando existen ya precedentes de cómo se trata la confidencialidad en materia por ejemplo de la Comisión Nacional de Mercado y el problema es elz el tribunal de los datos confidenciales pero el recurrente no quiere eso el recurrente quiere conocerlos él la tutela judicial defectiva no es que el juez los conozca y me diga no tiene usted razón no no dígame usted Por qué no tengo razón quiero conocerlo yo y en base a mi conocimiento argumentarlo yo no me vale que usted a siendo un juez Imparcial con su conocimiento tenga un conocimiento secreto de este tema pero yo no tenga acceso a ello y esto plantea un problema esto por un lado por otro el profundizar en la naturaleza jurídica de esto es muy importante porque está en juego la legitimación está en juego los plazos de impugnación y está en juego los efectos que se van a producir no es lo mismo que yo tenga que esperar a que una determinada decisión de Inteligencia artificial o código fuente me genera a mí un daño y por lo tanto tengo una legitimación en cuanto interés directo o indirecto en esa materia y convertirme en recurrente a los efectos de acreditar mi daño que si pueda impugnar directamente el código fuente Aunque a mí no se me haya aplicado ante la eventualidad de que se pueda generar un daño y los efectos de la sentencia tampoco son los mismos ni el día extun que se produce el los efectos de esa sentencia por lo tanto profundicemos un poco más en la naturaleza jurídica de esto y y también planteaba me gustaría la lanzo así en general a los ponentes si los mecanismos que se han utilizado a efectos de controlar la discriminación indirecta es decir una decisión administrativa Aparentemente neutra pero que genera un resultado perverso en un determinado colectivo serían utilizables estadísticamente para controlar esta materia no me quiero extender más Muchas gracias muchas por la si queréis voy respondiendo alguna al tema solu I tecnológicas y que nos lleva a la colaboración público-privada a la contratación pública a la capacidad de la Administración quizás de de crear sus propios algoritmos de manera independiente o en colaboración con otras administraciones lec con otros estados a través de una empresa europea como eso tiene más color y trasciende lo jurídico yo no sé si si algún compañero aquí quiere quiere apuntar en cuanto voy empezar por la naturaleza jurídica y y coincido en la necesidad de clarificar la naturaleza jurídica e repitiéndome e insistiendo en que no estoy segura de que a día de hoy quepa e referirnos a una única naturaleza jurídica precisamente porque existen distintos tipos de algoritmos con distintas funciones eh pero sí que creo que hay que anticipar el momento de tutela estoy Completamente de acuerdo es tarde cuando llegamos al consejo de Cuando llegamos a los órganos judiciales hay un artículo que es el artículo 13 del del decreto del 21 sobre funcionamiento electrónico de la Administración por por medios electrónicos sobre actuación administrativa automatizada automatizada mediante Inteligencia artificial o no que establece la siguiente obligación en el apartado dos en el ámbito Estatal la determinación de una actuación administrativa como automatizada primero se autorizará por resolución del titular del órgano administrativo competente pa pa pa pa y se publicará en la sede electrónica o sede electrónica asociada tenemos ya alguna base jurídica eh que probablemente conviene utilizar un poco más en la actuación diaria de las administraciones la resolución que es acto recurrible la resolución expresará los recursos que procedan contra la actuación el órgano administrativo judicial en su caso etcétera bueno y una serie de cuestiones esto es derecho vigente Y yo creo que a día de hoy no está suficientemente explotado efectos de tutela porque hay una obligación y hay un sistema potencialmente de recursos en ese momento previo que es donde realmente necesario porque si no llegamos tarde pero estamos construyendo ese régimen jurídico Eh Pues gracias a las resoluciones judiciales no me ha dado tiempo en detenerme en algunas resoluciones que existen en otros estados eh de manera destacada en Italia ha habido unas sentencias muy pioneras del Consejo de estado francés en el año X que eh permiten el acceso al código fuente y a otras a otros elementos técnicos de un algoritmo utilizado en ese caso en un supuesto de en un proceso selectivo de de personal educativo donde claramente los resultados e de provisión de puestos de trabajo no tenían nada que ver con las solicitudes con la puntuación etcétera era evidente que el algoritmo no había funcionado correctamente y aquí el consejo de estado en resoluciones eh yo creo que que de alto nivel acude pues al derecho ya existente a principios clásicos y es que probablemente tampoco haya que inventar mediterráneos sino adaptar principios clásicos al nuevo contexto y y y no pensar tampoco en un Armagedón digital es decir yo yo tengo digamos una posición bastante intermedia no pienso ni que el entorno digital y la Inteligencia artificial sea la arcadia creo que es útil ojo porque aquí nos estamos centrando en los riesgos somos juristas Pero creo que es útil y sobre todo en el funcionamiento de las administraciones públicas Por supuesto que tiene muchas ventajas no solo en términos de eficiencia sino de atender bien las necesidades por ejemplo de distintos colectivos tampoco creo que esto sea un Armagedón entonces Bueno creo que que tenemos que estar más tranquilos y entonces el consejo de estado italiano lo que hizo es eh aplicar principios como transparencia en concreto el principio de eficacia de la Administración el de buen gobierno que lo tienen en su Artículo 97 en la Constitución y concluyo que evidentemente Estos principios y la necesidad de garantizar la tutela judicial conducían a que había que conocer cómo había funcionado ese sistema en ausencia además de otro tipo de explicaciones por parte de administración pública entonces eh naturaleza jurídica estoy de acuerdo muy importante precisamente por todas las consecuencias jurídicas que se derivan de ello no creo que sea un debate entre académicos creo que es un debate de importantes consecuencias prácticas eh pero hay que seguir dándole vueltas e y no es igual cada tipo de algoritmo y luego además hay una base jurídica ya yo creo para poder tirar de ella y anticipar ese momento de tutela que es donde donde es necesario e antecedentes confidencialidad las partes quieren acceder también a esa lógicamente para preparar su defensa esa posibilidad de de que un juez acceda a esa información al código fuente o a lo que sea eh se plantea como última ratio para esos supuestos donde Bueno pues puede estar en peligro efectivamente la seguridad nacional como última ratio no como sistema ordinario eh de tutela judicial digamos y Y si queréis decir algo de la contratación un po fuera de tiempo pero vamos a alargar un pelín para que Jesús no Alo má Sí muy muy brevemente yo creo efectivamente la la naturaleza es un debate yo he escuchado el autor de este libro Y la verdad es que me llega a convencer y después cuando me retiro de su entusiasmo ya yo igual no me acaba no me acaba de cuadrar porque siempre Y esto es una desviación de protección de datos para mí la tecnología es neutra la actividad es decir lo que yo le pido a la tecnología es que cumpla el reglamento o sea en el caso Bosco lo que le estoy pidiendo al algoritmo a la aplicación es que cumpla el reglamento no no y porque la administración Ya desde hace 30 años te decían se puede transmitir un crédito yo hacía eso informado por el gabinete jurídico yo informaba las condiciones decía sí y me decía el intervento no Por qué Porque el sistema Júpiter no me admite una segunda transmisión yo no en juicio el sistema Júpiter como un reglamento un juicio como un mal cumplimiento o una mala adaptación de la norma aplicable Entonces yo tiendo a considerar Esa visión digamos en relación a la naturaleza sobre qué supone el mercado por así decirlo es el el abrir todas los elementos técnicos eh obviamente yo creo que lo que la primera se está trabajando en cláusulas contractuales obviamente la adquisición la compra pública innovadora de la Administración pero intuitivamente encarece el producto o sea si tú y pong un ejemplo que no es de laboratorio si tú utilizas el Google eh el espacio de de los colegios de Google en la versión gratuita te arriga a que tus datos acaben en China si utilizas la de pago todo queda en casa y pongo un ejemplo Entonces si tú quieres accer al código muy bien pero vale Esto lo puedes comprar lo puedes pagar y ese será el debate de todas maneras creo que debemos tener en cuenta la nueva regulación o sea el reglamento de Inteligencia artificial lo que está diciendo el sistema es un ascensor el sistema un ordenador y la transparencia no incluye conocer los chips que mueven el ascensor para arba para abajo no lo incluye para eso está su evaluación de conformidad que dice si cumple la normativa armonizada se responde en este caso al reglamento y existe la certificación el marcado ce y eso es lo que usted tiene derecho a acceder y cuando se permite en el reglamento el acceso a algo más es porque hay un riesgo para derechos fundamental etcétera y es un acceso mediatizado por el vigilante del mercado que le dice incluso a la autoridad de control de protección de datos si es lógico que pidea el acceso al código para verificar eso di no no no Es lógico no es necesario sí es necesario yo creo que realmente si hace uso de la autoridad la autoridad de cont protección de datos de Su autoridad con protección de datos con reglamento de la mano tiene acceso al código y lo puede pedir porque ve un riesgo para protección de datos lo que quio decir que el reglamento interal lo que ha querido decir mire usted lo importante es certificar si te certificar el producto funciona no tiene sesgo responde a lo que dice responde a la Norma al reglamento que regula la concesión eso es lo que viene un poco a decir el reglamento simplifico mucho entonces el acceso será a la documentación técnica del sistema no a las tripas del sistema igual que no accedemos a las tripas de Windows no accedemos no sé si me acabo de explicar no entonces creo que esa va a ser la línea y al final incluso algunos administrativistas cattivo tienden a a decir bien cumplo con la motivación si usted me dice que el sistema está certificado Y responde est me lo enseñó yo no era partidario de eso yo quería más y Eduardo gamero ardo gamero lo dejó me lo dejó bastante claro compartiendo en la mesa y me convenció y adás simplificando mucho me convenció entonces eh Y también me ha convencido desde la perspectiva de protección de datos al final es un producto porque esa ha sido la voluntad del legislador europeo Precisamente en un entorno de de Mercado de darle viabilidad o seguridad y certeza al mercado No pues Javier bueno simplemente para decir que efectivamente esa es una de las tesis que existen yo no estoy de acuerdo con ella por una razón muy sencilla eso es como para fijarse de un periódico cuando lo que te hace es te analiza una noticia a tipo jurídico y no saben diferenciar entre demanda y denuncia en el caso Bosco concretamente las especificaciones estaban muy bien veíamos las especificaciones y eran fantásticas y todo funcionaba como muy bien y todo estaba perfecto y toda la documentación era perfecta lo que pasa es que la documentación es una abstracción que no corresponde con lo que es el código fuente con lo cual la verificabilidad de si esa documentación que siempre puede tener una certificación porque las certificaciones se pagan eh Y no quiero decir yo que sean malas lo que quiero decir es que se pagan entonces Eh Esto lo que significa es que no tiene por qué tener una correlación con lo que es el código fuente y la y el problema siempre que nos encontramos es con la traducción cómo traducimos los lenguajes jurídicos o sea esos tres aspectos de la lógica de de óntica que antes mencionaba que qué está permitido que está prohibido y que está obligado cómo lo podemos traducir en un lenguaje formal y si ese lenguaje formal tiene correspondencia unívoca eh con lo que dice la norma jurídica porque muchas veces nos cuesta muchísimo interpretar la norma jurídica Y evidentemente esa interpretación de la norma jurídica tiene y dispone de otra serie de cosas que no pueden ser formalizables el problema con el que nos encontramos actualmente en la ciencia a nivel ya global es el siguiente tenemos que Traducir y este problema ya se enfrentó a él el círculo de Viena cuando lo que intentó fue un lenguaje perfecto para la ciencia el lenguaje formal no es perfecto Es un lenguaje que también es perfecto y que por tanto necesitaría de la análisis para verificar si lo que existe es una hermeneusis o no el código fuente también tiene problemas de tipo hermenéutico y si por tanto lo que nosotros estamos desarrollando son esas obligaciones esas prohibiciones esas y esas permisos en código fuente Tendremos que tener la posibilidad de eh verificarlo Y el problema que nos encontramos en en en en actualmente con la ciencia es que hemos pasado de un sector analógico a un sector digital cuando hemos pasado un sector digital los conceptos que antes pertenecía a determinado tipo de sistemas ya fueron ciencias naturales ya fueron ciencias sociales lo que tenemos que hacer es tabularlas que introducir en bases de datos y el problema cuando los introducimos en bases de datos como la base de datos por ejemplo de de la legislación del tribunal supremo Es que le tenemos que tener unos caracteres de búsqueda y toda categorización significa una invisibilización porque lo que yo tengo ya que hacer es decidir Cuáles son las categorías formales que son las relevantes para la adopción de una serie de criterios de búsqueda El ejemplo típico género masculino género femenino se produce la posibilidad de matrimonio homosexual nos hemos cargado las bases de datos del registro civil que antes era varón mujer Entonces eso está ocurriendo actualmente en todo el panorama científico Cómo se está intentando resolver se está intentando resolver mediante la realización en primer lugar de taxonomías cuáles son los conceptos relevantes Y en segundo lugar mediante una segunda abstracción de las taxonomías que se es lo que se denomina las ontologías y en las ontologías lo que decimos es los términos Qué relación tienen entre ellos más menos amplio no más amplio lo incluye no lo incluye y esas ontologías por tanto las tenemos que poder verificar y las ponemos tener que leer porque si no no podríamos contradecirlas cuando nos encontramos con una propiedad con una Inteligencia artificial nos encontramos por tanto tres lugares donde tenemos que mirar y lo tenemos que mirar como bien decía Susana mediante las características jurídicas de toda la vida que son las que nos da la filosofía del derecho y el derecho romano y esas lo que tenemos que hacer es y decir aquí hay un ius usus innocui o Pues a lo mejor Sí y lo Tendremos que aplicar por qué porque tenemos tres partes bien diferenciadas tenemos unos datos de entrada Cómo se han producido estos datos cómo los hemos cogido se han cogido solamente personas de varón blanco 50 años y los estudios los estoy haciendo esto que es lo típico de la industria farmacéutica eh Y por tanto lo que estoy haciendo es olvidándome de el resto de la humanidad segundo una vez que ya tengo estos datos esta recolección de datos tiene sesgos No tiene sesgos se le introduce en esa recolección de datos las categorías de los los derechos fundamentales no hay que mirar otras categorías Más allá de las que ya tenemos con respecto a los derechos fundamentales Cómo ha recopilado usted los datos Eh entonces esa es la primera cosa que tenemos que mirar segunda cosa que tenemos que mirar de los datos que usted ha recopilado Cómo se produce ese Data in Data inside o sea tenemos un Data in y luego tenemos un Data inside dentro de estos datos cómo estoy aplicando yo un algoritmo estoy aplicando un algoritmo discriminatorio no discriminatorio que lo que hace es premia a unos olvida a otros borra a los que sean etcétera etcétera Y eso nuevamente las mismas categorías de siempre cuando yo lo que estoy haciendo es regulando la ordenación la selección Los criterios de lo que sea qué es lo que yo hago con esos datos ese algoritmo que yo estoy introduciendo para seleccionar Cuáles son los que yo considero relevantes eso también derechos fundamentales y luego tengo la tercera parte que es la producción del modelo cómo yo extraigo esos datos y de esos model de esos datos creo un determinado modelo que es el que yo luego voy a aplicar jurídicamente como eh H causa de mi decisión como ayudante de mi decisión como ponedor de multas como lo que sea en ese sistema de extracción de datos se aplica a quién a las mujeres a los hombres a los negros a los blancos a los jitanos que es nuestra versión de los negros pu siempre estamos hablando de negros de Estados Unidos pero aquí hay que hablar de los gitanos eh de la etnia Gitana con todos mis respetos entonces las categorías ya las tenemos lo único que tenemos que hacer es entender cuál es la materia de la que nosotros estamos hablando y esa materia tiene tres elementos principales y a cada uno de los elementos principales recolección captura de datos segundo algoritmo que le aplicamos a los datos tercero modelo que producimos con eso es a lo que le tenemos que aplicar las categorías de toda la vida y eso es lo que tenemos que hacer y por tanto que tenga una naturaleza jurídica otro al final de lo que yo estoy hablando Es qué estoy haciendo con la ciudadanía y por tanto qué acceso tiene la ciudadanía a una determinado dato y última cuestión sobre el tema de los mercados el tema de los mercados es sencillísimo si usted lo que va a hacer realizar son determinado tipo de actos de tipo público tendrá usted que cumplir una serie de requisitos para el resto de las cosas lo que usted haga lo que iberia haga con sus sistemas informáticos a mí me es Exactamente igual pero cuando la dirección general de tráfico lo que hace es me va a imponer una multa por los tramos de velocidades en el túnel de guadarrama yo tengo derecho a comprobar que los dos relojes están sincronizados Y eso se me tiene que garantizar mediante el acceso al sistema yo en eso de lo del mercado también Creo que hay que pensar en qué manera cuando el producto está hecho para una administración pública y para el cumplimiento de funciones públicas tiene que de la misma manera en que lo que tú comentabas en el tema de los propios contratos hay que introducir yo creo en alguna es que ahora no recuerdo pero en alguna sentencia del tej ya se dice o sea esos esos datos ahí tienes que incorporar la transparencia en esa contratación y la empresa Entonces ya va a saber que si se quiere presentar a esa licitación pública va a tener que cumplir algunos requisitos más Y es que su propiedad de ese producto no es necesariamente así vote pronto eh No puede ser necesariamente la misma que cuando está operando en en libre competencia Pero bueno esto ha sido como un exabrupto final se nos ha acabado el tiempo est Ay noona [Música] decía que era precio he puesto el ejemplo eh de Google pero lo de China pero realmente no es así Sencillamente la la tecnología quiereo un precio Lo abro bien pero vale esto qui un mal ejemplo muy grosero Pero bueno pues eh se nos ha acabado el tiempo seguro que nos quedaríamos aquí hasta las 8 y más pero la sala tiene también un horario y Quiero agradecer de verdad las tres ponencias brillantes desde estos tres vértices diferentes pero muy complementarios y creo que a todos nos ha sido muy estimulante y nos ha abierto eh Bueno pues como muchas ventanas para seguir pensando e investigando Muchísimas gracias También a todos vosotros por estar aquí hasta el final y y promover el debate nos vemos en la siguiente sesión venga hasta luego [Aplausos]