miércoles, 6 de abril de 2022

Qué explicar cuando explicar es difícil

 https://graphite.page/explainable-ai-report/#read-full-article

La explicación de cómo los sistemas de toma de decisiones automatizada (ADM) toman decisiones (IA explicable, o XAI) puede considerarse una forma prometedora de mitigar sus efectos negativos. El GDPR de la UE proporciona un marco legal para explicar los sistemas ADM. Debe proporcionarse "información significativa sobre la lógica implicada". Sin embargo, ni el propio texto del RGPD ni los comentarios sobre el mismo proporcionan detalles sobre lo que es precisamente esto. Este informe aborda estos términos desde una perspectiva jurídica, técnica y de diseño.


Desde el punto de vista legal, la explicación tiene que permitir al usuario recurrir la decisión tomada por el sistema ADM y equilibrar el poder del desarrollador de ADM con el del usuario. "La lógica" puede entenderse como "la estructura y la secuencia del tratamiento de datos". El GDPR se centra en los derechos individuales más que en los colectivos. Por lo tanto, recomendamos poner al individuo en el centro de la explicación en un primer paso para cumplir con el GDPR.


Desde una perspectiva técnica, el término "lógica implicada" es -en el mejor de los casos- engañoso. Los sistemas de GAD son ecosistemas sociotécnicos complejos y dinámicos. Comprender "la lógica" de sistemas tan diversos requiere la actuación de diferentes actores y en numerosas etapas, desde la concepción hasta el despliegue. La transparencia en el nivel de entrada es un requisito fundamental para mitigar los posibles sesgos, ya que las interpretaciones a posteriori se perciben ampliamente como demasiado problemáticas para abordar la causa principal. Por lo tanto, hay que centrarse en hacer transparentes los fundamentos, el diseño y el proceso de desarrollo subyacentes, documentando los datos de entrada como parte de la "lógica implicada". La explicación de un sistema ADM también debería formar parte del proceso de desarrollo desde el principio.

martes, 5 de abril de 2022

¿La IA sanitaria para el bien y no para el mal? La necesidad de un nuevo marco reglamentario para los dispositivos médicos basados en la IA

https://yaleconnect.yale.edu/YJHPLE/current-issue

La inteligencia artificial (IA), especialmente su subconjunto, el aprendizaje automático, tiene un enorme potencial para mejorar la atención sanitaria. Sin embargo, la IA sanitaria también plantea nuevos retos normativos. En este artículo, sostengo que es necesario un nuevo marco normativo para los dispositivos médicos basados en la IA en los Estados Unidos que garantice que dichos dispositivos sean razonablemente seguros y eficaces cuando se comercialicen y lo sigan siendo durante todo su ciclo de vida. Abogo por las acciones de la Administración de Alimentos y Medicamentos de Estados Unidos (FDA) y del Congreso. Me centro en cómo la FDA podría -con una autoridad legal adicional- regular los dispositivos médicos basados en IA. Demuestro que la FDA regula de forma incompleta los productos sanitarios basados en la IA, lo que puede poner en peligro la seguridad de los pacientes y socavar la confianza del público.

Traducido con DeepL https://www.deepl.com/app/?utm_medium=android-share

martes, 6 de octubre de 2020

Luciano Floridi: "La filosofía necesita volver a ser relevante"

Luciano Floridi: "La filosofía necesita volver a ser relevante"

Entrevista a Luciano Floridi en Buenos Aires.


¿Cómo podemos dirigir el barco en filosofía y hacer que más filósofos se preocupen por problemas filosóficos y no por problemas de filósofos?

Este es un tema difícil. Sería muy fácil decir "oh, hazlo, ve y sacrifícate, arruina tu vida, asegúrate de no tener futuro, pero haz lo correcto". Y no voy a decir eso. Las recomendaciones que les hice en el pasado a mis estudiantes o personas en una etapa temprana de su carrera siempre ha sido que debes hacer dos cosas al mismo tiempo. Necesitas mantener feliz a la academia, ser como si estuvieras bien con el mecanismo. Entonces, si quieren que hagas historia de la filosofía, tú haces historia de la filosofía, si quieren que hagas lógica de segundo orden, también está bien. La cuestión no es abandonar eso, sino hacer también la otra mitad. Y la otra mitad es hacer lo que crees que es importante, en lo que realmente crees. Ahora, la primera mitad: la historia, la lógica, el no lidiar con problemas filosóficos, tiene una ventaja: te dará un poco de formación. Es como un gimnasio. La pregunta es: ¿alguna vez juego? ¿De verdad voy a jugar, digamos, fútbol? Estoy corriendo en una cinta todo el tiempo y tal vez soy muy rápido corriendo, pero nunca practico, nunca hago filosofía. Entonces, la pregunta es que no solo dejaré de hacer eso y haré otra cosa, sino que haré eso y, al mismo tiempo, pasaré a algo que es realmente importante. Ahora, hoy no puedo creer la gran necesidad que hay de pensadores, de gente como ustedes. Básicamente, en la etapa correcta de sus vidas, me han dicho que no puedo llamarte joven, pero no es un problema, a una edad diferente. Realmente no tienen un legado, en términos de personas mayores que siempre han pensado en el mundo de cierta manera, básicamente un poco de virginidad, mentalmente hablando.


Estamos expuestos a una sociedad asombrosa, que está cambiando frente a nuestros ojos a un ritmo sin precedentes. Con tecnologías que nunca antes habíamos visto. Estamos proporcionando las bases para las sociedades de la información del futuro y es simplemente extraordinario que las potencialidades, en términos de lo que la filosofía puede hacer, verlos ir a una conferencia y ver a la gente hablando de algún filósofo bizantino menor y si realmente dijo eso o no. Me hace llorar porque es un desperdicio de energía, inteligencia y oportunidades. Y además, no le estamos devolviendo nada a la sociedad. Es fundamental no confundir esto con la filosofía aplicada, no es de eso de lo que estoy hablando. La filosofía aplicada es una broma. Me refiero a los Platón, los Aristóteles, los Agustinos, los Hobbes, los Descartes, Leibniz, esta gente que hablaba con su tiempo. Quiero decir, elige uno de los 25 filósofos más importantes del mundo, y apuesto a que siempre encuentras que tenían un diálogo con la tradición, estaban hablando con otros filósofos, pero sobre todo hablaban de temas que estaban presentes en el hora. Hobbes, John Locke, Bertrand Russell, Frege, quiero decir lo que sea. Descartes, Kant, Hegel, Rousseau. Todos ellos, en su propia tradición, no estaban hablando de ese otro filósofo que decía esto o aquello. Estaban lidiando con el mundo de primera mano. Entonces, tratar con el mundo de primera mano para mí significa lidiar con la sociedad de la información, lidiar con las tecnologías que nos rodean, porque están en todas partes. Entonces, si haces bioética, tecnología digital, si haces ontología y metafísica, bueno, está cambiando a sus ojos; ¿entendemos realmente cómo es el mundo?


Ayer tuvimos una larga discusión en otra reunión sobre la nueva ontología de las cosas. Nuevamente, totalmente para ser reinterpretado. Entonces, todo lo que toques será algo relacionado con la tecnología, con lo digital, etc. ¿Estamos listos? Estamos preparados La Universidad no está haciendo eso.


Bueno, ya saben, es uno de esos momentos en los que la vieja generación está llegando a su fin, el viejo paradigma y el nuevo paradigma están llegando. A menos que ustedes comiencen a implementar el nuevo paradigma, habrá un retraso.


Cuando se trata de conceptos erróneos sobre la IA y todo eso de Skynet, bueno, ella mencionó que comencé a trabajar como una especie de periodista para este periódico. Y lo que trato de hacer todas las semanas es desmentir algunos mitos. Por ejemplo, escribí sobre los humanos detrás de la IA, muchas veces en el otro extremo escribiendo y haciendo cosas así. ¿Cree que es importante disipar estos mitos y dedicar nuestro tiempo a decir que no vendrá la Inteligencia Artificial General y cosas así?

Creo que es fundamental por varias razones. Primero que nada, porque hay problemas reales. A algunos los vimos juntos en la reunión de la Sociedad [SADAF]. Hay problemas reales, por lo que no es que podamos perder el tiempo debatiendo un escenario de ciencia ficción que sea muy divertido o entretenido. No. También mencionamos algunos hoy. Hoy fue más para el público en general. Pero estamos siendo constantemente empujados e influenciados en nuestras decisiones, cada vez más por toda la tecnología, más o menos inteligente, IA que nos rodea. Entonces, realmente hay dos problemas a la vez. La primera: mala ciencia, mala filosofía, no deberíamos estar haciendo eso. La otra es, además de eso, porque estamos haciendo todas estas cosas estúpidas, no estamos haciendo las cosas buenas. De modo que no nos estamos ocupando de comprender, debatir, asegurarnos de que vamos en la dirección de dónde están los problemas reales. Entonces, por ejemplo, asume la responsabilidad. ¿Dónde asignamos la responsabilidad cuando se trata de un sistema inteligente o de IA? ¿Cómo decidimos quién es responsable de qué? ¿Y queremos delegar algunas decisiones a los sistemas de IA o no? Tomemos, por ejemplo, la discusión que estamos teniendo en Europa sobre si tenemos, como seres humanos, el derecho a apelar a las decisiones tomadas por máquinas, porque sucede a diario. Cuando vas a un banco y hay un algoritmo que decide si obtienes una hipoteca o no. ¿Eso está bien? ¿No debería estar bien? ¿Tengo derecho a apelar? Por supuesto, esto se vuelve muy práctico y un poco legal. Pero al comienzo de todo esto, hay una comprensión y una decisión filosófica. Por ejemplo, de manera kantiana, la IA debería usarse para tratar a las personas siempre como fines, nunca como meros medios. Y, por lo tanto, sea cual sea la IA que desarrolle, tenga esto en cuenta: es crucial.


Entonces, yo diría dos cosas: desacreditar toda esta basura que hay por ahí, aunque se puede ganar dinero no vendiendo la basura, y concentrarnos en los problemas reales, porque están llegando y son enormes. Si hacemos ambas cosas, entonces misión cumplida.


Estaba leyendo su libro el otro día y allí mencionas que es realmente importante que la gente se alfabetice digitalmente, que necesitamos una sociedad alfabetizada digitalmente. Siempre trato de que la gente aprenda cómo funciona la programación, no para que puedan trabajar como programadores, sino para que puedan entender cómo funciona el software. Entonces, ¿cuáles son sus sugerencias para llegar a una sociedad alfabetizada digitalmente?

Creo que es una tarea enorme que tenemos sobre nuestros hombros, asegurarnos de que la gente no desarrolle un sentido de la magia como, no sé, esta es una caja negra que solo el ingeniero, el lógico, la IA experto, puede entender. No es que todo el mundo necesite saber cómo funciona un televisor o una computadora. No, siempre que la gente pueda relajarse y no piense que hay magia que pasa por la televisión, y no hay magia en su caja, y no hay magia en la IA. Por ejemplo, en los debates de hoy sobre la transparencia y la explicabilidad de las redes neuronales, que probablemente discutas en tus artículos de periódico, escuchas a mucha gente decir “ni siquiera el ingeniero puede explicar la decisión”, ¡no es cierto! Quiero decir, esto es algo que construimos en un laboratorio. ¿De verdad crees que un ingeniero no tiene idea de lo que está sucediendo, que es como una varita mágica que apuntas y luego sale algo? ¡Por supuesto no! Pero lo que significa el problema es que tenemos un sentido equivocado de lo que significa tener una explicación. Entonces, en este ejemplo en particular, normalmente en otros contextos, imagina a alguien preguntando si puedo explicar el lunes a las 8:30 de la mañana, hay mucho tráfico en Oxford.


- Yo digo, "bueno, la escuela está abierta, está lloviendo, supongo que por eso hoy hay tanto tráfico, normalmente no". Entonces alguien viene y dice "oh no, eso no es una explicación, quiero saber por qué todos los autos están ahí". Y entonces respondo "bueno, no sé", y luego el otro exclama "¡es un misterio!" ¡Por supuesto que no es un misterio! Las escuelas están abiertas a esa hora, la universidad está abierta a esa hora, llueve, por lo tanto los autos están ahí. Aunque no tiene una explicación para cada automóvil. Entonces, volviendo a las redes neuronales, no sabe cómo cada nodo contribuye a la decisión final en términos de umbral, hacia arriba y hacia abajo, por supuesto que no. Pero ese no es el punto.


"Así que no tienes una explicación, ¡es un misterio!". No, no lo es. Le das mil imágenes de gatos a un algoritmo hasta que detecta un gato.


Creo que hemos importado el tipo de explicación equivocado, principalmente de la física, donde si dejo caer este bolígrafo al suelo, tendré que usar las leyes de Newton para explicar por qué está cayendo. Ese es un mundo diferente. Entonces, en sistemas complejos, la explicación debe estar en un nivel diferente de abstracción. No puede ser en el nivel del minuto donde cada elemento atrae a cualquier otro elemento. Porque sabemos que ya tres elementos significan el problema clásico, el problema de los tres cuerpos. No tenemos las ecuaciones para explicarlo.


Entonces, de lo que estoy hablando aquí es de una mala filosofía de la ciencia y de una mala informática. Entonces, volviendo a su punto, debemos enseñarle a la gente lo que está sucediendo, debemos desacreditar lo que está sucediendo, desacreditar, una vez más, que todo el misterio, toda la magia y luego la gente se relajará con la tecnología. ¿El impacto? Ahí es donde tenemos que trabajar, eso es crucial, porque está cambiando el mundo mientras hablamos.

Dejame darte un ejemplo. Recientemente, el ayuntamiento decidió sacar las monedas para pagar el aparcamiento junto a la estación de tren. E implementaron todo en términos de teléfonos móviles, teléfonos inteligentes y tarjetas de crédito. Y puede pensar que es una gran idea. ¡No lo es! Es una ciudad universitaria, la mayoría de los estudiantes no tienen tarjetas de crédito, las personas mayores no tienen teléfonos inteligentes. Y de repente la gente decía "está bien, no puedo aparcar el coche, porque no puedo ir a la estación de tren, aparcar el coche y pagar con monedas". Y ahora tienen un sistema mixto. Pero fue una mala estrategia, una mala comprensión de lo que realmente se necesitaba y se hace mucho daño al no pensar lo suficiente.


Supongo que está preocupado por todo este discurso anticiencia que se está volviendo cada vez más prominente y que nos preocupa a muchos de nosotros que venimos de la filosofía y tenemos un entendimiento de algunos de los temas que nos ocupa. ¿Crees que podemos culpar no solo a la mala ciencia sino a alguna mala filosofía, como el surgimiento del relativismo?

Absolutamente. Tenemos mucha responsabilidad. Especialmente si se habla en términos de mala filosofía y no solo de los Departamentos de Filosofía, sino del mal pensamiento filosófico en nuestra sociedad, como el mal pensamiento conceptual. Entonces se convierte en una absoluta responsabilidad de los filósofos. Bajamos la guardia pensando que ya está hecho, que todo va bien, fin de la historia. Eran los 90, había muchas cosas que iban bien: el muro de Berlín, el fin del apartheid sudafricano, el mundo finalmente iba en el tren correcto, finalmente vamos hacia un buen futuro. La intelectualidad bajó la guardia. Nos volvimos todos relativistas y no hay hechos, se trata de ideología y ¿sabes qué? Los hechos le devolverán la mordida. Porque hubo gente que se aprovechó de esto. Realmente nos hicimos corresponsables de las noticias falsas, de los “hechos alternativos”, de la basura de Trump o de la basura del Brexit. Y si sigues por ese camino, y confía en mí: tengo reuniones en las que la gente, los intelectuales, dicen "No creo en tus hechos". De Verdad? Está bien, salta por esa ventana y es un hecho que te vas a estrellar.


Por lo tanto, es una responsabilidad clave de nuestra parte ser racionales y estar basados ​​en pruebas, pero no exagere porque la mayor parte del mundo es complicado. Hay muchas más cosas que la teoría de la elección, teoremas y axiomas. Entonces, el problema es que si a cada momento hay basura a nuestro alrededor, basura posmodernista básicamente, "todo es interpretación, no hay hechos, se trata de ideología". Está bien, lo que sea, porque alguien se aprovechó de eso y arruinó el mundo. Pero la reacción no puede ser alguna forma de Ilustración rígida, un neopositivismo o una visión carnapiana. Eso también es una locura. La lógica es así en toda esta parte de la vida. Hay muchas cosas razonables, inteligencia descarada que no está cubierta por un par de líneas de código o cálculo. No significa que se salga de la interpretación. Es solo que hay tantas formas de razonar inteligentes, bien educadas, basadas en evidencia y basadas en hechos que hemos estado desarrollando desde Sócrates. Se llama filosofía. Tan buena filosofía, es esa. Cualquier otra cosa, es una broma.


Lo que me molesta es que es una broma que esa gente, la intelectualidad, se aproveche de eso porque venden libros, van y charlan, así que es fácil. “Nada va a funcionar nunca, se trata de poder, el poder genera sufrimiento”. De Verdad? Entonces, ¿por qué estamos aquí? Sal, quiero hacer algo, quiero hacer del mundo un lugar mejor. Y ellos dicen "oh, todo es interpretación, no hay nada ahí, todo es solo un juego lingüístico". Bueno, perdón, porque mañana tenemos que salir a la calle y explicarle al tipo que no tiene trabajo, oa la señora que acaba de ser abusada, o alguien que ha sido violado, que todo es interpretación. No tengo paciencia con eso, porque no tenemos tiempo que perder. Esta generación, la siguiente y el juego se acabó, en términos de revolución digital, en términos de impacto ambiental. Simplemente no tenemos tiempo para disfrutar del "juego intelectual". ¿Quién paga por esto? Es el resto del mundo. Y no puedo soportar la visión de un mundo que va mal mientras se derrumba solo porque un grupo de intelectuales tiene que jugar al "juego inteligente".



jueves, 2 de julio de 2020

Inteligencia Artificial y Sociedad: un debate para contrarrestar la desinformación

El control de la expansión de una infección contagiosa tradicionalmente se ha realizado con grupos de trabajo para trazar los contactos. Para salir de la pandemia del coronavirus, Corea del Sur desarrolló una app para automatizar el trazado mediante el uso de smartphones. Hacia el mes de Marzo, conforme se iba extendiendo la infección, en muchos países se estudió la creación de apps, como si fuera la única solución  eficaz. Sin embargo, en Mayo The Guardian publicaba un artículo titulado Cómo la app del Coronavirus ha pasado de vital a irrelevante 1; en Junio WIRED publicaba que los responsables de salud rechazaban esas apps porque el trazado es una labor médica que incluye establecer lazos con las personas, insustituible por un software 2.


Se nos presenta la Inteligencia Artificial (en adelante IA) como una oportunidad de progresar, de mejorar la calidad de vida, de reducir las injusticias sociales, de aumentar la productividad. Los Vehículos Autónomos, por ejemplo, nos liberarán de las incomodidades de conducir y los diagnósticos médicos automatizados serán objetivos, precisos y rápidos. La realidad es que los más pequeños avances requieren fuertes inversiones económicas y muchas de esas mejoras son efectistas. No resuelven el problema subyacente, que la IA actual es incapaz de realizar analogías, los ladrillos invisibles en que se basa el conocimiento. Esto hace extremadamente costoso su entrenamiento e impredecible su comportamiento. Algunos modelos que han logrado excelentes resultados en laboratorio han fallado estrepitosamente en la vida real. 


Consideremos el cambio que ha supuesto la transformación del transporte hasta llegar al modelo actual. El cambio no ha sido consecuencia únicamente de la invención del automóvil. Ha sido necesario construir carreteras así como desplegar estaciones de servicio y aprobar reglamentos de circulación entre otras cuestiones. La revolución automovilística ha requerido un cambio que ha afectado a toda la sociedad. 


La IA que conocemos es eficaz porque se aplica a problemas muy delimitados y a comportamientos habituales. Durante la pandemia del coronavirus los hábitos han cambiado, y esto ha afectado, por ejemplo, a los resultados de los algoritmos para detección de fraude 3, de predicción de stocks o de recomendación a inversores. Una vez más ha quedado al descubierto la fragilidad de los modelos inteligentes.


Las grandes compañías tecnológicas impulsan la idea de que la tecnología mejorará las condiciones de vida mediante dispositivos que interactúan con nosotros de forma personal. Aunque los modelos inteligentes operan a escala, velocidad y a veces con una precisión sobrehumana, carecen de ética y de originalidad, de sentido común. Las personas olvidamos, cambiamos de opinión por motivos a veces desconocidos, somos capaces de pensar y de pensar sobre lo que estamos pensando; podemos emitir juicios morales. La IA actual no es capaz de autorreflexión y por tanto es incapaz de cualquier responsabilidad moral o ética. La idea de una IA “ética” como un mecanismo que pueda tomar decisiones justas de forma autónoma y transparente, es una quimera; muchos expertos coinciden en que la IA de por sí agrava y perpetúa los sesgos y desigualdades.


Las tiempos de crisis son el escenario ideal para presentar la tecnología como una solución rápida y segura de los problemas. Las apps de trazado de contactos propuestas para resolver la desescalada no solo son ineficaces para esa función, sino que además  representan una amenaza a la privacidad 4. Los problemas sociales no se resuelven únicamente con soluciones técnicas 5. A veces las presiones que reciben los gobiernos les impulsan a dejar las soluciones en manos de los técnicos, decisión que habitualmente empeora las cosas.


Utilizando IA es posible crear o alterar noticias con una perfección tal que su veracidad resulta difícil de verificar 6; ni siquiera la IA nos puede proteger 7. Esto crea desinformación y por tanto es un dato más para cuestionar las grandes esperanzas que algunos ponen en la IA. Existen redes organizadas que se aprovechan de la rapidez de las redes y de la falta de contraste de los usuarios para difundirla. La pandemia ha sido una oportunidad para divulgar falsedades sobre rumores y teorías conspirativas 8.


Otro problema de las tecnologías de la información es el dominio del mercado por unas pocas compañías. Microsoft, Apple e IBM han conseguido hacer dependientes a los usuarios mediante sus sistemas propios, cerrados y de pago creando cierto servilismo de los usuarios que se ven forzados a adoptar sus sistemas para poder compartir la información. Esta práctica limita la competencia y deja desprotegidos a los usuarios.


Con el desarrollo de internet, Amazon y Google han encontrado una forma muy rentable de explotar la información. Recopilan los datos de los usuarios, de forma ordinariamente poco clara, a fin de extraer patrones de comportamiento, proporcionar contenidos personalizados y así aumentar deliberadamente el tiempo de conexión. Como la información suministrada incluye anuncios personalizados, el resultado son ingresos publicitarios sin coste apreciable; un enorme flujo monetario que les permite realizar inversiones tales que resulta inviable económicamente que otra empresa pueda entrar en ese mercado, lo que ha desembocado en oligopolios.


El poder de esta compañías es tal que, por ejemplo, Microsoft, sin ser un Estado, tiene representación en la Organización para las Naciones Unidas 9, Amazon, sin tener personalidad en el debate legislativo, está elaborando una propuesta para impedir que en Portland se apruebe la prohibición del reconocimiento facial en lugares públicos 10; también, Sidewalk Labs, subsidiaria de Google, ha negociado con el Ayuntamiento de Toronto la creación de un desarrollo urbanístico inteligente en el paseo marítimo 11. Toronto cede la construcción, automatización y operación de esa smart city a cambio de entregar los datos generados (movimientos, consumos, emisiones, imágenes, etc.) en Sidewalk, sin el consentimiento ni la participación ciudadana. 


Cualquier tecnología, una vez incorporada a los hábitos, se vuelve invisible, imposible de controlar. Así, se baja la guardia de forma inconsciente respecto a Internet mientras nuestros datos son recopilados, sin tener en cuenta que los algoritmos no olvidan. De ahí que la desprotección de las personas ante las grandes corporaciones que desarrollan la IA exija una regulación más precisa y garantista ante este tipo de tecnologías.


El Libro Blanco de la Unión Europea de la IA presenta la adopción de esta tecnología como un objetivo en sí, independiente; pero no tiene valor en sí misma, la IA no es la solución correcta en todos los casos 12. Asegura esta propuesta que el ingente volumen de datos generados abrirá nuevas oportunidades a Europa. La realidad es que muchas veces la manipulación de los datos de los consumidores simplemente genera ingresos publicitarios para las empresas intermediarias de publicidad, en general propiedad de grandes compañías tecnológicas; esto tiene poco valor añadido para los anunciantes, los editores y los consumidores 13. Sin una regulación adecuada, los ciudadanos quedan en desventaja, no sólo en cuanto a potencia tecnológica y a la propiedad de los datos, sino en el desplazamiento del poder de influencia en la sociedad, de las instituciones políticas y civiles a las grandes compañías tecnológicas.


Existen importantes amenazas en el uso de la IA que sería imposible desarrollar en este artículo. Cuestiones como la privacidad, discriminación, equidad, transparencia, el impacto laboral o social, la responsabilidad de las consecuencias, la dependencia tecnológica o la monetización de los datos personales. 


En los proyectos de IA muchas veces hay una brecha entre quienes resuelven los problemas y a quienes se va a aplicar las  soluciones 14. Es muy necesario abrir debates sobre las implicaciones, exigencias, regulación y rendimiento de cuentas en relación a la IA para incorporar a los ciudadanos -con frecuencia marginados en estas cuestiones- e instituciones civiles. En 2019 y 2020 se han abierto algunos procesos de consulta pública sobre propuestas, como el citado Libro Blanco, la Estrategia de IA de Escocia o el plan de Australia para incorporar la IA en el sector público. Contar con opiniones de origen más diverso nos permitirá avanzar hacia una sociedad más justa. 


Los poderes públicos deben estar adecuadamente informados y ser conocedores de las preocupaciones éticas y limitaciones técnicas de la IA para poder deliberar con conocimiento. Las normas de regulación de la IA tendrán efecto a largo plazo, por esto su discusión y adopción deben ser muy meditadas y consensuadas.


Una regulación insuficientemente debatida puede afectar a nuestros derechos como ciudadanos o como consumidores y por un tiempo indeterminado. La Inteligencia Artificial, un recurso interactivo, autónomo y con capacidad de aprender, va a influir mucho más que cualquier otro avance de la historia en la humanidad. Es importante crear una gobernanza consensuada y asequible a los ciudadanos. 


La crisis global de la pandemia del coronavirus ha normalizado la posibilidad de participar en multitud de foros y eventos online. Aprovechemos este avance social positivo para aumentar de forma sostenida la participación de los expertos 15 y de los ciudadanos en general en cómo queremos que se transforme la sociedad y plantar cara a la desinformación que distrae de las cuestiones realmente importantes.


Por Aniceto Pérez y Madrid, Especialista en Ética de la Inteligencia Artificial


Referencias

[1] Josh Taylor, How did the Covidsafe app go from being vital to almost irrelevant?, 23 Mayo 2020 https://amp.theguardian.com/world/2020/may/24/how-did-the-covidsafe-app-go-from-being-vital-to-almost-irrelevant


[2] Fred Vogelstein, Health Officials Say 'No Thanks' to Contact-Tracing Tech, 8 Mayo, 2020, https://www.wired.com/story/health-officials-no-thanks-contact-tracing-tech/


[3] Will Douglas Heaven, Our weird behavior during the pandemic is messing with AI models, 11 Mayo 2020, 

https://www.technologyreview.com/2020/05/11/1001563/covid-pandemic-broken-ai-machine-learning-amazon-retail-fraud-humans-in-the-loop/


[4] Elizabeth Farries, Covid-tracing app may be ineffective and invasive of privacy, 5 Mayo 2020, https://www.irishtimes.com/opinion/covid-tracing-app-may-be-ineffective-and-invasive-of-privacy-1.4244638


[5] Reema Patel, Why we cannot afford to leave technology to the experts – the case for public engagement at times of crisis, 13 Mayo 2020, https://www.adalovelaceinstitute.org/why-we-cannot-afford-to-leave-technology-to-the-experts-the-case-for-public-engagement-at-times-of-crisis/


[6] Robert Chesney, Danielle Citron, Hany Farid, All’s Clear for Deepfakes: Think Again, 11 Mayo, 2020, https://www.lawfareblog.com/alls-clear-deepfakes-think-again


[7] Zoe Schiffer, AI can’t protect us from the deep fakes, argues new report, 18 Septiembre 2019, https://www.theverge.com/2019/9/18/20872084/ai-deepfakes-solution-report-data-society-video-altered


[8] Phillip N. Howard, Bending The Fake Pandemic News Curve, 9 Junio 2020, https://theaseanpost.com/article/bending-fake-pandemic-news-curve


[9] Raquel Jorge Ricart, Empresas tecnológicas y Estados: ¿policy o política?, 20 Marzo 2020, 

https://blog.realinstitutoelcano.org/empresas-tecnologicas-y-estados-policy-o-politica/


[10] Kate Kaye, Amazon Is Quietly Fighting Against a Sweeping Facial Recognition Ban in Portland, 14 Mayo 2020, https://onezero.medium.com/amazons-quietly-fighting-against-a-groundbreaking-facial-recognition-ban-in-portland-f0d1e3c2054


[11] Moira Warburton, Alphabet still facing questions over data use in its Toronto smart city project proposal, 27 Febrero 2020,   https://www.reuters.com/article/us-alphabet-sidewalk-idUSKCN20L042


[12] Fanny Hidvegi y Daniel Leufer, Trust and excellence — the EU is missing the mark again on AI and human rights

, 11 Junio 2020, https://www.accessnow.org/trust-and-excellence-the-eu-is-missing-the-mark-again-on-ai-and-human-rights/


[13] Mireille Hildebrandt, Comments on White Paper on AI (EC), Mayo 2020, https://lsts.research.vub.be/sites/default/files/atoms/files/Hildebrandt%20EC%20White%20Paper%20on%20AI.pdf


[14] Salena Prakah-Asante, If AI is biased, how should we use it?, 16 May 2020, 

https://harvardtechnologyreview.com/2020/05/16/ai-bias-use/


[15] Carme Torras, Ciencia-ficción: un espejo para el futuro de la humanidad, 5 Mayo 2020,

 https://revistaidees.cat/es/la-ciencia-ficcion-y-el-debate-entre-etica-e-inteligencia-artificial/


miércoles, 24 de junio de 2020

Google quiere que se regule la Inteligencia Artificial…a su manera


El 20 de Enero de 2020 el CEO de Google, Sundai Pichar, pronunció el discurso introductorio en la sesión “IA en Europa: una charla con el CEO de Google”. Pichai habló sobre el desarrollo e impacto de una Inteligencia Artificial responsable y los riesgos y oportunidades que conlleva su uso.


Aunque Sundar Pichai pide nuevas regulaciones en el mundo de la Inteligencia Artificial, también pide que sean suaves. Asegura que hay que poner nuevas reglas para los vehículos autónomos, pero no las haya en su aplicación en salud. 


Ninguna de las dos peticiones es de extrañar. Recientemente Magna, el partner de Lyft para el desarrollo de vehículos autónomos, ha desistido de luchar por lograr el nivel 5 de autonomía, o lo que es lo mismo la conducción autónoma completa. Durante el último trimestre de 2019 otros fabricantes han recortado o cancelado sus inversiones en vehículos autónomos. ¿La razón? La conducción autónoma es imposible con la tecnología actual.


También hay motivos para que Google quiera una regulación débil en aplicaciones de salud: en noviembre de 2019 se conoció que Google había recolectado millones de datos de salud de pacientes norteamericanos sin su consentimiento mediante una cadena de más de 2.600 hospitales. Y el 17 de Enero de 2020 la CNBC publicaba que Epic, un proveedor de registros médicos, dejaba de trabajar con Google Cloud. Epic almacenaba sus datos en la nube de Google y se ha filtrado que algunos empleados de Google accedieron a los datos de uno de los clientes de Epic. The Wall Street Journal recientemente informaba de que Cerner, otro cliente de Google Cloud, también ha rescindido su contrato de alojamiento de datos médicos con Google por motivos similares.


La Inteligencia Artificial permite recolectar datos, crear perfiles e influir en las redes sociales.

El escándalo de Cambridge Analytica de Marzo de 2018 no ha terminado. A principios de enero de 2020 se han publicado más de 100.000 documentos de Cambridge Analytica sobre sus actividades de manipulación global. Había accedido sin permiso a 87 millones de perfiles de Facebook y había datos sobre procesos electorales de varios países.


Estas palabras de Mark Weiser en 1991 son reveladoras: “Las tecnologías más profundas son las que desaparecen. Se entretejen en el tejido de la vida cotidiana hasta que no se pueden distinguir de ella”. La IA es una tecnología que gestiona a diario nuestros datos y nomos conscientes. Parece evidente que una regulación seria es más que necesaria.


Aniceto Pérez y Madrid es Especialista en Ética de la Inteligencia Artificial


¿Es suficiente la Ética de la Inteligencia Artificial?

Una caricatura es una representación fácil de identificar porque se centra en unas pocas características relevantes del original exageradas. A veces son rasgos físicos del rostro, del cuerpo, expresiones, incluso actitudes no verbales. Puede ser un tupé rubio peinado hacia atrás, unos labios carnosos, unos grandes ojos perfilados o una capa tipo Superman porque sus propuestas son audaces; un chiste es una caricatura.Bugs Bunny no tiene forma de conejo, no se mueve como un conejo, pero sus orejas, sus dientes y comer zanahorias bastan para identificarlo como conejo.


En cierto modo, los modelos de inteligencia artificial (IA) son caricaturas. Unos pocos rasgos de una imágen son suficientes para que un sistema de reconocimiento facial pueda identificar a una persona: los ojos, el pelo, el color de la piel, la forma de la nariz... Los modelos de IA extraen rasgos, es su forma de trabajar, y aunque se oculten datos, los algoritmos son muy buenos extrayendo correlaciones no explícitas.


El problema es que los modelos de IA son cajas negras, funcionan pero no se puede explicar porqué. No sabemos qué rasgos se extraen de los datos durante el entrenamiento, lo que sí sabemos es que amplifican los sesgos, implícitos o explícitos, como en una caricatura. Un reciente artículo de Google AI recoge que los sesgos humanos se agregan al modelo en todas las etapas: con los datos, durante la recogida de datos, el entrenamiento, el despliegue… Por mucho que se intente, es imposible evitar los sesgos, sobre todo porque es lo que utiliza la IA para crear sistemas de identificación o clasificación.


La IA no es inteligente, solo es una caricatura de la inteligencia, su funcionamiento es completamente distinto del proceso mental humano, es una simulación. No es capaz de manejar conceptos ni analogías, que son la base de los pensamientos. No es capaz de manejar la causalidad, de razonar sobre las causas o sobre las consecuencias, no puede dar explicaciones de las predicciones concretas. Los modelos de IA pueden llegar a tener una precisión muy grande, incluso pueden superar la precisión de humanos expertos en la materia, pero nadie puede garantizar qué es lo que ha aprendido de los datos suministrados. Además, la IA no es responsable de sus predicciones. Podemos asegurar que la IA es artificial, pero no inteligente.


La IA se ha aplicado multitud de campos: detección de fallos de producción, recolección robótica en agricultura, diagnosis de enfermedades, detección anticipada de terremotos… La lista es enorme. La gran precisión alcanzada y la aplicabilidad a tantos campos da un halo de encanto a la IA, como si pudiera resolver cualquier problema y como si ya que es tan precisa, no es tan importante dar explicaciones.


Cuando se aplica a problemas relacionados con personas, resultados que afectan a personas, las deficiencias de la IA se agudizan y alguien debe responsabilizarse y dar explicaciones: la concesión de un un préstamo o una resolución judicial (ya se usa en China y se está estudiando en otros países como Estonia). La detección de emociones a partir de imágenes faciales, es altamente cuestionable, ya que el contexto es determinante y en IA se utiliza poco el contexto. Finalmente las cámaras que llenan nuestras calles y edificios, junto al reconocimiento facial usando IA nos sitúa en un estado de vigilancia indiscriminada que es un ataque grave a la privacidad y que ya ha sido prohibida en varias ciudades y países.


La aplicación de la IA a predicciones sobre personas suscita serias preocupaciones. Hacerlo así causa perjuicios a las personas, reduce las garantías jurídicas y daña a la sociedad. Robert Wiener, fallecido en 1964, advertía de estos problemas, pero hay mucha presión de los gigantes tecnológicos para imponer sus productos, para que renunciemos a nuestra privacidad, para justificar usos de la tecnología de los que la tecnología no es capaz de dar razón.


La ética de la IA pretende resolver este problema compensando sesgos, mejorando la privacidad o imponiendo criterios de equidad, pero salvo en cuestiones muy técnicas, la mayoría de las predicciones son juicios que exigen una explicación e implican responsabilidad, ninguna de las cuales funcionan suficientemente bien con la IA ni lo harán en un futuro próximo. Hay serias limitaciones a lo que podría llamarse control de calidad de los sesgos algorítmicos. En cuanto a la equidad, es muy limitada, una equidad procedural, opuesta a un enfoque más sustantivo de la equidad que incluiría los resultados y su impacto social a fin de hacer los algoritmos más justos.


Estoy a favor de la IA porque es un gran avance y está permitiendo encontrar soluciones inimaginables hace menos de 10 años, pero la IA no debe convertirse en la palabra mágica que permite subvertir la sociedad. La IA ya está detrás de muchas tareas sin que lo sepamos. Hoy no seríamos capaces de vivir sin internet, el móvil o ver series en la tableta. Es necesario poner barreras, incluso legales, antes de que llegue a ser un problema y ya no se pueda desconectar. 


Aniceto Pérez y Madrid es Especialista en Ética de la IA

Qué explicar cuando explicar es difícil

  https://graphite.page/explainable-ai-report/#read-full-article La explicación de cómo los sistemas de toma de decisiones automatizada (ADM...