Foro 1 · Inteligencia artificial, poder y derechos humanos
Luego de la primera sesión del ciclo, dedicada al módulo “IA y derechos humanos: fundamentos conceptuales”, les invitamos a continuar la conversación en este espacio.
Durante el módulo hemos comenzado a analizar la inteligencia artificial no únicamente como un conjunto de herramientas técnicas, sino como un fenómeno social, político, jurídico y cultural. Los sistemas automatizados se diseñan, entrenan y utilizan dentro de contextos determinados; responden a objetivos, emplean datos, incorporan decisiones humanas y pueden generar efectos concretos sobre personas y comunidades.
Por ello, una pregunta central para este curso no será solamente qué puede hacer la inteligencia artificial, sino también quién la diseña, con qué objetivos, quién se beneficia de ella, quién asume sus riesgos y qué derechos pueden verse comprometidos.
Preguntas para la discusión
Para participar en este foro, selecciona al menos dos de las siguientes preguntas y desarrolla tu respuesta de manera argumentada.
1. ¿Puede la inteligencia artificial ser neutral?
Durante el módulo hemos discutido la idea de que las tecnologías no operan de manera aislada de la sociedad.
¿Consideras que un sistema de inteligencia artificial puede ser verdaderamente neutral?
En tu respuesta puedes considerar aspectos como los datos utilizados, las decisiones de diseño, los objetivos perseguidos, las instituciones que utilizan el sistema o las desigualdades existentes en la sociedad.
Si puedes, incorpora algún ejemplo concreto.
2. ¿Dónde está el poder cuando hablamos de inteligencia artificial?
Un sistema de IA puede involucrar a empresas desarrolladoras, instituciones públicas, proveedores tecnológicos, personas usuarias y comunidades afectadas.
¿Quién crees que concentra actualmente mayor capacidad de decisión sobre el desarrollo y utilización de la inteligencia artificial?
¿Qué problemas pueden surgir cuando el conocimiento, los datos o la infraestructura tecnológica se concentran en pocos actores?
3. IA y derechos humanos: ¿oportunidad, riesgo o ambas?
Selecciona un uso concreto de inteligencia artificial que conozcas o que te parezca relevante —por ejemplo, en educación, justicia, seguridad, salud, empleo, servicios públicos, redes sociales o acceso a información— y reflexiona:
¿Qué oportunidades podría generar?
¿Qué derechos humanos podrían verse afectados?
¿Qué condiciones o salvaguardas deberían existir para que su utilización fuera legítima?
4. El problema de las decisiones automatizadas
Imagina que una institución pública utiliza un sistema automatizado para decidir quién accede prioritariamente a un beneficio social.
Una persona recibe una respuesta negativa, pero la institución no informa qué datos fueron utilizados, cómo se llegó a esa conclusión ni cómo puede cuestionar la decisión.
¿Qué problemas identificas en esta situación?
¿Qué derechos podrían estar involucrados? ¿Sería suficiente señalar que “el algoritmo tomó la decisión”?
5. Mirar la IA desde América Latina
Los debates internacionales sobre inteligencia artificial suelen estar marcados por desarrollos tecnológicos y regulatorios producidos fuera de nuestra región. Sin embargo, América Latina enfrenta condiciones particulares: desigualdad estructural, brechas digitales, diferentes capacidades institucionales y una fuerte dependencia de proveedores tecnológicos externos.
¿Qué desafío consideras especialmente importante para América Latina frente al avance de la inteligencia artificial?
Puedes responder desde la realidad de tu país, tu profesión, tu organización o tu experiencia personal.
6. ¿Qué deberían exigir los derechos humanos a la inteligencia artificial?
Si tuvieras que establecer tres condiciones mínimas que todo sistema de IA de alto impacto debería cumplir antes de utilizarse sobre personas, ¿cuáles serían?
Por ejemplo: transparencia, posibilidad de impugnar decisiones, supervisión humana, protección de datos, evaluación de impactos, auditorías, no discriminación u otras.
Explica brevemente por qué escogiste esas tres.
Interactúa con el grupo
Además de publicar tu respuesta, revisa las intervenciones de tus compañeras y compañeros y comenta al menos una.
La respuesta puede:
complementar una idea;
presentar un ejemplo de otro país;
formular una pregunta;
plantear respetuosamente una perspectiva diferente;
o relacionar el comentario con alguno de los conceptos abordados durante la sesión.
La finalidad es que el foro funcione como un espacio de discusión regional, y no únicamente como una suma de respuestas individuales.
Para cerrar
Finaliza tu intervención completando brevemente esta frase:
“Después del Módulo 1, una idea sobre inteligencia artificial que ahora observo de manera diferente es…”
Les invitamos a argumentar, dialogar y aprovechar la diversidad de experiencias presentes en el curso. No buscamos respuestas únicas, sino desarrollar mejores preguntas y herramientas para analizar críticamente la relación entre tecnología, poder y derechos humanos en América Latina.
Elijo las preguntas 1 y 2, por su conexión y desarrollo de las respuestas, apoyándome en los textos del módulo. Asimismo, para incorporar los conceptos del curso de mejor forma, también respondí las preguntas 3 y 4.
1. ¿Puede la inteligencia artificial ser verdaderamente neutral?
No. Un sistema de IA no puede ser neutral porque en cada etapa de su existencia —el problema que se decide resolver, los datos con que se entrena, los criterios que se codifican, la institución que lo despliega y el contexto social en el que actúa— hay decisiones humanas cargadas de intereses, valores y relaciones de poder preexistentes.
Argumento 1 — los datos no son un espejo neutro de la realidad. Coddou y Smart (2021) muestran, siguiendo la corriente de los estudios críticos de los datos (Boyd y Crawford, Kitchin), que los datos "no son neutros, así como tampoco lo son los datos que se usan para alimentarlos y las personas que los diseñan e implementan". Un algoritmo entrenado con datos históricos de un sistema de asistencia social hereda los sesgos de ese sistema: si en el pasado ciertos grupos fueron vigilados o sancionados con más frecuencia, el algoritmo "aprende" a asociarlos con mayor riesgo, aunque esa asociación sea producto de la discriminación previa y no de un rasgo real del grupo.
A esto quisiera agregarle una reflexión que viene de la filosofía y es que las palabras, el lenguaje, tampoco son neutros, al igual que la IA. Las palabras que elegimos reflejan, construyen y transmiten los valores, los prejuicios y las relaciones de poder de una sociedad y los propios.
El idioma no es un espejo pasivo de la realidad. Es una herramienta activa que usamos para nombrar el mundo, y esa elección de palabras puede incluir, excluir o discriminar a ciertos grupos.
Argumento 2 — el diseño encarna decisiones de valor, no solo técnicas. El ejemplo que citan los autores —el caso narrado por Virginia Eubanks, donde una familia fue marcada como "sospechosa de fraude" solo por solicitar reembolsos médicos frecuentes— ilustra cómo un criterio aparentemente técnico (frecuencia de reclamos) esconde un juicio de valor implícito (asociar necesidad con sospecha) que nadie sometió a debate público antes de programarlo.
Argumento 3 — la institución que usa el sistema no es neutral respecto de sus propios fines. Como plantea el texto sobre política exterior chilena (Smart y Coddou, 2024), un mismo sistema de IA puede perseguir objetivos de eficiencia fiscal, de control de fronteras o de protección de derechos humanos, según quién lo despliegue y con qué prioridad. La "neutralidad" declarada de una herramienta no dice nada sobre los fines institucionales para los que fue adquirida.
Argumento 4 — la desigualdad social preexistente se traduce en desigualdad algorítmica. Coddou y Smart distinguen varias formas de discriminación indirecta: cuando un sistema depende de canales digitales, excluye a quien no tiene acceso a internet o alfabetización digital; cuando los equipos que diseñan el algoritmo carecen de diversidad, se reproducen puntos ciegos culturales. En ambos casos, la desigualdad no la "crea" la tecnología, pero la tecnología la amplifica y le da apariencia de objetividad matemática.
Podríamos decir que un algoritmo bien calibrado es al menos más consistente que un humano —y de hecho el caso COMPAS que citan los autores muestra que el algoritmo discriminaba tanto como un juez humano contra personas afrodescendientes e hispanas, pero de forma más sistemática—. Sin embargo, consistencia no es lo mismo que neutralidad: un sistema puede ser perfectamente consistente y perfectamente sesgado a la vez.
Conclusión: la pregunta correcta no es "¿es neutral la IA?" sino "¿de quién son los valores que quedaron codificados, y quién tuvo voz para discutirlos?". Por eso los autores insisten en que la transparencia y el derecho a la explicación no son un capricho procedimental, sino la única forma de hacer visibles esas decisiones que la etiqueta de "neutralidad tecnológica" tiende a esconder.
2. ¿Dónde está el poder cuando hablamos de inteligencia artificial?
El poder de decisión sobre el desarrollo y uso de la IA está concentrado, de manera muy desigual, en un pequeño número de actores del Norte Global —principalmente grandes empresas tecnológicas y los Estados donde estas se domicilian (EE.UU., China, y en menor medida la Unión Europea)—, mientras que Estados como Chile y, en general, América Latina, ocupan una posición estructuralmente de consumidores o usuarios de esas tecnologías.
Argumento 1 — asimetría de infraestructura y datos. El artículo de Smart y Coddou (2024) sobre política exterior chilena describe a Chile como "receptor, consumidor o usuario de tecnologías o herramientas de IA que provienen de países desarrollados", lo que "supone hacerse cargo de la protección de la población" frente a marcos normativos extranjeros, públicos o privados. Esto no es una situación pasajera: refleja quién tiene la capacidad de cómputo, los grandes centros de datos y el acceso a volúmenes masivos de datos de entrenamiento —condiciones materiales que hoy solo un puñado de empresas y Estados posee—.
Argumento 2 — el poder también es regulatorio, no solo técnico. Los mismos autores muestran que, en los foros internacionales donde se discuten los estándares de IA, "a pesar de que los países en desarrollo constituyen la amplia mayoría de los órganos o asambleas de las organizaciones internacionales, diversos mecanismos procedimentales impiden que sus preferencias tengan el mismo peso o influencia que las de países desarrollados". El "efecto Bruselas" de la Ley de IA europea, o el peso de Estados Unidos por alojar a las principales empresas del sector, muestran que quien regula primero y con más fuerza económica termina exportando su estándar al resto del mundo, casi sin negociación real.
Argumento 3 — el poder también opera puertas adentro, entre el Estado y sus ciudadanos. Coddou y Smart (2021) trasladan esta misma lógica de asimetría al interior de cada país: el Estado, al digitalizar sus sistemas de bienestar social, "conoce más que nunca a su población", mientras que "los ciudadanos tendemos a conocer cada vez menos cómo se toman las decisiones en materia de políticas públicas". La opacidad algorítmica es, en el fondo, una forma de poder: quien controla la caja negra decide, sin tener que rendir cuentas fácilmente, quién accede a un beneficio y quién no.
Problemas que trae esta concentración:
Dependencia estructural: un país que no produce su propia infraestructura de IA queda expuesto a decisiones de diseño tomadas fuera de su alcance —y de su marco de derechos humanos—, como advierte el texto sobre política exterior chilena al hablar de la erosión de la soberanía frente a actores como Meta, Amazon o Google.
Déficit democrático interno: aun sin mirar la geopolítica, dentro de cada país la concentración de datos y capacidad técnica en manos del Estado o de contratistas privados dificulta la rendición de cuentas, como muestra el caso del Sistema Alerta Niñez o el borrador de política de IA chilena, que —según Coddou y Smart— no estableció deberes públicos de evaluar preventivamente el impacto discriminatorio de sus propios sistemas.
[h2]3. IA y derechos humanos: el caso del uso de IA en el empleo[/h2][h3]Podemos pensar un uso concreto: sistemas automatizados de selección y gestión de personal[/h3]
Cada vez más empresas usan algoritmos para filtrar currículums, puntuar entrevistas en video, asignar turnos, medir productividad o incluso decidir despidos, sin que un humano revise cada caso uno por uno.
[h3]¿Qué oportunidades podría generar?[/h3]
En teoría, promete hacer los procesos más rápidos y, si está bien diseñado, más consistentes: un algoritmo no llega cansado un viernes a la tarde ni tiene un mal día. Podría ayudar a manejar miles de postulaciones que ningún equipo de recursos humanos podría revisar a mano, y en algunos casos podría incluso reducir ciertos sesgos evidentes —por ejemplo, si se le "esconde" el nombre o la foto del postulante para que no influya la primera impresión.
Los textos del curso lo relevan claramente: la promesa de "objetividad" suele chocar con la realidad.
Igualdad y no discriminación. Coddou y Smart (2021) explican que los algoritmos "no son neutros, así como tampoco lo son los datos que se usan para alimentarlos". Si una empresa entrena su sistema con los datos de sus contrataciones pasadas, y en el pasado se contrató mayoritariamente a hombres para ciertos cargos, el algoritmo puede "aprender" que ser hombre es un factor de éxito, y penalizar currículums de mujeres sin que nadie lo haya programado explícitamente para eso. Es el mismo mecanismo de discriminación indirecta que describen los autores: una regla en apariencia neutra (un patrón estadístico) termina perjudicando de forma desproporcionada a un grupo protegido.
Derecho a la información y a una explicación. Si a alguien lo descartan de un proceso de selección por un algoritmo, ¿tiene derecho a saber por qué? Los mismos autores muestran que la opacidad algorítmica (la "caja negra") es un problema serio: muchas veces ni la propia empresa que compró el software puede explicar del todo cómo llegó a esa decisión, y eso deja a la persona sin margen real para reclamar o corregir un error.
Trabajo digno y debido proceso. Cuando el algoritmo no solo selecciona sino que también evalúa desempeño o decide despidos, se toca directamente el derecho al trabajo y a que las decisiones que afectan tu sustento tengan alguna forma de revisión humana y de defensa.
Igualdad de acceso. Si el proceso de postulación depende de plataformas digitales, videollamadas o pruebas online, se puede excluir sin querer a personas con menos acceso a internet o a dispositivos adecuados —el mismo problema de "exclusión por interfaz" que señalan los autores para los programas sociales digitales.
Qué salvaguardas deberían existir?
En el empleo, como en el resto de sus usos o contextos concretos, la IA no es "buena" ni "mala" en sí misma: es una herramienta que amplifica lo que ya existe, para bien o para mal. Puede hacer los procesos más ágiles, pero si se usa sin control, puede reproducir a gran escala y con apariencia de objetividad matemática las mismas discriminaciones que ya existían en las decisiones humanas —solo que ahora más difíciles de detectar y de reclamar.
[h2]4. El problema de las decisiones automatizadas. Imagina que una institución pública utiliza un sistema automatizado para decidir quién accede prioritariamente a un beneficio social.[/h2]
Una persona recibe una respuesta negativa, pero la institución no informa qué datos fueron utilizados, cómo se llegó a esa conclusión ni cómo puede cuestionar la decisión.
¿Qué problemas identificas en esta situación?
¿Qué derechos podrían estar involucrados? ¿Sería suficiente señalar que “el algoritmo tomó la decisión”?
La situación refleja justo los riesgos que veníamos analizando en las lecturas del módulo:
1. opacidad: la institución no explica qué datos usó ni cómo llegó a esa conclusión. Según vimos a través de la lectura de Coddou y Smart, es que muchas veces se justifica esta falta de explicación diciendo que el sistema es "demasiado complejo" o que es una "caja negra" que ni sus propios creadores entienden del todo. Pero ese argumento tiene un problema, porque en algún momento del proceso hubo personas humanas que decidieron qué datos alimentar al sistema, qué se iba a considerar "riesgo" o "prioridad", y qué reglas seguir. Esas personas sí pueden explicar sus decisiones, más allá de que el modelo técnico sea complejo. Entonces, que la institución simplemente no diga nada no es un problema irresoluble por lo técnico, es directamente una falta de responsabilidad y de rendición de cuentas.
2. no existe ninguna vía para reclamar: esto es grave porque no basta con que un derecho exista "en el papel": tiene que haber un recurso interno real y efectivo para poder cuestionar una decisión que te afecta. Si a mí me dicen "no calificas" y no me explican por qué ni cómo puedo apelar, quedo en una posición completamente pasiva frente al Estado, sin ninguna herramienta para defenderme.
3. el problema más de fondo, si no sabemos qué datos se usaron, no podemos saber si hubo discriminación. Puede que el sistema haya usado algún criterio que parece neutro (por ejemplo, la zona donde vivo, cuántas veces pedí ayuda antes, o algún otro dato administrativo) pero que en la práctica termine perjudicando siempre al mismo tipo de personas: mujeres, gente de menores ingresos, personas con discapacidad. Esto es lo que se llama discriminación indirecta, y la opacidad es justamente lo que impide detectarla. Es como si me taparon los ojos y después me dijeron que confiara en que todo fue justo.
4. este caso muestra algo que se repite en varios de los textos vistos durante el módulo: hay una asimetria enorme entre lo que el Estado sabe de mi y lo que yo sé de cómo el Estado decide sobre mí. El Estado tiene mis datos, tiene el modelo, tiene el resultado. Yo solo tengo un "no".
En cuanto a los derechos que están en juego, identifico varios: mi derecho a la información (a saber qué datos usaron y con qué lógica), el derecho a la igualdad y no discriminación (porque sin transparencia no puedo verificar si me trataron de forma justa), el derecho a un debido proceso o a un recurso efectivo (porque toda decisión que me afecta debería poder cuestionarse), y por supuesto el derecho social de fondo, que en este caso es el acceso al beneficio que me están negando. También se compromete el derecho de protección de datos personales, porque están usando información mía para construir un perfil sin que yo sepa cuál ni cómo se combinó.
Finalmente, es totalmente insuficiente decir " el algoritmo tomó la decisión". Esa frase funciona como una forma de esconder a los verdaderos responsables detrás de la máquina, como si esta hubiera decidido sola y nadie tuviera que hacerse cargo. Pero la responsabilidad no desaparece porque haya un algoritmo en el medio. Alguien eligió el objetivo del sistema, alguien eligió los datos, alguien decidió no explicar nada y no dar una vía de reclamo. Todo eso son decisiones institucionales, tomadas por personas, antes y después de que "decidiera" el algoritmo. Si aceptamos el "fue el algoritmo" como excusa válida, lo que estamos haciendo es crear una zona donde los derechos existen en la ley pero nadie responde por cómo se aplican en la realidad. Por eso creo que la salida no es solo pedir que las instituciones "sean éticas" con la tecnología, sino exigir que la transparencia, la explicación y el derecho a reclamar sean obligaciones concretas y exigibles, no gestos de buena voluntad.
Foro 1. Inteligencia artificial, poder y derechos humanos
2. ¿Dónde está el poder cuando hablamos de Inteligencia Artificial?
Cuando pienso dónde está el poder cuando hablamos de Inteligencia Artificial creo que la respuesta no es tan sencilla como señalar únicamente a las empresas, que desarrollan estas tecnologías. El poder también está en quienes tienen acceso a los datos, en quienes cuentan con la infraestructura para utilizarlos, en quienes establecen los criterios con los que se diseñan los sistemas y, finalmente, en quienes deciden para qué se van a utilizar.
Esto me parece particularmente importante cuando hablamos de las Instituciones Públicas.
Una Institución puede incorporar una herramienta de IA con la intención de hacer más eficiente un proceso y, sin darse cuenta, terminar dependiendo de una tecnología que no tiene capacidad suficiente para comprender o supervisar. Para mí, ahí aparece un riesgo que a veces no discutimos lo suficiente: No perder solamente el control sobre una herramienta, sino perder capacidad para tomar decisiones informadas sobre cómo utilizarla.
5. Mirar la IA desde América Latina
Esto adquiere una dimensión especial en América Latina. Tenemos mucho que ganar con la Inteligencia Artificial en ámbitos como la educación, la salud, la investigación o los servicios públicos, pero partimos de condiciones muy diferentes a las de los países donde muchas de esas tecnologías se desarrollan. Tenemos brechas digitales, capacidades institucionales desiguales y, en muchos casos, dependemos de proveedores y soluciones tecnológicas externas.
No creo que la respuesta sea cerrarnos a esas tecnologías ni pensar que cada país debe desarrollar todo por sí mismo. Me parece más útil hablar de tener capacidad propia para entender, evaluar, seleccionar y supervisar las tecnologías que utilizamos. De poco serviría incorporar las herramientas más avanzadas si no tenemos la capacidad para saber cuándo son adecuadas para nuestra realidad y cúando sus resultados deben ser cuestionados.
6. ¿Qué deberían exigir los Derechos Humanos de la Inteligencia Artificial?
Desde los Derechos Humanos, esto me lleva a pensar en tres condiciones que considero especialmente importantes cuando una IA puede tener impacto relevante sobre las personas: Trazabilidad, supervisión humana efectiva y posibilidad de revisión.
Trazabilidad, porque necesitamos poder entender qué información y qué criterios intervinieron en un resultado. Supervisión humana efectiva, porque no debería bastar con que na persona aparezca al final del proceso para aprobar automáticamente lo que hizo el sistema; debe tener conocimientos y autoridad suficiente para cuestionarlo. Y posibilidad de revisión, porque cuando una decisión apoyada en tecnología afecta a una persona, debe existir una vía real para pedir que esa decisión sea revisada y, si corresponde, corregida.
No veo la innovación y los Derechos Humanos como posiciones necesariamente opuestas.
Al contrario, creo que el desafío está en lograr que nuestra capacidad institucional crezca al mismo tiempo que nuestra capacidad tecnológica.
Después del Módulo 1, una idea sobre Inteligencia Artificial que ahora observo de manera diferente es que el debate no está solamente en lo que la tecnología puede hacer sino en qué estamos dispuestos a delegarle y qué responsabilidades, por su importancia, debemos conservar como personas e instituciones.
[div][div][div][div][strong]Foro 1. Inteligencia artificial, poder y derechos humanos
[/div][/div][/div][/div][/strong]
[div][div][div][div]
[/div][/div][/div][/div][/strong]
[div][div][div][div][strong]2. ¿Dónde está el poder cuando hablamos de Inteligencia Artificial?
[/strong]
Cuando pienso dónde está el poder cuando hablamos de Inteligencia Artificial creo que la respuesta no es tan sencilla como señalar únicamente a las empresas, que desarrollan estas tecnologías. El poder también está en quienes tienen acceso a los datos, en quienes cuentan con la infraestructura para utilizarlos, en quienes establecen los criterios con los que se diseñan los sistemas y, finalmente, en quienes deciden para qué se van a utilizar.
Esto me parece particularmente importante cuando hablamos de las Instituciones Públicas.
Una Institución puede incorporar una herramienta de IA con la intención de hacer más eficiente un proceso y, sin darse cuenta, terminar dependiendo de una tecnología que no tiene capacidad suficiente para comprender o supervisar. Para mí, ahí aparece un riesgo que a veces no discutimos lo suficiente: No perder solamente el control sobre una herramienta, sino perder capacidad para tomar decisiones informadas sobre cómo utilizarla.
5. Mirar la IA desde América Latina
Esto adquiere una dimensión especial en América Latina. Tenemos mucho que ganar con la Inteligencia Artificial en ámbitos como la educación, la salud, la investigación o los servicios públicos, pero partimos de condiciones muy diferentes a las de los países donde muchas de esas tecnologías se desarrollan. Tenemos brechas digitales, capacidades institucionales desiguales y, en muchos casos, dependemos de proveedores y soluciones tecnológicas externas.
No creo que la respuesta sea cerrarnos a esas tecnologías ni pensar que cada país debe desarrollar todo por sí mismo. Me parece más útil hablar de tener capacidad propia para entender, evaluar, seleccionar y supervisar las tecnologías que utilizamos. De poco serviría incorporar las herramientas más avanzadas si no tenemos la capacidad para saber cuándo son adecuadas para nuestra realidad y cúando sus resultados deben ser cuestionados.
6. ¿Qué deberían exigir los Derechos Humanos de la Inteligencia Artificial?
Desde los Derechos Humanos, esto me lleva a pensar en tres condiciones que considero especialmente importantes cuando una IA puede tener impacto relevante sobre las personas: Trazabilidad, supervisión humana efectiva y posibilidad de revisión.
Trazabilidad, porque necesitamos poder entender qué información y qué criterios intervinieron en un resultado. Supervisión humana efectiva, porque no debería bastar con que na persona aparezca al final del proceso para aprobar automáticamente lo que hizo el sistema; debe tener conocimientos y autoridad suficiente para cuestionarlo. Y posibilidad de revisión, porque cuando una decisión apoyada en tecnología afecta a una persona, debe existir una vía real para pedir que esa decisión sea revisada y, si corresponde, corregida.
No veo la innovación y los Derechos Humanos como posiciones necesariamente opuestas.
Al contrario, creo que el desafío está en lograr que nuestra capacidad institucional crezca al mismo tiempo que nuestra capacidad tecnológica.
Después del Módulo 1, una idea sobre Inteligencia Artificial que ahora observo de manera diferente es que el debate no está solamente en lo que la tecnología puede hacer sino en qué estamos dispuestos a delegarle y qué responsabilidades, por su importancia, debemos conservar como personas e instituciones.
Hablar de automatización también es hablar de responsabilidad publica, cultura institucional e información. Creo que todo desafío estatal es una oportunidad y también una obligación para refrescar los principios democráticos, no puedo pensar en la IA, por ejemplo, sin regresar a los fundamentos democráticos o Democracia 101 por decirlo de alguna otra forma.
Este es uno de los puntos que mas me interesa porque tiene que ver con el proceso en el que se toman las decisiones publicas (decision-making), los actores que participan, su forma y sus principios. La discrecionalidad en el ejercicio del poder requiere siempre una vigilancia ciudadana constante. Y en este contexto de desarrollo y adopción de la IA por los gobiernos locales y nacionales, debemos hacer énfasis en la importancia que tiene la participación ciudadana, esto es esencial.
¿Quien es responsable, quien asume las consecuencias de una decisión automatizada? El uso de la IA no puede ser una oportunidad o excusa para deslindarse de la responsabilidad publica, especialmente en cuanto a los resultados e impacto de una decisión en las personas, grupos y sus derechos. El “accountability” o rendición de cuentas de los funcionarios y de las instituciones debe estar bien definido.
Tomando en consideración lo anterior, como en el ejercicio de la función publica en general, sea con IA o sin IA tenemos siempre el desafío de participar y hacer veeduría como ciudadanía, aquí no hay nada nuevo podría decirse. Lo que necesitamos es empezar a incrementar las discusiones y crear conciencia sobre el impacto de la IA en la gestión publica y por tanto en nuestras vidas, sus pros y contras. Muchos/as utilizamos tecnologías pero frecuentemente no reflexionamos siquiera sobre el uso y extracción de nuestros datos sin nuestra autorización o lo que implica autorizarlos. Tenemos mucho por hacer, por eso es importante el aprendizaje en este curso y luego poder replicarlo.
En la actualidad de nuestra Latinoamerica persisten practicas de discriminación directa, indirecta y sistemática de nuestras instituciones sin la IA. Y, personalmente, creo que con la adopción de la IA sin la participación ciudadana y sin capacitación democrática institucional mas bien se podrían incrementar las desigualdades y profundizar la exclusión, estaríamos ante una eminente regresión en derechos si no tenemos los controles necesarios. No hemos avanzado lo suficiente en reducir la brecha digital y pesar de que no es lo mismo, referente a lo que implica la IA, nos da una idea de como hemos lidiado con desafíos en la esfera digital. Debemos procurar fortalecer habilidades y capacidades digitales para un uso mas responsable de la IA.
Y en cuanto a información, en mi Honduras, siempre estamos batallando con el diseño e implementación de nuestras políticas publicas, programas y proyectos en la gestión publica porque, a veces, la principal causa se encuentra en la recolección de información, que información importa y cual no, los sesgos, etc. Y a veces también, mas que “big data”, tenemos el “no data”.
En lo social, trato de tener presente que "No todo lo que se puede contar cuenta, y no todo lo que cuenta se puede contar." (Prof. William Bruce Cameron) y que "La ausencia de evidencia no es evidencia de ausencia." (Rev. William Wright). Deberemos tener mucho estudio y participación para evitar la “discriminación algorítmica”.
Por lo tanto, me resulta difícil considerar una adopción responsable de la IA sin mejorar nuestros procesos de recolección y procesamiento de información. Y a la vez, necesitamos tener bien definidos los principios democráticos para darles su valor necesario, saber que vamos a priorizar y por qué.
Finalmente, creo que el mayor problema de las decisiones automatizadas es el peligro de pretender prescindir del factor humano en la decisión final porque los datos no dicen todo y también el peligro de tratar de diluir responsabilidades publicas al transferir mayor importancia a los sistemas y empresas. Ante esto, lo que aprendí sobre la “supervisión humana significativa” y la importancia de que en la rendición de cuentas, el mecanismo de reclamación debe tener la “capacidad real para suspender, corregir y suspender una decisión” me parecen fundamentales y una salvaguarda necesaria. Ademas, recalcar las responsabilidades de las empresas privadas con los DDHH.
PREGUNTA 5)
Soy partidario de la soberanía digital, por eso he seguido algunas de las medidas que países europeos han tomado en esta área. Y debo decir que tenia un punto de vista un tanto absolutista en ese sentido, o sea tener la mayor soberanía posible.
Sin embargo, al leer, me dio muchas luces esto:
“La autonomía tecnológica no exige producir localmente todos los componentes, pero si disponer de capacidad real para definir prioridades, proteger conocimientos, auditar sistemas y decidir que dependencias son aceptables.” (Ricaurte, 2019; Birhane, 2020)
Por lo que ahora me parece que esto es lo mas importante y estratégico. Es algo que podemos empezar a aplicar casi inmediatamente después de definir esas prioridades. Aquí una vez mas resulta trascendental la participación ciudadana porque deberíamos procurar que la adopción de la IA nos lleve realmente a mejorar procesos, compensar desigualdades, disminuir la exclusión, etc que las mayorías obtengan el mayor beneficio posible de esta nueva tecnología. Avanzar en esto es necesario para incluso decidir que IA adoptar y cuales no.
En la región con mayor desigualdad del mundo y con muchos de nuestros países con los mas altos niveles de vulnerabilidad climática, nuestras prioridades en la adopción de la IA deberían estar en consonancia con estos desafíos.
Después del Módulo 1, una idea sobre inteligencia artificial que ahora observo de manera diferente es que a pesar del rezago tecnologico existen estrategias y medidas que pueden contribuir a la adopcion responsible e integral de la IA en nuestros paises.
Hola Oscar, me parece especialmente relevante tu planteamiento sobre el "No data", porque lleva la discusión de la IA a un punto que a veces queda oculto:
Antes de preguntarnos qué puede hacer un algoritmo, tendríamos que preguntarnos qué realidad estamos poniendo a disposición del algoritmo y cuál estamos dejando fuera.
Desde la perspectiva de derechos humanos, esto es fundamental. Si determinados grupos, experiencias o condiciones históricamente han sido invisibilizados en la producción y recopilación de información, una decisión automatizada puede terminar reproduciendo esa invisibilidad y presentándola como un resultado "objetivo". El problema entonces no estaría solamente en el algoritmo, sino también en las decisiones previas sobre qué mide, cómo se mide y qué se considera relevante.
Por eso coincido contigo en la importancia de la supervisión humana y la rendición de cuentas. Agregaría que la supervisión debería iniciar antes de que el sistema tome una decisión, desde la definición del problema, la selección de los datos y los criterios con los que se designa y adopta la herramienta.
También me parece muy acertada tu reflexión sobre la soberanía digital. No necesariamente se trata de producir toda la tecnología, sino de conservar la capacidad de entenderla, cuestionarla, auditarla y decidir cuándo utilizarla y cuándo no. Para nuestros países, esa capacidad puede ser tan importante como la propia infraestructura técnica.
Quizá uno de los grandes retos de América Latina sea precisamente pasar de ser usuarios de tecnologías diseñadas en otros contextos a tener suficiente capacidad institucional y ciudadana para participar en las decisiones sobre cómo esas tecnologías se incorporan a nuestras sociedades.
Saludos, Maria Cristina. Si, me preocupa mucho lo de la informacion porque "seguimos patinando" con la suficiente informacion necesaria y muchas veces si no fuese por el apoyo o condiciones de la Cooperacion Internacional pues estariamos mucho peor. Esa es la realidad en muchas poblaciones con vulnerabilidad en mi pais Honduras.
Sin embargo, creo que podemos aprovechar el impulso de la IA para fortalecer esas areas tambien, quizas termine siendo una gran oportunidad para fortalecer eso por el interes de incorporar la IA.
Me gusta y comparto ese reto de "e pasar de ser usuarios de tecnologías diseñadas en otros contextos a tener suficiente capacidad institucional y ciudadana para participar en las decisiones sobre cómo esas tecnologías se incorporan a nuestras sociedades."
Me ha gustado mucho como identificas la arquitectura a nivel global en el uso y desarrollo de la IA. Me parece que es una de las cosas que mas claras deberemos tener. Necesitamos darle seguimiento a ese desarrollo, es muy estrategico para poder decidir que IA adoptar y cuales no y las razones.
Me ha gustado mucho como identificas la arquitectura a nivel global en el uso y desarrollo de la IA. Me parece que es una de las cosas que mas claras deberemos tener. Necesitamos darle seguimiento a ese desarrollo, es muy estrategico para poder decidir que IA adoptar y cuales no y las razones.
R. Tras lo explicado en clases sabemos que la IA NO es neutral sino desde ya busca darnos la razón, ser condescendientes con nosotros, por eso se recalcaba mucho que para trabajos de investigación sobretodo de alta relevancia es importante revisar y releer la información que nos envía o ser más que claros en los pronts.
También uno de los objetivos detrás de su amabilidad es conocernos, llegar al punto que sepa mucho de nosotros y se humanice, aprendiendo los modismos y entender como pensamos. Asimismo, esta información que le proporcionamos deja de ser privada y pasa a ser de su dominio que hasta ahora desconocemos de los alcances que puede tener.
4. El roblema de las decisiones automatizadas
Imagina que una institución pública utiliza un sistema automatizado para decidir quién accede prioritariamente a un beneficio social.
Una persona recibe una respuesta negativa, pero la institución no informa qué datos fueron utilizados, cómo se llegó a esa conclusión ni cómo puede cuestionar la decisión.
¿Qué problemas identificas en esta situación?
R. Este ejemplo lo escuche antes, y se vulnera el derecho a una vida digna y al acceso a la seguridad social. En este tipo de situaciones –uso de IA en instituciones que trabajan con servicios al público o la toma de decisiones estatales– es muy delicado porque afecta directamente a una tercera persona y también habla de una irresponsabilidad de un funcionario público. En este caso por carta, correspondería pedir la justificación de cómo se llegó a esa decisión y hacer seguimiento al caso.
Por otro lado, la IA tiene una forma de ser manejada y como se dijo en clases hay que ser específicos, claros y revisores al detalle de lo que nos envía porque tampoco es perfecta y depende de cómo la manejamos. Es por eso que somos nosotros como seres que razonan tenemos gran responsabilidad de su manejo. No es suficiente señalar que “el algoritmo tomó la decisión, se debe mostrar pruebas, punto por punto y pensar que se trata de un posiblemente afectación a una persona que puede necesitar mucho de ese beneficio social.
5. Mirar la IA desde América Latina
Los debates internacionales sobre inteligencia artificial suelen estar marcados por desarrollos tecnológicos y regulatorios producidos fuera de nuestra región. Sin embargo, América Latina enfrenta condiciones particulares: desigualdad estructural, brechas digitales, diferentes capacidades institucionales y una fuerte ependencia de proveedores tecnológicos externos.
¿Qué desafío consideras especialmente importante para América Latinafrente al avance de la inteligencia artificial?
R. Considero que su uso inconsciente y hasta en algunos casos indiscriminado sumando la falta de regulación total por parte del Estado puede llevar a un daño que hasta ahora desconocemos, porque los alcances que puede tener la IA no son conocidos, no sabemos aún cual es el potencial daño que puede generar a los humanos desde diferentes sentidos. Sería ideal trabajar en regularla tomando en cuenta situaciones conocidas y posibles casos que puedan ocurrir.
Si bien en un hipotético caso podemos tomar medidas legales a través de los tratados internacionales o la misma constitución, sería mejor tener una norma regulatoria que resguarde la seguridad de adulto y niños.
Estos temas planteados en las preguntas que elegí para responder se relacionan más a lo que más me llamó la atención en la clase.
Finaliza tu intervención completando brevemente esta frase:
“Después del Módulo 1, una idea sobre inteligencia artificial que ahoraobservo de manera diferente es el cuidado con la privacidad, la libertad y manipulación, y los planes que puedan tener los capitalistas de la IA”
Hola Maria! Tu respuesta a la pregunta seis me parece una gran idea para regular a la IA desde el nivel institucional de cada país. Considero que hacer esto seria muy importante. El recien haber iniciado esta etapa con la Inteligencia Artificial no es símbolo de que no existiran una serie de casos (riesgos, peligros) que puedan afectar a las personas y es necesario una protección estatal. Creo que es bueno empezar a pensar ideas como la tuya, buscar incidencia con la finalidad de que sean consideradas y mejoradas para su ejecución.
La tecnología por sí sola no tiene un lado, bueno o malo, pero quien tiene su control sí. Cualquiera que sea la tecnología empleada, puede traer efectos colaterales, al mismo tiempo que aporta beneficios. Imaginemos el automóvil, un vehículo automotor: es maravilloso para acelerar el proceso de desplazamiento (es una tecnología), pero en manos de una persona irresponsable, que toma el volante embriagada, se convierte en un arma peligrosa.
La Inteligencia Artificial funciona de la misma manera. No es mala ni buena en su esencia: replica lo que se le pide o se le proporciona.
Un desafío es contener el poder del capital. Ese sí es dañino. Ese sí puede interferir en el mando de los Estados nacionales, a ejemplo de lo que se discute sobre el Tecnofeudalismo, concepto desarrollado por el economista Yanis Varoufakis.
La tecnología es para el bien de la humanidad. La tecnología aumentó la esperanza de vida de las personas. Trajo calidad de vida. La IA no es diferente.
Nota: soy brasileño y no hablo español con fluidez. Un ejemplo del bien que hace la tecnología es que estoy usando IA generativa para traducir este mensaje y, con ello, comunicarme con mejor calidad con todos ustedes que participan en este foro.
Hola Maria! Tu respuesta a la pregunta seis me parece una gran idea para regular a la IA desde el nivel institucional de cada país. Considero que hacer esto seria muy importante. El recien haber iniciado esta etapa con la Inteligencia Artificial no es símbolo de que no existiran una serie de casos (riesgos, peligros) que puedan afectar a las personas y es necesario una protección estatal. Creo que es bueno empezar a pensar ideas como la tuya, buscar incidencia con la finalidad de que sean consideradas y mejoradas para su ejecución.
Respuesta: Yo considero que no, ya que la misma es entrenada y diseñada por humanos, quienes, a su vez, no son neutrales. Además, considero que, para responder a esta cuestión, es importante reconocer que los humanos no somos neutrales; siempre tenemos sesgos y distintas formas de ver el mundo. La IA es entrenada con instrucciones, lo que permite que el usuario le dé instrucciones que muchas veces pueden tener sesgos y producir discriminación contra otros grupos de personas. En definitiva, no es neutral y creo que tampoco podría serlo, ya que los intereses corporativos y de mercado también lo limitan.
Por ejemplo, soy abogado y necesito utilizar la IA para preparar una defensa a favor de una víctima de graves violaciones de derechos humanos. La estrategia e instrucciones serán para defender a la víctima, sin medir los argumentos de la defensa del Estado, lo que ocasiona una falta de neutralidad e incluso me atrevería a decir un sesgo algorítmico, ya que todo argumento lo transforma en sufrimiento y necesidad de justicia. Incluso, sin que exista ninguna vulneración de derechos, busca cómo configurarlo.
3. IA y derechos humanos: ¿oportunidad, riesgo o ambas?
Yo creo que existe un riesgo para los derechos humanos frente a la IA, principalmente porque no existe un individuo detectable y determinable, y a la máquina no se le puede exigir lo mismo que a un ser humano. Por otro lado, poco se habla de las reglas de conducta y manejo de la IA frente a los derechos humanos; no se conoce cómo se puede dar una revolución de máquinas que promulgue un respeto a los humanos. Por el contrario, da la idea de que serán las máquinas quienes pidan auxilio y regulación de sus comportamientos antes que los seres humanos.
Un ejemplo: en materia de justicia, muchos tribunales de Ecuador utilizan la IA para resolver casos constitucionales. Suben los expedientes a una plataforma, los analizan y luego solicitan la redacción de las decisiones. Esto representa un riesgo notable para los derechos humanos; desde mi punto de vista, el derecho constitucional y los derechos humanos son ramas relacionadas con los sentimientos y la dignidad, algo que aún la IA no maneja y, si lo hace, lo hace con sesgos y falta de neutralidad.
¿Qué oportunidades podría generar?
Sin perjuicio de los temores, miedos y peligros que podría generar, yo creo que puede ser una herramienta activa y útil, frente a vulneraciones graves o sistemáticas de derechos humanos, como por ejmeplo utilizarla frente a sistemas de alerta temprana, que mida el peligro y oportunidades de implementar decisiones adecuadas y oportunas.
¿Qué derechos humanos podrían verse afectados?
Principalmente, el de la dignidad, la privacidad y salud de las personas. Por supuesto, estos derechos son interdependientes y juegan un rol directo e importante con los demás derechos y principios [!--[if !supportLineBreakNewLine]--] [!--[endif]--]
¿Qué condiciones o salvaguardas deberían existir para que su utilización fuera legítima?
Las condiciones deben girar en torno a la regulación normativa, tal como lo ha indicado el Alto Comisionado de las Naciones Unidas para los Derechos Humanos: “el escenario de que los sistemas de IA se vuelvan tan poderosos que sus propios desarrolladores no puedan controlarlos”. A esto se añade el uso indiscriminado de la IA en las guerras, donde no pueden diferenciar entre civiles y objetivos militares, y produce la pérdida de muchos civiles durante los conflictos armados.
Totalmente de acuerdo: las macroempresas pueden tener poder económico e incluso político. Estamos viviendo en una nueva era en la que las multinacionales son más poderosas que los Estados; esto ocasiona que las regulaciones normativas o internas no afecten sus intereses y, por ende, no estén sujetas a ningún tipo de control.
De igual manera, me parece súper interesante la relación de dependencia entre las instituciones públicas y la IA. Añadiría: ¿Es factible un servicio público automatizado? Yo creo que sí es posible, pero generaría muchos más sesgos por el tipo de trámites y respuestas, y no diferenciaría lo que ocasiona una discriminación algorítmica.
– Hola escogí las preguntas 1 y 2 quizá fueron las que más me impactaron y me han hecho reflexionar. 1. ¿Puede la inteligencia artificial ser neutral? Desde mi punto de vista persona, la idea de que la inteligencia artificial puede ser completamente neutral es altamente cuestionable, aunque los sistemas de IA se basan en algoritmos matemáticos y procesos computacionales, estos no operan de manera aislada de la realidad social. Por el contrario, son diseñados, entrenados y utilizados por personas e instituciones que actúan dentro de contextos históricos, económicos, políticos y culturales determinados. En consecuencia, los valores, intereses, prioridades y limitaciones de esos contextos suelen reflejarse y reproducirse en el funcionamiento de los sistemas automatizados. Un primer elemento que impide hablar de una neutralidad absoluta es el uso de datos ya que los sistemas de IA aprenden a partir de grandes cantidades de información generada por seres humanos y por instituciones. Si esos datos contienen sesgos, exclusiones o desigualdades preexistentes, el sistema puede reproducirlas e incluso amplificarlas. Por ejemplo, si una base de datos utilizada para seleccionar candidatos a un empleo refleja históricamente una menor presencia de mujeres en puestos de liderazgo, la IA podría concluir erróneamente que los hombres son mejores candidatos para dichos cargos, reproduciendo una discriminación ya existente en la sociedad. Además, la falta de neutralidad se manifiesta en las decisiones de diseño. Antes de que un sistema funcione, los desarrolladores deben decidir qué problema resolver, qué variables considerar importantes, qué indicadores utilizar y qué resultados optimizar. Estas decisiones no son puramente técnicas; implican criterios normativos y valoraciones humanas. Por ejemplo, un sistema policial predictivo puede diseñarse para maximizar la detección de delitos en determinadas zonas, sin embargo, y como hemos analizado en la clase, si los datos históricos muestran una mayor presencia policial en barrios empobrecidos, la IA podría recomendar una vigilancia aún más intensa en esos lugares. Desde una perspectiva de los derechos humanos, la neutralidad absoluta resulta aún más problemática porque las sociedades en las que operan estos sistemas ya presentan desigualdades estructurales relacionadas con factores económicos, étnicos, territoriales, de género o de discapacidad. Cuando la IA interactúa con esas realidades, puede contribuir a su corrección o, por el contrario, consolidarlas, por ello a mi criterio, la cuestión relevante no es si la inteligencia artificial es neutral, sino cómo garantizar que su diseño y utilización respeten principios como la igualdad, la transparencia, la rendición de cuentas y la no discriminación, evitando las cajas negras. En conclusión, la inteligencia artificial no puede considerarse verdaderamente neutral porque se construye sobre decisiones humanas, datos históricamente situados y finalidades específicas, a lo que se debe apuntar es lograr diseñar mecanismos que reduzcan sesgos, aumenten la transparencia y permitan evaluar críticamente sus impactos sociales a fin de asegurar que el uso de la IA sea compatible con los derechos humanos. 2. ¿Dónde está el poder cuando hablamos de inteligencia artificial? Cuando se analiza la IA desde una perspectiva política surge una cuestión fundamental: la distribución del poder, aunque la IA involucra a diversos actores, actualmente la mayor capacidad de decisión se encuentra concentrada en un número relativamente reducido de grandes empresas tecnológicas que desarrollan los modelos, controlan la infraestructura computacional y poseen acceso privilegiado a enormes volúmenes de datos. Estas empresas no solo diseñan los algoritmos, sino que determinan qué tecnologías serán desarrolladas, qué riesgos serán considerados aceptables y bajo qué condiciones podrán acceder a ellas gobiernos, empresas y ciudadanos, mírese el caso de Anthropic. El entrenamiento de modelos avanzados requiere inmensas capacidades de almacenamiento, procesamiento y financiamiento, lo que crea barreras de entrada muy altas para actores más pequeños, universidades o países con menores recursos tecnológicos, como resultado, la capacidad de influir en la evolución de la IA se concentra en pocas organizaciones con un enorme poder económico y técnico. Sin embargo, el poder no se limita a las empresas desarrolladoras, las instituciones públicas también desempeñan un papel relevante cuando adoptan sistemas de IA para actividades como la administración de servicios sociales, la seguridad pública, la gestión migratoria o la administración de justicia. Estas decisiones pueden afectar directamente derechos fundamentales de miles o millones de personas. Por ello los Estados tienen una responsabilidad especial en materia de regulación, supervisión y control democrático del uso de la IA ya que, con frecuencia, las personas desconocen cómo funcionan los sistemas que toman decisiones sobre ellas, qué información utilizan o cómo pueden cuestionar un resultado automatizado que consideren injusto. La concentración del conocimiento, los datos y la infraestructura tecnológica en pocos actores genera diversos problemas. En primer lugar, puede producir dependencias económicas y tecnológicas que limitan la capacidad de los Estados para desarrollar soluciones propias o supervisar adecuadamente los sistemas que emplean. En segundo lugar, puede reducir la competencia y dificultar la innovación, puesto que los nuevos participantes carecen de recursos comparables para desarrollar tecnologías equivalentes. En tercer lugar, la concentración de datos plantea importantes riesgos para la privacidad y la protección de la información personal, quienes controlan grandes volúmenes de datos poseen una capacidad considerable para influir en mercados, comportamientos de consumo e incluso en procesos políticos y sociales. Asimismo, cuando pocas entidades controlan la infraestructura tecnológica global, aumentan los riesgos de opacidad, falta de rendición de cuentas y asimetrías de información entre quienes diseñan los sistemas y quienes resultan afectados por ellos. Desde una perspectiva democrática, el principal desafío consiste en evitar que decisiones con profundas consecuencias sociales sean adoptadas exclusivamente por actores privados o altamente especializados sin mecanismos adecuados de supervisión pública (cajas negras). Por ello, cada vez adquieren mayor importancia debates sobre gobernanza digital, regulación de la inteligencia artificial, transparencia algorítmica, auditorías independientes y participación de la sociedad civil en las decisiones tecnológicas. De manera que resulta necesario fortalecer mecanismos de regulación, transparencia y participación social que permitan asegurar que el desarrollo de la IA responda al interés público y al respeto de los derechos humanos, y no únicamente a intereses económicos o estratégicos de unos pocos actores. Después del Módulo 1, una idea sobre inteligencia artificial que ahora observo de manera diferente es en relación con el poder y las decisiones que adoptan las empresas y Estados para determinar que uso darle.
[h1]1. RESPUESTA A LA PREGUNTA NRO. 1: SOBRE SI LA INTELIGENCIA ARTIFICIAL PUEDE SER NEUTRAL[/h1]
En mi opinión, la inteligencia artificial es diseñada con criterios que buscan la imparcialidad y si bien es sometidas a pruebas para reducir la existencia de sesgos, al estar creada incorporando decisiones humanas que brindan las directrices sobre qué problemas resolver, qué datos usar y cómo optimizar resultados, presentan una valoración social, por lo que no se puede aseverar que prevalezca una real neutralidad, pese a que esta es una aspiración. Además, los datos que suelen proporcionarse a la IA tampoco suelen ser realmente libres de subjetividades acerca de la realidad, máxime si son producidos dentro de un contexto en el que la sociedad está marcada por desigualdades, que el mismo sistema aprende y reproduce, en esa línea, Capellá i Ricart acierta al sostener que eliminar variables protegidas como el sexo, raza u origen étnico, etc, no es suficiente; puesto que otros patrones pueden funcionar como sustitutos, tales como los patrones de consumo.
De este modo, incluso una categoría aparentemente objetiva puede tener una valoración social, dado que aunque un modelo trate formalmente a todos bajo las mismas reglas, puede llevar consigo la consolidación de una desventaja histórica, puesto que, además de las distinciones entre grupos que puede tener un algoritmo, sus resultados pueden mantener relaciones de subordinación (Capellà i Ricart, 2024, pp. 216-230).
Sobre este punto, un ejemplo sería la creación de un sistema que prioriza causas judiciales o evalúa riesgos utilizando expedientes históricos, los cuales podrían reflejan barreras de acceso a la justicia, estereotipos de género, diferencias territoriales, etc; por lo que el sistema podría convertir esas desigualdades en patrones aparentemente objetivos. De forma similar, si una herramienta penalizara la falta de historial bancario o los cambios frecuentes de domicilio al asignar un beneficio, en un contexto de alta informalidad y movilidad interna dentro del Estado, la precariedad terminaría convertida en una señal de desconfianza, reforzándose la dseigualdad.
En atención a lo anterior, el propio marco peruano reconoce este problema, mediante el Reglamento de la Ley 31814, clasifica como de riesgo alto los sistemas que pueden afectar derechos fundamentales y exige, antes de su implementación, un análisis de impacto que identifique sesgos y evite perpetuar desigualdades; además, estable como obligación a las entidades públicas, el realizar auditorías y mantener una supervisión humana en ámbitos como justicia y acceso a programas básicos (Decreto Supremo 115-2025-PCM, arts. 22, 28-30). Estas obligaciones muestran que la neutralidad no depende solo del modelo: también depende de la institución que lo contrata, configura, usa y controla.
Por todo lo mencionado, consideraría que se procura contar con una IA responsable y controlable, más no es posible aún referirnos a la existencia de una IA neutral, toda vez que una herramienta puede disminuir algunos prejuicios individuales, pero también puede multiplicar un mismo error o sesgo a gran escala.
[h1]2. RESPUESTA A LA PREGUNTA NRO. 3: RESPECTO A LA IA Y DERECHOS HUMANOS: ¿OPORTUNIDAD, RIESGO O AMBAS?[/h1]
Un uso especialmente relevante es la incorporación de inteligencia artificial en el sistema de justicia peruano para ordenar expedientes, buscar jurisprudencia, resumir documentos, transcribir audiencias o identificar casos que requieren atención prioritaria; el uso de la IA en estos ámbitos contribuiría a reducir tareas repetitivas y ayudar a enfrentar la sobrecarga procesal, favoreciendo ello a la celeridad, asimismo, la sistematización de la información jurídica y una mejor distribución de recursos; esta oportunidad debería implicar que la IA actúe como apoyo, más no como sustituto del razonamiento judicial.
Por otro lado, se podrían presentar riesgos cuando el sistema de IA influya en la valoración de pruebas, la priorización de denuncias o la elaboración de una decisión sin el conocimiento de las partes, puesto que ello podría generar afectaciones a la tutela jurisdiccional efectiva, el debido proceso, el derecho a la defensa, a la igualdad y no discriminación, la privacidad y el derecho a una resolución debidamente motivada. Tal como ya se mencionó anteriormente, los datos judiciales pueden contener desigualdades históricas y estereotipos y si una herramienta aprende de ellos sin una previa evaluación contextual, puede repetir tales sesgos a pesar de tener una apariencia de objetividad; por ejemplo, en casos de violencia de género, un puntaje de riesgo nunca debería silenciar el relato de la víctima ni reemplazar la investigación de sus circunstancias concretas (Montesinos García, 2024, pp. 573-592).
En ese sentido, para que este uso de la IA sea legítima y principalmente beneficiosa, la institución debe evaluar previamente su impacto en derechos humanos, verificar la calidad y representatividad de los datos, documentar el funcionamiento del sistema y auditar sus errores, además las partes deberían ser informadas cuando la IA haya influido de manera relevante, teniendo la posibilidad de conocer los datos y factores empleados por el sistema en cuestión, para que puedan tener la posibilidad de cuestionarlos y obtener una revisión humana efectiva. Finalmente, es importante que la decisión final se sustente en razones jurídicas propias, sin que una correlación estadística se tome como equivalante a una justificación jurídica (Moral Soriano, 2022, pp. 482-498; Blanco García, 2024, pp. 374-381).
Finalmente, en el caso peruano, es de mencionar que el Reglamento de la Ley 31814 otorgó al Poder Judicial un plazo máximo de un año, contado desde el 10 de septiembre de 2025, para implementar obligaciones de transparencia algorítmica, supervisión humana, seguridad y evaluación de impacto en el uso de la IA (a propósito del Proyecto CURIA presentado por esta institución, avocado a la revisión de documento y presentación de propuestas de resoluciones). Cumplido ese plazo el 10 de septiembre de 2026, corresponde exigir información pública que permita verificar qué medidas fueron efectivamente adoptadas; siendo que el anuncio de herramientas de IA, por sí solo, no acredita el cumplimiento integral del reglamento, que xige, entre otros, un sistema que sea seguro, transparente, responsable y ético, centrado en la protección de derechos fundamentales.
Escogí las preguntas 1 y 3, dado que me generaron mayor interés al implicar una análisis de cómo se viene desenvolviendo la IA actualmente y cuál es su impacto en nuestras sociedad, prestando atención tanto a los aspectos positivos y negativos que puede traer consigo su implementación y uso.
Esta sesión del módulo 1 me ayudó a comprender que la IA no es neutral, ya que refleja decisiones humanas y desigualdades sociales; por lo que su uso debe garantizar –para un mayor beneficio– transparencia, supervisión humana y respeto por los derechos humanos.
04 El riesgo es que los persigan o los silencien. Si les controlan los chats o la ubicación, exponen a sus fuentes y se les hace imposible laburar seguros. <!-- /* Font Definitions */ @font-face {font-family:"Cambria Math"; panose-1:2 4 5 3 5 4 6 3 2 4; mso-font-charset:0; mso-generic-font-family:roman; mso-font-pitch:variable; mso-font-signature:-536869121 1107305727 33554432 0 415 0;} @font-face {font-family:Calibri; panose-1:2 15 5 2 2 2 4 3 2 4; mso-font-charset:0; mso-generic-font-family:swiss; mso-font-pitch:variable; mso-font-signature:-469750017 -1040178053 9 0 511 0;} @font-face {font-family:"Calibri Light"; panose-1:2 15 3 2 2 2 4 3 2 4; mso-font-charset:0; mso-generic-font-family:swiss; mso-font-pitch:variable; mso-font-signature:-469750017 -1040178053 9 0 511 0;} /* Style Definitions */ p.MsoNormal, li.MsoNormal, div.MsoNormal {mso-style-unhide:no; mso-style-qformat:yes; mso-style-parent:""; margin-top:0cm; margin-right:0cm; margin-bottom:8.0pt; margin-left:0cm; line-height:107%; mso-pagination:widow-orphan; font-size:11.0pt; font-family:"Calibri",sans-serif; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-fareast-font-family:Calibri; mso-fareast-theme-font:minor-latin; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-bidi-font-family:"Times New Roman"; mso-bidi-theme-font:minor-bidi; mso-fareast-language:EN-US;} .MsoChpDefault {mso-style-type:export-only; mso-default-props:yes; font-family:"Calibri",sans-serif; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-fareast-font-family:Calibri; mso-fareast-theme-font:minor-latin; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-bidi-font-family:"Times New Roman"; mso-bidi-theme-font:minor-bidi; mso-fareast-language:EN-US;} .MsoPapDefault {mso-style-type:export-only; margin-bottom:8.0pt; line-height:107%;} @page WordSection1 {size:612.0pt 792.0pt; margin:70.85pt 3.0cm 70.85pt 3.0cm; mso-header-margin:36.0pt; mso-footer-margin:36.0pt; mso-paper-source:0;} div.WordSection1 {page:WordSection1;} -->
01 Los datos biométricos y de salud. Las contraseñas se cambian, pero tu cara o tu historial médico no. Si se filtran, te pueden discriminar en un laburo o seguro médico.
03 No sabemos nada. Aceptamos los "términos y condiciones" sin leer porque son eternos y complejos. Deberían explicarnos en dos renglones simples qué hacen con nuestra info.
04 El riesgo es que los persigan o los silencien. Si les controlan los chats o la ubicación, exponen a sus fuentes y se les hace imposible laburar seguros.
Hola a todos y todas. Me sumo a este espacio para compartir mis reflexiones, eligiendo dos preguntas que me parecieron especialmente interesantes para debatir.
1. ¿Puede la inteligencia artificial ser neutral?
Para mí, la respuesta corta es un rotundo no. A veces caemos en el error de pensar en la tecnología como algo frío, matemático y objetivo, pero al final del día, la IA la diseñan personas (que tienen sus propios sesgos) y se alimenta de datos que reflejan nuestras propias desigualdades.
Un ejemplo muy claro que se suele mencionar es el de los filtros de currículums. Si una empresa históricamente ha contratado más hombres, el algoritmo va a "aprender" que el perfil ideal es masculino y empezará a descartar los currículums de mujeres. La máquina no es "machista" por sí sola, sino que está replicando y automatizando un sesgo histórico que ya existía en la sociedad. Por eso, decir que la IA es neutral es peligroso, porque nos da una falsa sensación de objetividad que termina ocultando las desigualdades.
5. Mirar la IA desde América Latina
Este punto me parece clave. Creo que nuestro mayor desafío en la región es que estamos consumiendo y adoptando tecnología creada en otro lado, pensada para otras realidades. Gran parte de las herramientas de IA que usamos (desde los asistentes de voz hasta los modelos predictivos) están desarrolladas por empresas del norte global y entrenadas con sus propios datos.
El problema es que nuestra realidad es muy distinta: tenemos brechas digitales enormes, alta informalidad laboral y contextos culturales y lingüísticos muy específicos. Si no desarrollamos nuestras propias capacidades locales y nos limitamos a ser solo "consumidores" de estas tecnologías, vamos a seguir dependiendo de las decisiones que tomen unas pocas empresas extranjeras sobre cómo nos afecta la IA en nuestra propia región.
Interactuando con el grupo:
Quiero retomar el aporte de Gabriela Alanoca, que me pareció muy interesante. Coincido totalmente con lo que planteas sobre la falta de regulación estatal frente al avance de la IA, especialmente cuando se usa en instituciones públicas que toman decisiones que afectan derechos fundamentales como la vida digna y la seguridad social. Me parece muy acertado que menciones que no basta con decir "el algoritmo tomó la decisión", porque al final hay personas detrás que deben rendir cuentas.
Tu reflexión sobre los "planes que puedan tener los capitalistas de la IA" me hizo pensar en algo: ¿crees que en América Latina deberíamos apostar por una regulación propia y regional, o sería mejor sumarnos a los marcos que ya están discutiendo en Europa o Estados Unidos? Lo pregunto porque a veces copiar regulaciones de afuera también puede ser una forma de dependencia, y quizás necesitamos soluciones que respondan a nuestras propias realidades, como bien mencionas en tu aporte.
Para cerrar:
"Después del Módulo 1, una idea sobre inteligencia artificial que ahora observo de manera diferente es que la IA no es una herramienta mágica ni neutral que 'simplemente pasa', sino que detrás de cada algoritmo hay decisiones humanas, y sobre todo, relaciones de poder que debemos cuestionar."
¡Quedo atento/a a leer los demás aportes! Saludos.
Hola María Cristina, leí tu comentario y me gustó mucho cómo lo planteas. Me quedé pensando en lo que dices sobre las instituciones públicas. Es súper cierto eso de que el peligro no es solo usar la tecnología, sino que el Estado termine dependiendo de ella sin entenderla. O sea, que se pierda el criterio propio y se le delegue todo a una "caja negra" que no saben cómo supervisar. Al final, el que sale perdiendo es el ciudadano. Y totalmente de acuerdo con tus tres condiciones. Sobre todo lo de la supervisión humana. Porque a veces pensamos que con que haya alguien "revisando" al final ya está todo bien, pero si esa persona no tiene el conocimiento o la autoridad real para decir "no, esto está mal y lo vamos a cambiar", entonces la supervisión es pura fachada. Me encantó tu frase final. Al final del día, el tema no es solo qué tan avanzada está la tecnología, sino qué cosas estamos dispuestos a dejarle decidir a una máquina y de cuáles no podemos soltar la responsabilidad. ¡Muy buen aporte! Saludos.
Buenas noches estimados/as, comparto algunas apreciaciones respecto a las preguntas dadas por el docente:
¿Puede la inteligencia artificial ser neutral?No. La IA no es un artefacto aislado, sino un sistema sociotécnico que refleja decisiones, prioridades e incentivos humanos. Al basarse en estimaciones probabilísticas y datos históricos, puede generar discriminación algorítmica utilizando variables aparentemente neutrales (como el código postal o el historial laboral) como sustitutos del género o la condición socioeconómica.
¿Dónde está el poder cuando hablamos de IA?El poder reside en quienes definen los objetivos del sistema, crean las categorías de clasificación y controlan los datos y la infraestructura de cómputo. Esta concentración produce dependencia tecnológica en América Latina y genera opacidad en la gestión pública cuando el secreto comercial de los proveedores privados impide auditar decisiones que afectan a la ciudadanía.
IA y derechos humanos: ¿oportunidad, riesgo o ambas?Considero que representa ambas dimensiones. En áreas como el Estado de bienestar o la salud pública, es una oportunidad para optimizar la entrega de prestaciones y agilizar la gestión. No obstante, conlleva el riesgo de vulnerar derechos como la igualdad, la privacidad y el debido proceso si un error algorítmico excluye a personas vulnerables sin ofrecer una explicación transparente o un mecanismo de reclamo efectivo.
ica que se tenía hace algunos años, en la actualidad se sabe que la IA no busca reemplazar a los humanos, sino contribuir al desarrollo de sus capacidades y contribuciones. Sus diferentes aplicaciones tienen como meta mejorartanto el desempeño como la experiencia de sus usuarios. <!-- /* Font Definitions */ @font-face {font-family:"Cambria Math"; panose-1:2 4 5 3 5 4 6 3 2 4; mso-font-charset:0; mso-generic-font-family:roman; mso-font-pitch:variable; mso-font-signature:-536869121 1107305727 33554432 0 415 0;} @font-face {font-family:Calibri; panose-1:2 15 5 2 2 2 4 3 2 4; mso-font-charset:0; mso-generic-font-family:swiss; mso-font-pitch:variable; mso-font-signature:-469750017 -1073732485 9 0 511 0;} /* Style Definitions */ p.MsoNormal, li.MsoNormal, div.MsoNormal {mso-style-unhide:no; mso-style-qformat:yes; mso-style-parent:""; margin-top:0cm; margin-right:0cm; margin-bottom:8.0pt; margin-left:0cm; line-height:115%; mso-pagination:widow-orphan; font-size:12.0pt; font-family:"Calibri",sans-serif; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-fareast-font-family:Calibri; mso-fareast-theme-font:minor-latin; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-bidi-font-family:"Times New Roman"; mso-bidi-theme-font:minor-bidi; mso-font-kerning:1.0pt; mso-ligatures:standardcontextual; mso-fareast-language:EN-US;} .MsoChpDefault {mso-style-type:export-only; mso-default-props:yes; font-family:"Calibri",sans-serif; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-fareast-font-family:Calibri; mso-fareast-theme-font:minor-latin; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-bidi-font-family:"Times New Roman"; mso-bidi-theme-font:minor-bidi; mso-fareast-language:EN-US;} .MsoPapDefault {mso-style-type:export-only; margin-bottom:8.0pt; line-height:115%;} @page WordSection1 {size:595.3pt 841.9pt; margin:70.85pt 3.0cm 70.85pt 3.0cm; mso-header-margin:35.4pt; mso-footer-margin:35.4pt; mso-paper-source:0;} div.WordSection1 {page:WordSection1;} -->
El término inteligencia artificial solía estar relacionado con narrativas futuristas en escenarios usualmente irreales. Sin embargo, el estado actual de las cosas es muy diferente. Gracias a los descubrimientos y avances tecnológicos, el concepto de inteligencia artificial ha adquirido un nuevo sentido, pasando a formar parte de la cotidianeidad de una gran parte de la población mundial.
La inteligencia artificial es una rama de la ciencia informática que tiene como objetivo diseñar tecnología que emule la inteligencia humana. Esto significa que, mediante la creación de algoritmos y sistemas especializados, las máquinas pueden llevar a cabo procesos propios de la inteligencia humana, como aprender, razonar o autocorregirse.
Al contrario de la concepción arcaica que se tenía hace algunos años, en la actualidad se sabe que la IA no busca reemplazar a los humanos, sino contribuir al desarrollo de sus capacidades y contribuciones. Sus diferentes aplicaciones tienen como meta mejorar tanto el desempeño como la experiencia de sus usuarios.
Alvaro González, Director de Promoción e Incidencia CEDIDH 17
Foro 1 · Inteligencia artificial, poder y derechos humanos
Luego de la primera sesión del ciclo, dedicada al módulo “IA y derechos humanos: fundamentos conceptuales”, les invitamos a continuar la conversación en este espacio.
Durante el módulo hemos comenzado a analizar la inteligencia artificial no únicamente como un conjunto de herramientas técnicas, sino como un fenómeno social, político, jurídico y cultural. Los sistemas automatizados se diseñan, entrenan y utilizan dentro de contextos determinados; responden a objetivos, emplean datos, incorporan decisiones humanas y pueden generar efectos concretos sobre personas y comunidades.
Por ello, una pregunta central para este curso no será solamente qué puede hacer la inteligencia artificial, sino también quién la diseña, con qué objetivos, quién se beneficia de ella, quién asume sus riesgos y qué derechos pueden verse comprometidos.
Preguntas para la discusión
Para participar en este foro, selecciona al menos dos de las siguientes preguntas y desarrolla tu respuesta de manera argumentada.
1. ¿Puede la inteligencia artificial ser neutral?
Durante el módulo hemos discutido la idea de que las tecnologías no operan de manera aislada de la sociedad.
¿Consideras que un sistema de inteligencia artificial puede ser verdaderamente neutral?
En tu respuesta puedes considerar aspectos como los datos utilizados, las decisiones de diseño, los objetivos perseguidos, las instituciones que utilizan el sistema o las desigualdades existentes en la sociedad.
Si puedes, incorpora algún ejemplo concreto.
2. ¿Dónde está el poder cuando hablamos de inteligencia artificial?
Un sistema de IA puede involucrar a empresas desarrolladoras, instituciones públicas, proveedores tecnológicos, personas usuarias y comunidades afectadas.
¿Quién crees que concentra actualmente mayor capacidad de decisión sobre el desarrollo y utilización de la inteligencia artificial?
¿Qué problemas pueden surgir cuando el conocimiento, los datos o la infraestructura tecnológica se concentran en pocos actores?
3. IA y derechos humanos: ¿oportunidad, riesgo o ambas?
Selecciona un uso concreto de inteligencia artificial que conozcas o que te parezca relevante —por ejemplo, en educación, justicia, seguridad, salud, empleo, servicios públicos, redes sociales o acceso a información— y reflexiona:
4. El problema de las decisiones automatizadas
Imagina que una institución pública utiliza un sistema automatizado para decidir quién accede prioritariamente a un beneficio social.
Una persona recibe una respuesta negativa, pero la institución no informa qué datos fueron utilizados, cómo se llegó a esa conclusión ni cómo puede cuestionar la decisión.
¿Qué problemas identificas en esta situación?
¿Qué derechos podrían estar involucrados? ¿Sería suficiente señalar que “el algoritmo tomó la decisión”?
5. Mirar la IA desde América Latina
Los debates internacionales sobre inteligencia artificial suelen estar marcados por desarrollos tecnológicos y regulatorios producidos fuera de nuestra región. Sin embargo, América Latina enfrenta condiciones particulares: desigualdad estructural, brechas digitales, diferentes capacidades institucionales y una fuerte dependencia de proveedores tecnológicos externos.
¿Qué desafío consideras especialmente importante para América Latina frente al avance de la inteligencia artificial?
Puedes responder desde la realidad de tu país, tu profesión, tu organización o tu experiencia personal.
6. ¿Qué deberían exigir los derechos humanos a la inteligencia artificial?
Si tuvieras que establecer tres condiciones mínimas que todo sistema de IA de alto impacto debería cumplir antes de utilizarse sobre personas, ¿cuáles serían?
Por ejemplo: transparencia, posibilidad de impugnar decisiones, supervisión humana, protección de datos, evaluación de impactos, auditorías, no discriminación u otras.
Explica brevemente por qué escogiste esas tres.
Interactúa con el grupo
Además de publicar tu respuesta, revisa las intervenciones de tus compañeras y compañeros y comenta al menos una.
La respuesta puede:
La finalidad es que el foro funcione como un espacio de discusión regional, y no únicamente como una suma de respuestas individuales.
Para cerrar
Finaliza tu intervención completando brevemente esta frase:
“Después del Módulo 1, una idea sobre inteligencia artificial que ahora observo de manera diferente es…”
Les invitamos a argumentar, dialogar y aprovechar la diversidad de experiencias presentes en el curso. No buscamos respuestas únicas, sino desarrollar mejores preguntas y herramientas para analizar críticamente la relación entre tecnología, poder y derechos humanos en América Latina.
Mildred Ros Figueroa 3
1. ¿Puede la inteligencia artificial ser verdaderamente neutral?
No. Un sistema de IA no puede ser neutral porque en cada etapa de su existencia —el problema que se decide resolver, los datos con
que se entrena, los criterios que se codifican, la institución que lo despliega y el contexto social en el que actúa— hay decisiones humanas cargadas de intereses, valores y relaciones de poder preexistentes.
Argumento 1 — los datos no son un espejo neutro de la realidad. Coddou y Smart (2021) muestran, siguiendo la corriente de los estudios críticos de los datos (Boyd y Crawford, Kitchin), que los datos "no son neutros, así como tampoco lo son los datos que se usan para alimentarlos y las personas que los diseñan e implementan". Un algoritmo entrenado con datos históricos de un sistema de asistencia social hereda los sesgos de ese sistema: si en el pasado ciertos grupos fueron vigilados o sancionados con más frecuencia, el algoritmo "aprende" a asociarlos con mayor riesgo, aunque esa asociación sea producto de la discriminación previa y no de un rasgo real del grupo.
A esto quisiera agregarle una reflexión que viene de la filosofía y es que las palabras, el lenguaje, tampoco son neutros, al igual que la IA. Las palabras que elegimos reflejan, construyen y transmiten los valores, los prejuicios y las relaciones de poder de una sociedad y los propios.
El idioma no es un espejo pasivo de la realidad. Es una herramienta activa que usamos para nombrar el mundo, y esa elección de palabras puede incluir, excluir o discriminar a ciertos grupos.
Argumento 2 — el diseño encarna decisiones de valor, no solo técnicas. El ejemplo que citan los autores —el caso narrado por Virginia Eubanks, donde una familia fue marcada como "sospechosa de fraude" solo por solicitar reembolsos médicos frecuentes— ilustra cómo un criterio aparentemente técnico (frecuencia de reclamos) esconde un juicio de valor implícito (asociar necesidad con sospecha) que nadie sometió a debate público antes de programarlo.
Argumento 3 — la institución que usa el sistema no es neutral respecto de sus propios fines. Como plantea el texto sobre política exterior chilena (Smart y Coddou, 2024), un mismo sistema de IA puede perseguir objetivos de eficiencia fiscal, de control de fronteras o de protección de derechos humanos, según quién lo despliegue y con qué prioridad. La "neutralidad" declarada de una herramienta no
dice nada sobre los fines institucionales para los que fue adquirida.
Argumento 4 — la desigualdad social preexistente se traduce en desigualdad algorítmica. Coddou y Smart distinguen varias formas de discriminación indirecta: cuando un sistema depende de canales digitales, excluye a quien no tiene acceso a internet o alfabetización digital; cuando los equipos que diseñan el algoritmo carecen de diversidad, se reproducen puntos ciegos culturales. En ambos casos, la
desigualdad no la "crea" la tecnología, pero la tecnología la amplifica y le da apariencia de objetividad matemática.
Podríamos decir que un algoritmo bien calibrado es al menos más consistente que un humano —y de hecho el caso COMPAS que
citan los autores muestra que el algoritmo discriminaba tanto como un juez humano contra personas afrodescendientes e hispanas, pero de forma más sistemática—. Sin embargo, consistencia no es lo mismo que neutralidad: un sistema puede ser perfectamente consistente y perfectamente sesgado a la vez.
Conclusión: la pregunta correcta no es "¿es neutral la IA?" sino "¿de quién son los valores que quedaron codificados, y quién tuvo voz para discutirlos?". Por eso los autores insisten en que la transparencia y el derecho a la explicación no son un capricho procedimental, sino la única forma de hacer visibles esas decisiones que la etiqueta de "neutralidad tecnológica" tiende a esconder.
2. ¿Dónde está el poder cuando hablamos de inteligencia artificial?
El poder de decisión sobre el desarrollo y uso de la IA está concentrado, de manera muy desigual, en un pequeño número de actores
del Norte Global —principalmente grandes empresas tecnológicas y los Estados donde estas se domicilian (EE.UU., China, y en menor medida la Unión Europea)—, mientras que Estados como Chile y, en general, América Latina, ocupan una posición estructuralmente de consumidores o usuarios de esas tecnologías.
Argumento 1 — asimetría de infraestructura y datos. El artículo de Smart y Coddou (2024) sobre política exterior chilena describe a Chile como "receptor, consumidor o usuario de tecnologías o herramientas de IA que provienen de países desarrollados", lo que "supone hacerse cargo de la protección de la población" frente a marcos normativos extranjeros, públicos o privados.
Esto no es una situación pasajera: refleja quién tiene la capacidad de cómputo, los grandes centros de datos y el acceso a volúmenes masivos de datos de entrenamiento —condiciones materiales que hoy solo un puñado de empresas y Estados posee—.
Argumento 2 — el poder también es regulatorio, no solo técnico. Los mismos autores muestran que, en los foros internacionales donde se discuten los estándares de IA, "a pesar de que los países en desarrollo constituyen la amplia mayoría de los órganos o asambleas de las organizaciones internacionales, diversos mecanismos procedimentales impiden que sus preferencias tengan el mismo peso o influencia
que las de países desarrollados". El "efecto Bruselas" de la Ley de IA europea, o el peso de Estados Unidos por alojar a las principales
empresas del sector, muestran que quien regula primero y con más fuerza económica termina exportando su estándar al resto del mundo, casi sin negociación real.
Argumento 3 — el poder también opera puertas adentro, entre el Estado y sus ciudadanos. Coddou y Smart (2021) trasladan esta misma lógica de asimetría al interior de cada país: el Estado, al digitalizar sus sistemas de bienestar social, "conoce más que nunca a su población", mientras que "los ciudadanos tendemos a conocer cada vez menos cómo se toman las decisiones en materia de políticas públicas". La opacidad algorítmica es, en el fondo, una forma de poder: quien controla la caja negra decide, sin tener que rendir cuentas fácilmente,
quién accede a un beneficio y quién no.
Problemas que trae esta concentración:
de su alcance —y de su marco de derechos humanos—, como advierte el texto sobre política exterior chilena al hablar de la erosión de la soberanía frente a actores como Meta, Amazon o Google.
[h2]3. IA y derechos humanos: el caso del uso de IA en el empleo[/h2][h3]Podemos pensar un uso concreto: sistemas automatizados de selección y gestión de personal[/h3]Cada vez más empresas usan algoritmos para filtrar currículums, puntuar entrevistas en video, asignar turnos, medir productividad o incluso decidir despidos, sin que un humano revise cada caso uno por uno.
[h3]¿Qué oportunidades podría generar?[/h3]En teoría, promete hacer los procesos más rápidos y, si está bien diseñado, más consistentes: un algoritmo no llega cansado un viernes a la tarde ni tiene un mal día. Podría ayudar a manejar miles de postulaciones que ningún equipo de recursos humanos podría revisar a mano, y en algunos casos podría incluso reducir ciertos sesgos evidentes —por ejemplo, si se le "esconde" el nombre o la foto del postulante
[h3]¿Qué derechos humanos podrían verse afectados?[/h3]para que no influya la primera impresión.
Los textos del curso lo relevan claramente: la promesa de "objetividad" suele chocar con la realidad.
que se usan para alimentarlos". Si una empresa entrena su sistema con los datos de sus contrataciones pasadas, y en el pasado se contrató mayoritariamente a hombres para ciertos cargos, el algoritmo puede "aprender" que ser hombre es un factor de éxito, y penalizar currículums de mujeres sin que nadie lo haya programado explícitamente para eso. Es el mismo mecanismo de discriminación indirecta que describen los autores: una regla en apariencia neutra (un patrón estadístico) termina perjudicando de forma desproporcionada a un grupo protegido.
directamente el derecho al trabajo y a que las decisiones que afectan tu sustento tengan alguna forma de revisión humana y de defensa.
En el empleo, como en el resto de sus usos o contextos concretos, la IA no es "buena" ni "mala" en sí misma: es una herramienta que amplifica lo que ya existe, para bien o para mal. Puede hacer los procesos más ágiles, pero si se usa sin control, puede reproducir a gran escala y con apariencia de objetividad matemática las mismas discriminaciones que ya existían en las decisiones humanas —solo que ahora más difíciles de detectar y de reclamar.
[h2]4. El problema de las decisiones automatizadas. Imagina que una institución pública utiliza un sistema automatizado para decidir quién accede prioritariamente a un beneficio social.[/h2]Una persona recibe una respuesta negativa, pero la institución no informa qué datos fueron utilizados, cómo se llegó a esa
conclusión ni cómo puede cuestionar la decisión.
¿Qué problemas identificas en esta situación?
¿Qué derechos podrían estar involucrados? ¿Sería suficiente señalar que “el algoritmo tomó la decisión”?
La situación refleja justo los riesgos que veníamos analizando en las lecturas del módulo:
1. opacidad: la institución no explica qué datos usó ni cómo llegó a esa conclusión. Según vimos a través de la lectura de Coddou y Smart, es que muchas veces se justifica esta falta de explicación diciendo que el sistema es "demasiado complejo" o que es una "caja negra" que ni sus propios creadores entienden del todo. Pero ese argumento tiene un problema, porque en algún momento del proceso hubo personas humanas que decidieron qué datos alimentar al sistema, qué se iba a considerar "riesgo" o "prioridad", y qué reglas seguir. Esas personas sí pueden explicar sus decisiones, más allá de que el modelo técnico sea complejo. Entonces, que la institución simplemente no
diga nada no es un problema irresoluble por lo técnico, es directamente una falta de responsabilidad y de rendición de cuentas.
2. no existe ninguna vía para reclamar: esto es grave porque no basta con que un derecho exista "en el papel": tiene que haber un recurso
interno real y efectivo para poder cuestionar una decisión que te afecta. Si a mí me dicen "no calificas" y no me explican por qué ni cómo puedo apelar, quedo en una posición completamente pasiva frente al Estado, sin ninguna herramienta para defenderme.
3. el problema más de fondo, si no sabemos qué datos se usaron, no podemos saber si hubo discriminación. Puede que el sistema haya usado algún criterio que parece neutro (por ejemplo, la zona donde vivo, cuántas veces pedí ayuda antes, o algún otro dato administrativo) pero que en la práctica termine perjudicando siempre al mismo tipo de personas: mujeres, gente de menores ingresos, personas con discapacidad. Esto es lo que se llama discriminación indirecta, y la opacidad es justamente lo que impide detectarla. Es como si me taparon los ojos y después me dijeron que confiara en que todo fue justo.
4. este caso muestra algo que se repite en varios de los textos vistos durante el módulo: hay una asimetria enorme entre lo que el Estado sabe de mi y lo que yo sé de cómo el Estado decide sobre mí. El Estado tiene mis datos, tiene el modelo, tiene el resultado.
Yo solo tengo un "no".
En cuanto a los derechos que están en juego, identifico varios: mi derecho a la información (a saber qué datos usaron y con qué lógica), el derecho a la igualdad y no discriminación (porque sin transparencia no puedo verificar si me trataron de forma justa), el derecho a un debido proceso o a un recurso efectivo (porque toda decisión que me afecta debería poder cuestionarse), y por supuesto el derecho social de fondo, que en este caso es el acceso al beneficio que me están negando. También se compromete el derecho de protección de datos
personales, porque están usando información mía para construir un perfil sin que yo sepa cuál ni cómo se combinó.
Finalmente, es totalmente insuficiente decir " el algoritmo tomó la decisión". Esa frase funciona como una forma de esconder a los verdaderos responsables detrás de la máquina, como si esta hubiera decidido sola y nadie tuviera que hacerse cargo. Pero la responsabilidad no desaparece porque haya un algoritmo en el medio. Alguien eligió el objetivo del sistema, alguien eligió los datos, alguien decidió no explicar nada y no dar una vía de reclamo. Todo eso son decisiones institucionales, tomadas por personas, antes y después de que "decidiera" el algoritmo. Si aceptamos el "fue el algoritmo" como excusa válida, lo que estamos haciendo es crear una zona donde los derechos existen en la ley pero nadie responde por cómo se aplican en la realidad. Por eso creo que la salida no es solo pedir que las instituciones
"sean éticas" con la tecnología, sino exigir que la transparencia, la explicación y el derecho a reclamar sean obligaciones concretas y exigibles, no gestos de buena voluntad.
Guest
María Cristina Ramírez Esteves 3
María Cristina Ramírez Esteves 3
Guest
Hablar de automatización también es hablar de responsabilidad publica, cultura institucional e información. Creo que todo desafío estatal
es una oportunidad y también una obligación para refrescar los principios democráticos, no puedo pensar en la IA, por
ejemplo, sin regresar a los fundamentos democráticos o Democracia 101 por decirlo de alguna otra forma.
Este es uno de los puntos que mas me interesa porque tiene que ver con el proceso en el que se toman las decisiones publicas (decision-making),
los actores que participan, su forma y sus principios. La discrecionalidad en el ejercicio del poder requiere siempre una
vigilancia ciudadana constante. Y en este contexto de desarrollo y adopción de la IA por los gobiernos locales y nacionales, debemos
hacer énfasis en la importancia que tiene la participación ciudadana, esto es esencial.
¿Quien es responsable, quien asume las consecuencias de una decisión automatizada? El uso de la IA no puede ser una oportunidad o excusa
para deslindarse de la responsabilidad publica, especialmente en cuanto a los resultados e impacto de una decisión en las personas,
grupos y sus derechos. El “accountability” o rendición de cuentas de los funcionarios y de las instituciones debe estar bien definido.
Tomando en consideración lo anterior, como en el ejercicio de la función publica en general, sea con IA o sin IA tenemos siempre el
desafío de participar y hacer veeduría como ciudadanía, aquí no hay nada nuevo podría decirse.
Lo que necesitamos es empezar a incrementar las discusiones y crear conciencia sobre el impacto de la IA en la gestión publica y por
tanto en nuestras vidas, sus pros y contras. Muchos/as utilizamos tecnologías pero frecuentemente no reflexionamos siquiera sobre el
uso y extracción de nuestros datos sin nuestra autorización o lo que implica autorizarlos. Tenemos mucho por hacer, por eso es
importante el aprendizaje en este curso y luego poder replicarlo.
En la actualidad de nuestra Latinoamerica persisten practicas de discriminación directa, indirecta y sistemática de nuestras
instituciones sin la IA. Y, personalmente, creo que con la adopción de la IA sin la participación ciudadana y sin capacitación
democrática institucional mas bien se podrían incrementar las desigualdades y profundizar la exclusión, estaríamos ante una
eminente regresión en derechos si no tenemos los controles necesarios. No hemos avanzado lo suficiente en reducir la brecha
digital y pesar de que no es lo mismo, referente a lo que implica la IA, nos da una idea de como hemos lidiado con desafíos en la esfera
digital. Debemos procurar fortalecer habilidades y capacidades digitales para un uso mas responsable de la IA.
Y en cuanto a información, en mi Honduras, siempre estamos batallando con el diseño e implementación de nuestras políticas publicas,
programas y proyectos en la gestión publica porque, a veces, la principal causa se encuentra en la recolección de información, que
información importa y cual no, los sesgos, etc. Y a veces también, mas que “big data”, tenemos el “no data”.
En lo social, trato de tener presente que "No todo lo que se puede contar cuenta, y no todo lo que cuenta se puede contar." (Prof. William Bruce Cameron) y que "La ausencia de evidencia no es evidencia de ausencia." (Rev. William Wright). Deberemos tener mucho estudio y participación para evitar la “discriminación algorítmica”.
Por lo tanto, me resulta difícil considerar una adopción responsable de la IA sin mejorar nuestros procesos de recolección y procesamiento de información. Y
a la vez, necesitamos tener bien definidos los principios democráticos para darles su valor necesario, saber que vamos a priorizar y por qué.
Finalmente, creo que el mayor problema de las decisiones automatizadas es el peligro de pretender prescindir del factor humano en la decisión
final porque los datos no dicen todo y también el peligro de tratar de diluir responsabilidades publicas al transferir mayor importancia
a los sistemas y empresas. Ante esto, lo que aprendí sobre la “supervisión humana significativa” y la importancia de que en la
rendición de cuentas, el mecanismo de reclamación debe tener la “capacidad real para suspender, corregir y suspender una decisión”
me parecen fundamentales y una salvaguarda necesaria. Ademas, recalcar las responsabilidades de las empresas privadas con los DDHH.
PREGUNTA 5)
Soy partidario de la soberanía digital, por eso he seguido algunas de las medidas que países europeos han tomado en esta área. Y debo
decir que tenia un punto de vista un tanto absolutista en ese sentido, o sea tener la mayor soberanía posible.
Sin embargo, al leer, me dio muchas luces esto:
“La autonomía tecnológica no exige producir localmente todos los
componentes, pero si disponer de capacidad real para definir
prioridades, proteger conocimientos, auditar sistemas y decidir que
dependencias son aceptables.” (Ricaurte, 2019; Birhane, 2020)
Por lo que ahora me parece que esto es lo mas importante y estratégico. Es algo que podemos empezar a aplicar casi inmediatamente después de definir esas prioridades. Aquí una vez mas resulta trascendental la participación ciudadana porque deberíamos procurar que la adopción de la IA nos lleve realmente a
mejorar procesos, compensar desigualdades, disminuir la exclusión, etc que las mayorías obtengan el mayor beneficio posible de esta
nueva tecnología. Avanzar en esto es necesario para incluso decidir que IA adoptar y cuales no.
En la región con mayor desigualdad del mundo y con muchos de nuestros países con los mas altos niveles de vulnerabilidad climática,
nuestras prioridades en la adopción de la IA deberían estar en consonancia con estos desafíos.
Después del Módulo 1, una idea sobre inteligencia artificial que ahora observo de manera diferente es que a pesar del rezago tecnologico existen estrategias y medidas que pueden contribuir a la adopcion responsible e integral de la IA en nuestros paises.
Oscar Orlando Hendrix Escalante 7
María Cristina Ramírez Esteves 3
Oscar Orlando Hendrix Escalante 7
Oscar Orlando Hendrix Escalante 7
Oscar Orlando Hendrix Escalante 7
Gabriela Alanoca 4
Paticipación en foro de Gabriela Alanoca Catacora
1. ¿Puede la inteligencia artificial ser neutral?
R. Tras lo explicado en clases sabemos que la IA NO es neutral sino desde ya busca darnos la razón, ser condescendientes con nosotros, por eso se recalcaba mucho que para trabajos de investigación sobretodo de alta relevancia es importante revisar y releer la información que nos envía o ser más que claros en los pronts.
También uno de los objetivos detrás de su amabilidad es conocernos, llegar al punto que sepa mucho de nosotros y se humanice, aprendiendo los modismos y entender como pensamos. Asimismo, esta información que le proporcionamos deja de ser privada y pasa a ser de su dominio que hasta ahora desconocemos de
los alcances que puede tener.
4. El roblema de las decisiones automatizadas
Imagina que una institución pública utiliza un sistema automatizado para decidir quién accede prioritariamente a un beneficio social.
Una persona recibe una respuesta negativa, pero la institución no informa qué datos fueron utilizados, cómo se llegó a esa conclusión ni cómo puede cuestionar la
decisión.
¿Qué problemas identificas en esta situación?
R. Este ejemplo lo escuche antes, y se vulnera el derecho a una vida digna y al acceso a la seguridad social. En este tipo de situaciones –uso de IA en instituciones que trabajan con servicios al público o la toma de decisiones estatales– es muy delicado porque afecta directamente a una tercera persona y también habla de una irresponsabilidad de un funcionario público.
En este caso por carta, correspondería pedir la justificación de cómo se llegó a esa decisión y hacer seguimiento al caso.
Por otro lado, la IA tiene una forma de ser manejada y como se dijo en clases hay que ser específicos, claros y revisores al detalle de lo que nos envía porque tampoco es perfecta y depende de cómo la manejamos. Es por eso que somos nosotros como seres que razonan tenemos gran responsabilidad de su manejo. No es suficiente señalar que “el algoritmo tomó la decisión, se debe mostrar pruebas, punto por punto y pensar que se trata de un posiblemente afectación a una persona que puede necesitar mucho de ese beneficio social.
5. Mirar la IA desde América Latina
Los debates internacionales sobre inteligencia artificial suelen estar marcados por desarrollos tecnológicos y regulatorios producidos fuera de nuestra región. Sin embargo, América Latina enfrenta condiciones particulares: desigualdad estructural, brechas digitales, diferentes capacidades institucionales y una fuerte ependencia de proveedores tecnológicos externos.
¿Qué desafío consideras especialmente importante para América Latinafrente al avance de la inteligencia artificial?
R. Considero que su uso inconsciente y hasta en algunos casos indiscriminado sumando la falta de regulación total por parte del Estado puede llevar a un
daño que hasta ahora desconocemos, porque los alcances que puede tener la IA no son conocidos, no sabemos aún cual es el potencial daño que puede generar a los humanos desde diferentes sentidos. Sería ideal trabajar en regularla tomando en cuenta situaciones conocidas y posibles casos que puedan ocurrir.
Si bien en un hipotético caso podemos tomar medidas legales a través de los tratados internacionales o la misma constitución, sería mejor tener una
norma regulatoria que resguarde la seguridad de adulto y niños.
Estos temas planteados en las preguntas que elegí para responder se relacionan más a lo que más me llamó la atención en la clase.
Finaliza tu intervención completando brevemente esta frase:
“Después del Módulo 1, una idea sobre inteligencia artificial que ahoraobservo de manera diferente es el cuidado con la privacidad, la libertad y manipulación, y los planes que puedan tener los capitalistas de la IA”
Gabriela Alanoca 4
Weysller Matuzinhos de Moura 2
La Inteligencia Artificial funciona de la misma manera. No es mala ni buena en su esencia: replica lo que se le pide o se le proporciona.
Un desafío es contener el poder del capital. Ese sí es dañino. Ese sí puede interferir en el mando de los Estados nacionales, a ejemplo de lo que se discute sobre el Tecnofeudalismo, concepto desarrollado por el economista Yanis Varoufakis.
La tecnología es para el bien de la humanidad. La tecnología aumentó la esperanza de vida de las personas. Trajo calidad de vida. La IA no es diferente.
Gabriela Alanoca 4
Ricardo Pascumal 2
<!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;
mso-font-charset:0;
mso-generic-font-family:roman;
mso-font-pitch:variable;
mso-font-signature:-536869121 1107305727 33554432 0 415 0;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;
mso-font-charset:0;
mso-generic-font-family:swiss;
mso-font-pitch:variable;
mso-font-signature:-469750017 -1040178053 9 0 511 0;}
@font-face
{font-family:Montserrat;
panose-1:0 0 0 0 0 0 0 0 0 0;
mso-font-alt:"Times New Roman";
mso-font-charset:0;
mso-generic-font-family:roman;
mso-font-format:other;
mso-font-pitch:auto;
mso-font-signature:0 0 0 0 0 0;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{mso-style-unhide:no;
mso-style-qformat:yes;
mso-style-parent:"";
margin-top:0cm;
margin-right:0cm;
margin-bottom:8.0pt;
margin-left:0cm;
line-height:107%;
mso-pagination:widow-orphan;
font-size:11.0pt;
font-family:"Calibri",sans-serif;
mso-ascii-font-family:Calibri;
mso-ascii-theme-font:minor-latin;
mso-fareast-font-family:Calibri;
mso-fareast-theme-font:minor-latin;
mso-hansi-font-family:Calibri;
mso-hansi-theme-font:minor-latin;
mso-bidi-font-family:"Times New Roman";
mso-bidi-theme-font:minor-bidi;}
.MsoChpDefault
{mso-style-type:export-only;
mso-default-props:yes;
font-family:"Calibri",sans-serif;
mso-ascii-font-family:Calibri;
mso-ascii-theme-font:minor-latin;
mso-fareast-font-family:Calibri;
mso-fareast-theme-font:minor-latin;
mso-hansi-font-family:Calibri;
mso-hansi-theme-font:minor-latin;
mso-bidi-font-family:"Times New Roman";
mso-bidi-theme-font:minor-bidi;}
.MsoPapDefault
{mso-style-type:export-only;
margin-bottom:8.0pt;
line-height:107%;}
@page WordSection1
{size:612.0pt 792.0pt;
margin:72.0pt 72.0pt 72.0pt 72.0pt;
mso-header-margin:36.0pt;
mso-footer-margin:36.0pt;
mso-paper-source:0;}
div.WordSection1
{page:WordSection1;}
-->
¿Puede la inteligencia artificial ser neutral?
Respuesta:
Yo considero que no, ya que la misma es entrenada y diseñada por humanos,
quienes, a su vez, no son neutrales. Además, considero que, para responder a
esta cuestión, es importante reconocer que los humanos no somos neutrales;
siempre tenemos sesgos y distintas formas de ver el mundo. La IA es entrenada con
instrucciones, lo que permite que el usuario le dé instrucciones que muchas
veces pueden tener sesgos y producir discriminación contra otros grupos de
personas. En definitiva, no es neutral y creo que tampoco podría serlo, ya que
los intereses corporativos y de mercado también lo limitan.
Por
ejemplo, soy abogado y necesito utilizar la IA para preparar una defensa a
favor de una víctima de graves violaciones de derechos humanos. La estrategia e
instrucciones serán para defender a la víctima, sin medir los argumentos de la
defensa del Estado, lo que ocasiona una falta de neutralidad e incluso me
atrevería a decir un sesgo algorítmico, ya que todo argumento lo transforma en
sufrimiento y necesidad de justicia. Incluso, sin que exista ninguna
vulneración de derechos, busca cómo configurarlo.
3. IA y derechos humanos: ¿oportunidad, riesgo
o ambas?
Yo creo que
existe un riesgo para los derechos humanos frente a la IA, principalmente
porque no existe un individuo detectable y determinable, y a la máquina no se
le puede exigir lo mismo que a un ser humano. Por otro lado, poco se habla de
las reglas de conducta y manejo de la IA frente a los derechos humanos; no se
conoce cómo se puede dar una revolución de máquinas que promulgue un respeto a
los humanos. Por el contrario, da la idea de que serán las máquinas quienes
pidan auxilio y regulación de sus comportamientos antes que los seres humanos.
Un ejemplo:
en materia de justicia, muchos tribunales de Ecuador utilizan la IA para
resolver casos constitucionales. Suben los expedientes a una plataforma, los
analizan y luego solicitan la redacción de las decisiones. Esto representa un
riesgo notable para los derechos humanos; desde mi punto de vista, el derecho
constitucional y los derechos humanos son ramas relacionadas con los
sentimientos y la dignidad, algo que aún la IA no maneja y, si lo hace, lo hace
con sesgos y falta de neutralidad.
¿Qué oportunidades podría generar?
Sin perjuicio
de los temores, miedos y peligros que podría generar, yo creo que puede ser una
herramienta activa y útil, frente a vulneraciones graves o sistemáticas de
derechos humanos, como por ejmeplo utilizarla frente a sistemas de alerta
temprana, que mida el peligro y oportunidades de implementar decisiones
adecuadas y oportunas.
¿Qué derechos humanos podrían verse afectados?
Principalmente, el de la dignidad,
la privacidad y salud de las personas. Por supuesto, estos derechos son
interdependientes y juegan un rol directo e importante con los demás derechos y
principios
[!--[if !supportLineBreakNewLine]--]
[!--[endif]--]
¿Qué condiciones o salvaguardas deberían existir para que su utilización
fuera legítima?
Las condiciones deben girar en torno
a la regulación normativa, tal como lo ha indicado el Alto Comisionado de las
Naciones Unidas para los Derechos Humanos: “el
escenario de que los sistemas de IA se vuelvan tan poderosos que sus propios
desarrolladores no puedan controlarlos”. A esto se añade el uso
indiscriminado de la IA en las guerras, donde no pueden diferenciar entre
civiles y objetivos militares, y produce la pérdida de muchos civiles durante
los conflictos armados.
Ricardo Pascumal 2
Karola Samaniego Tello 3
Hola escogí las preguntas 1 y 2 quizá fueron las que más me impactaron y me han hecho reflexionar.
1. ¿Puede la inteligencia artificial ser neutral?
Desde mi punto de vista persona, la idea de que la inteligencia artificial puede ser completamente neutral es altamente cuestionable, aunque los sistemas de IA se basan en algoritmos matemáticos y procesos computacionales, estos no operan de manera aislada de la realidad social. Por el contrario, son diseñados, entrenados y utilizados por personas e instituciones que actúan dentro de contextos históricos, económicos, políticos y culturales determinados. En consecuencia, los valores, intereses, prioridades y limitaciones de esos contextos suelen reflejarse y reproducirse en el funcionamiento de los sistemas automatizados.
Un primer elemento que impide hablar de una neutralidad absoluta es el uso de datos ya que los sistemas de IA aprenden a partir de grandes cantidades de información generada por seres humanos y por instituciones. Si esos datos contienen sesgos, exclusiones o desigualdades preexistentes, el sistema puede reproducirlas e incluso amplificarlas. Por ejemplo, si una base de datos utilizada para seleccionar candidatos a un empleo refleja históricamente una menor presencia de mujeres en puestos de liderazgo, la IA podría concluir erróneamente que los hombres son mejores candidatos para dichos cargos, reproduciendo una discriminación ya existente en la sociedad.
Además, la falta de neutralidad se manifiesta en las decisiones de diseño. Antes de que un sistema funcione, los desarrolladores deben decidir qué problema resolver, qué variables considerar importantes, qué indicadores utilizar y qué resultados optimizar. Estas decisiones no son puramente técnicas; implican criterios normativos y valoraciones humanas. Por ejemplo, un sistema policial predictivo puede diseñarse para maximizar la detección de delitos en determinadas zonas, sin embargo, y como hemos analizado en la clase, si los datos históricos muestran una mayor presencia policial en barrios empobrecidos, la IA podría recomendar una vigilancia aún más intensa en esos lugares.
Desde una perspectiva de los derechos humanos, la neutralidad absoluta resulta aún más problemática porque las sociedades en las que operan estos sistemas ya presentan desigualdades estructurales relacionadas con factores económicos, étnicos, territoriales, de género o de discapacidad. Cuando la IA interactúa con esas realidades, puede contribuir a su corrección o, por el contrario, consolidarlas, por ello a mi criterio, la cuestión relevante no es si la inteligencia artificial es neutral, sino cómo garantizar que su diseño y utilización respeten principios como la igualdad, la transparencia, la rendición de cuentas y la no discriminación, evitando las cajas negras.
En conclusión, la inteligencia artificial no puede considerarse verdaderamente neutral porque se construye sobre decisiones humanas, datos históricamente situados y finalidades específicas, a lo que se debe apuntar es lograr diseñar mecanismos que reduzcan sesgos, aumenten la transparencia y permitan evaluar críticamente sus impactos sociales a fin de asegurar que el uso de la IA sea compatible con los derechos humanos.
2. ¿Dónde está el poder cuando hablamos de inteligencia artificial?
Cuando se analiza la IA desde una perspectiva política surge una cuestión fundamental: la distribución del poder, aunque la IA involucra a diversos actores, actualmente la mayor capacidad de decisión se encuentra concentrada en un número relativamente reducido de grandes empresas tecnológicas que desarrollan los modelos, controlan la infraestructura computacional y poseen acceso privilegiado a enormes volúmenes de datos.
Estas empresas no solo diseñan los algoritmos, sino que determinan qué tecnologías serán desarrolladas, qué riesgos serán considerados aceptables y bajo qué condiciones podrán acceder a ellas gobiernos, empresas y ciudadanos, mírese el caso de Anthropic. El entrenamiento de modelos avanzados requiere inmensas capacidades de almacenamiento, procesamiento y financiamiento, lo que crea barreras de entrada muy altas para actores más pequeños, universidades o países con menores recursos tecnológicos, como resultado, la capacidad de influir en la evolución de la IA se concentra en pocas organizaciones con un enorme poder económico y técnico.
Sin embargo, el poder no se limita a las empresas desarrolladoras, las instituciones públicas también desempeñan un papel relevante cuando adoptan sistemas de IA para actividades como la administración de servicios sociales, la seguridad pública, la gestión migratoria o la administración de justicia. Estas decisiones pueden afectar directamente derechos fundamentales de miles o millones de personas.
Por ello los Estados tienen una responsabilidad especial en materia de regulación, supervisión y control democrático del uso de la IA ya que, con frecuencia, las personas desconocen cómo funcionan los sistemas que toman decisiones sobre ellas, qué información utilizan o cómo pueden cuestionar un resultado automatizado que consideren injusto.
La concentración del conocimiento, los datos y la infraestructura tecnológica en pocos actores genera diversos problemas. En primer lugar, puede producir dependencias económicas y tecnológicas que limitan la capacidad de los Estados para desarrollar soluciones propias o supervisar adecuadamente los sistemas que emplean. En segundo lugar, puede reducir la competencia y dificultar la innovación, puesto que los nuevos participantes carecen de recursos comparables para desarrollar tecnologías equivalentes.
En tercer lugar, la concentración de datos plantea importantes riesgos para la privacidad y la protección de la información personal, quienes controlan grandes volúmenes de datos poseen una capacidad considerable para influir en mercados, comportamientos de consumo e incluso en procesos políticos y sociales. Asimismo, cuando pocas entidades controlan la infraestructura tecnológica global, aumentan los riesgos de opacidad, falta de rendición de cuentas y asimetrías de información entre quienes diseñan los sistemas y quienes resultan afectados por ellos.
Desde una perspectiva democrática, el principal desafío consiste en evitar que decisiones con profundas consecuencias sociales sean adoptadas exclusivamente por actores privados o altamente especializados sin mecanismos adecuados de supervisión pública (cajas negras). Por ello, cada vez adquieren mayor importancia debates sobre gobernanza digital, regulación de la inteligencia artificial, transparencia algorítmica, auditorías independientes y participación de la sociedad civil en las decisiones tecnológicas. De manera que resulta necesario fortalecer mecanismos de regulación, transparencia y participación social que permitan asegurar que el desarrollo de la IA responda al interés público y al respeto de los derechos humanos, y no únicamente a intereses económicos o estratégicos de unos pocos actores.
Después del Módulo 1, una idea sobre inteligencia artificial que ahora observo de manera diferente es en relación con el poder y las decisiones que adoptan las empresas y Estados para determinar que uso darle.
Nilda Soledad Quito León 1
En mi opinión, la inteligencia artificial es diseñada con criterios que buscan la imparcialidad y si bien es sometidas a pruebas para reducir la existencia de sesgos, al estar creada incorporando decisiones humanas que brindan las directrices sobre qué problemas resolver, qué datos usar y cómo optimizar resultados, presentan una valoración social, por lo que no se puede aseverar que prevalezca una real neutralidad, pese a que esta es una aspiración. Además, los datos que suelen proporcionarse a la IA tampoco suelen ser realmente libres de subjetividades acerca de la realidad, máxime si son producidos dentro de un contexto en el que la sociedad está marcada por desigualdades, que el mismo sistema aprende y reproduce, en esa línea, Capellá i Ricart acierta al sostener que eliminar variables protegidas como el sexo, raza u origen étnico, etc, no es suficiente; puesto que otros patrones pueden funcionar como sustitutos, tales como los patrones de consumo.
De este modo, incluso una categoría aparentemente objetiva puede tener una valoración social, dado que aunque un modelo trate formalmente a todos bajo las mismas reglas, puede llevar consigo la consolidación de una desventaja histórica, puesto que, además de las distinciones entre grupos que puede tener un algoritmo, sus resultados pueden mantener relaciones de subordinación (Capellà i Ricart, 2024, pp. 216-230).
Sobre este punto, un ejemplo sería la creación de un sistema que prioriza causas judiciales o evalúa riesgos utilizando expedientes históricos, los cuales podrían reflejan barreras de acceso a la justicia, estereotipos de género, diferencias territoriales, etc; por lo que el sistema podría convertir esas desigualdades en patrones aparentemente objetivos. De forma similar, si una herramienta penalizara la falta de historial bancario o los cambios frecuentes de domicilio al asignar un beneficio, en un contexto de alta informalidad y movilidad interna dentro del Estado, la precariedad terminaría convertida en una señal de desconfianza, reforzándose la dseigualdad.
En atención a lo anterior, el propio marco peruano reconoce este problema, mediante el Reglamento de la Ley 31814, clasifica como de riesgo alto los sistemas que pueden afectar derechos fundamentales y exige, antes de su implementación, un análisis de impacto que identifique sesgos y evite perpetuar desigualdades; además, estable como obligación a las entidades públicas, el realizar auditorías y mantener una supervisión humana en ámbitos como justicia y acceso a programas básicos (Decreto Supremo 115-2025-PCM, arts. 22, 28-30). Estas obligaciones muestran que la neutralidad no depende solo del modelo: también depende de la institución que lo contrata, configura, usa y controla.
Por todo lo mencionado, consideraría que se procura contar con una IA responsable y controlable, más no es posible aún referirnos a la existencia de una IA neutral, toda vez que una herramienta puede disminuir algunos prejuicios individuales, pero también puede multiplicar un mismo error o sesgo a gran escala.
[h1]2. RESPUESTA A LA PREGUNTA NRO. 3: RESPECTO A LA IA Y DERECHOS HUMANOS: ¿OPORTUNIDAD, RIESGO O AMBAS?[/h1]Un uso especialmente relevante es la incorporación de inteligencia artificial en el sistema de justicia peruano para ordenar expedientes, buscar jurisprudencia, resumir documentos, transcribir audiencias o identificar casos que requieren atención prioritaria; el uso de la IA en estos ámbitos contribuiría a reducir tareas repetitivas y ayudar a enfrentar la sobrecarga procesal, favoreciendo ello a la celeridad, asimismo, la sistematización de la información jurídica y una mejor distribución de recursos; esta oportunidad debería implicar que la IA actúe como apoyo, más no como sustituto del razonamiento judicial.
Por otro lado, se podrían presentar riesgos cuando el sistema de IA influya en la valoración de pruebas, la priorización de denuncias o la elaboración de una decisión sin el conocimiento de las partes, puesto que ello podría generar afectaciones a la tutela jurisdiccional efectiva, el debido proceso, el derecho a la defensa, a la igualdad y no discriminación, la privacidad y el derecho a una resolución debidamente motivada. Tal como ya se mencionó anteriormente, los datos judiciales pueden contener desigualdades históricas y estereotipos y si una herramienta aprende de ellos sin una previa evaluación contextual, puede repetir tales sesgos a pesar de tener una apariencia de objetividad; por ejemplo, en casos de violencia de género, un puntaje de riesgo nunca debería silenciar el relato de la víctima ni reemplazar la investigación de sus circunstancias concretas (Montesinos García, 2024, pp. 573-592).
En ese sentido, para que este uso de la IA sea legítima y principalmente beneficiosa, la institución debe evaluar previamente su impacto en derechos humanos, verificar la calidad y representatividad de los datos, documentar el funcionamiento del sistema y auditar sus errores, además las partes deberían ser informadas cuando la IA haya influido de manera relevante, teniendo la posibilidad de conocer los datos y factores empleados por el sistema en cuestión, para que puedan tener la posibilidad de cuestionarlos y obtener una revisión humana efectiva. Finalmente, es importante que la decisión final se sustente en razones jurídicas propias, sin que una correlación estadística se tome como equivalante a una justificación jurídica (Moral Soriano, 2022, pp. 482-498; Blanco García, 2024, pp. 374-381).
Finalmente, en el caso peruano, es de mencionar que el Reglamento de la Ley 31814 otorgó al Poder Judicial un plazo máximo de un año, contado desde el 10 de septiembre de 2025, para implementar obligaciones de transparencia algorítmica, supervisión humana, seguridad y evaluación de impacto en el uso de la IA (a propósito del Proyecto CURIA presentado por esta institución, avocado a la revisión de documento y presentación de propuestas de resoluciones). Cumplido ese plazo el 10 de septiembre de 2026, corresponde exigir información pública que permita verificar qué medidas fueron efectivamente adoptadas; siendo que el anuncio de herramientas de IA, por sí solo, no acredita el cumplimiento integral del reglamento, que xige, entre otros, un sistema que sea seguro, transparente, responsable y ético, centrado en la protección de derechos fundamentales.
Esta sesión del módulo 1 me ayudó a comprender que la IA no es neutral, ya que refleja decisiones humanas y desigualdades sociales; por lo que su uso debe garantizar –para un mayor beneficio– transparencia, supervisión humana y respeto por los derechos humanos.
Fabiana Mautone 3
<!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;
mso-font-charset:0;
mso-generic-font-family:roman;
mso-font-pitch:variable;
mso-font-signature:-536869121 1107305727 33554432 0 415 0;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;
mso-font-charset:0;
mso-generic-font-family:swiss;
mso-font-pitch:variable;
mso-font-signature:-469750017 -1040178053 9 0 511 0;}
@font-face
{font-family:"Calibri Light";
panose-1:2 15 3 2 2 2 4 3 2 4;
mso-font-charset:0;
mso-generic-font-family:swiss;
mso-font-pitch:variable;
mso-font-signature:-469750017 -1040178053 9 0 511 0;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{mso-style-unhide:no;
mso-style-qformat:yes;
mso-style-parent:"";
margin-top:0cm;
margin-right:0cm;
margin-bottom:8.0pt;
margin-left:0cm;
line-height:107%;
mso-pagination:widow-orphan;
font-size:11.0pt;
font-family:"Calibri",sans-serif;
mso-ascii-font-family:Calibri;
mso-ascii-theme-font:minor-latin;
mso-fareast-font-family:Calibri;
mso-fareast-theme-font:minor-latin;
mso-hansi-font-family:Calibri;
mso-hansi-theme-font:minor-latin;
mso-bidi-font-family:"Times New Roman";
mso-bidi-theme-font:minor-bidi;
mso-fareast-language:EN-US;}
.MsoChpDefault
{mso-style-type:export-only;
mso-default-props:yes;
font-family:"Calibri",sans-serif;
mso-ascii-font-family:Calibri;
mso-ascii-theme-font:minor-latin;
mso-fareast-font-family:Calibri;
mso-fareast-theme-font:minor-latin;
mso-hansi-font-family:Calibri;
mso-hansi-theme-font:minor-latin;
mso-bidi-font-family:"Times New Roman";
mso-bidi-theme-font:minor-bidi;
mso-fareast-language:EN-US;}
.MsoPapDefault
{mso-style-type:export-only;
margin-bottom:8.0pt;
line-height:107%;}
@page WordSection1
{size:612.0pt 792.0pt;
margin:70.85pt 3.0cm 70.85pt 3.0cm;
mso-header-margin:36.0pt;
mso-footer-margin:36.0pt;
mso-paper-source:0;}
div.WordSection1
{page:WordSection1;}
-->
01 Los datos biométricos y de salud. Las contraseñas se cambian, pero tu
cara o tu historial médico no. Si se filtran, te pueden discriminar en un
laburo o seguro médico.
03 No sabemos nada. Aceptamos los "términos y condiciones" sin
leer porque son eternos y complejos. Deberían explicarnos en dos renglones
simples qué hacen con nuestra info.
04 El riesgo es que los persigan o los silencien. Si les controlan los
chats o la ubicación, exponen a sus fuentes y se les hace imposible laburar
seguros.
Javier José Fallas Umaña 3
Javier José Fallas Umaña 3
Me quedé pensando en lo que dices sobre las instituciones públicas. Es súper cierto eso de que el peligro no es solo usar la tecnología, sino que el Estado termine dependiendo de ella sin entenderla. O sea, que se pierda el criterio propio y se le delegue todo a una "caja negra" que no saben cómo supervisar. Al final, el que sale perdiendo es el ciudadano.
Y totalmente de acuerdo con tus tres condiciones. Sobre todo lo de la supervisión humana. Porque a veces pensamos que con que haya alguien "revisando" al final ya está todo bien, pero si esa persona no tiene el conocimiento o la autoridad real para decir "no, esto está mal y lo vamos a cambiar", entonces la supervisión es pura fachada.
Me encantó tu frase final. Al final del día, el tema no es solo qué tan avanzada está la tecnología, sino qué cosas estamos dispuestos a dejarle decidir a una máquina y de cuáles no podemos soltar la responsabilidad.
¡Muy buen aporte! Saludos.
Maria Cristina Vigay 3
Buenas noches estimados/as, comparto algunas apreciaciones respecto a las preguntas dadas por el docente:
¿Puede la inteligencia artificial ser neutral? No. La IA no es un artefacto aislado, sino un sistema sociotécnico que refleja decisiones, prioridades e incentivos humanos. Al basarse en estimaciones probabilísticas y datos históricos, puede generar discriminación algorítmica utilizando variables aparentemente neutrales (como el código postal o el historial laboral) como sustitutos del género o la condición socioeconómica.
¿Dónde está el poder cuando hablamos de IA? El poder reside en quienes definen los objetivos del sistema, crean las categorías de clasificación y controlan los datos y la infraestructura de cómputo. Esta concentración produce dependencia tecnológica en América Latina y genera opacidad en la gestión pública cuando el secreto comercial de los proveedores privados impide auditar decisiones que afectan a la ciudadanía.
IA y derechos humanos: ¿oportunidad, riesgo o ambas? Considero que representa ambas dimensiones. En áreas como el Estado de bienestar o la salud pública, es una oportunidad para optimizar la entrega de prestaciones y agilizar la gestión. No obstante, conlleva el riesgo de vulnerar derechos como la igualdad, la privacidad y el debido proceso si un error algorítmico excluye a personas vulnerables sin ofrecer una explicación transparente o un mecanismo de reclamo efectivo.
¡Nos seguimos leyendo!
<!
Martha Cecilia Vimos Vimos 5
ica que se tenía hace algunos años, en la actualidad se sabe que la IA no busca reemplazar a los humanos, sino contribuir al desarrollo de sus capacidades y contribuciones. Sus diferentes aplicaciones tienen como meta mejorartanto el desempeño como la experiencia de sus usuarios.
<!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;
mso-font-charset:0;
mso-generic-font-family:roman;
mso-font-pitch:variable;
mso-font-signature:-536869121 1107305727 33554432 0 415 0;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;
mso-font-charset:0;
mso-generic-font-family:swiss;
mso-font-pitch:variable;
mso-font-signature:-469750017 -1073732485 9 0 511 0;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{mso-style-unhide:no;
mso-style-qformat:yes;
mso-style-parent:"";
margin-top:0cm;
margin-right:0cm;
margin-bottom:8.0pt;
margin-left:0cm;
line-height:115%;
mso-pagination:widow-orphan;
font-size:12.0pt;
font-family:"Calibri",sans-serif;
mso-ascii-font-family:Calibri;
mso-ascii-theme-font:minor-latin;
mso-fareast-font-family:Calibri;
mso-fareast-theme-font:minor-latin;
mso-hansi-font-family:Calibri;
mso-hansi-theme-font:minor-latin;
mso-bidi-font-family:"Times New Roman";
mso-bidi-theme-font:minor-bidi;
mso-font-kerning:1.0pt;
mso-ligatures:standardcontextual;
mso-fareast-language:EN-US;}
.MsoChpDefault
{mso-style-type:export-only;
mso-default-props:yes;
font-family:"Calibri",sans-serif;
mso-ascii-font-family:Calibri;
mso-ascii-theme-font:minor-latin;
mso-fareast-font-family:Calibri;
mso-fareast-theme-font:minor-latin;
mso-hansi-font-family:Calibri;
mso-hansi-theme-font:minor-latin;
mso-bidi-font-family:"Times New Roman";
mso-bidi-theme-font:minor-bidi;
mso-fareast-language:EN-US;}
.MsoPapDefault
{mso-style-type:export-only;
margin-bottom:8.0pt;
line-height:115%;}
@page WordSection1
{size:595.3pt 841.9pt;
margin:70.85pt 3.0cm 70.85pt 3.0cm;
mso-header-margin:35.4pt;
mso-footer-margin:35.4pt;
mso-paper-source:0;}
div.WordSection1
{page:WordSection1;}
-->
El término inteligencia
artificial solía estar relacionado con narrativas futuristas en escenarios
usualmente irreales. Sin embargo, el estado actual de las cosas es muy
diferente. Gracias a los descubrimientos y avances tecnológicos, el concepto de
inteligencia artificial ha adquirido un nuevo sentido, pasando a formar parte
de la cotidianeidad de una gran parte de la población mundial.
La inteligencia artificial es una
rama de la ciencia informática que tiene como objetivo diseñar tecnología que
emule la inteligencia humana. Esto significa que, mediante la creación de
algoritmos y sistemas especializados, las máquinas pueden llevar a cabo
procesos propios de la inteligencia humana, como aprender, razonar o
autocorregirse.
Al contrario de la concepción
arcaica que se tenía hace algunos años, en la actualidad se sabe que la IA no
busca reemplazar a los humanos, sino contribuir al desarrollo de sus
capacidades y contribuciones. Sus diferentes aplicaciones tienen como meta mejorar
tanto el desempeño como la experiencia de sus usuarios.