Comprometerse con la comunidad tecnológica no es «una buena base de tener» para los formuladores de políticas de defensa: es «absolutamente indispensable tener a esta comunidad involucrada desde el principio en el diseño, el desarrollo y el uso de los marcos que guiarán la seguridad de los sistemas y capacidades de IA», dijo Gosia Loy, co-deputado jefe del Instituto de la ONU para la investigación de desarmamentos (unidir).
Hablando en el reciente Conferencia global sobre seguridad y ética de IA Organizada por Unidir en Ginebra, enfatizó la importancia de erigir barandillas efectivas mientras el mundo navega por lo que con frecuencia se llama el «momento oppenheimer» de AI, en referencia a Robert Oppenheimer, el físico nuclear estadounidense mejor conocido por su papel fundamental en la creación de la bomba atómica.
Se necesita supervisión para que los desarrollos de IA respeten los derechos humanos, el derecho internacional y la ética, particularmente en el campo de las armas guiadas por la IA, para garantizar que estas poderosas tecnologías se desarrollen de manera controlada y responsable, el funcionario de Unidir insistió.
Tecnología defectuosa
AI ya ha creado un dilema de seguridad para gobiernos y militares en todo el mundo.
La naturaleza de doble uso de las tecnologías de IA, donde se pueden usar en entornos civiles y militares, significa que los desarrolladores podrían perder el contacto con las realidades de las condiciones del campo de batalla, donde su programación podría costar vidas, advirtió a Arnaud Valli, jefe de asuntos públicos en Comand AI.
Las herramientas todavía están en su infancia, pero han alimentado durante mucho tiempo los temores de que podrían usarse para tomar decisiones de vida o muerte en un entorno de guerra, eliminando la necesidad de tomar decisiones humanas y responsabilidad. Por lo tanto, los crecientes llamados a la regulación, para garantizar que se eviten los errores que podrían conducir a consecuencias desastrosas.
«Vemos que estos sistemas fallan todo el tiempo», dijo David Sully, CEO de la compañía con sede en Londres, Advai, y agregó que las tecnologías siguen siendo «muy inquebrantables».
«Entonces, hacerlos mal no es tan difícil como la gente a veces piensa», señaló.
Una responsabilidad compartida
En Microsoft, los equipos se centran en los principios centrales de seguridad, seguridad, inclusión, equidad y responsabilidad, dijo Michael Karimian, director de diplomacia digital.
El gigante tecnológico de los Estados Unidos fundado por Bill Gates impone limitaciones en la tecnología de reconocimiento facial en tiempo real utilizada por la policía que podría causar daños mentales o físicos, explicó Karimian.
Se deben establecer salvaguardas claras y las empresas deben colaborar para romper los silos, dijo al evento en la ONU Ginebra.
«La innovación no es algo que ocurra dentro de una organización. Existe la responsabilidad de compartir», dijo el Sr. Karimian, cuya compañía se asocia con UNIDIR para garantizar el cumplimiento de la IA con los derechos humanos internacionales.
Paradoja de supervisión
Parte de la ecuación es que las tecnologías están evolucionando a un ritmo tan rápido que los países están luchando por mantenerse al día.
«El desarrollo de la IA está superando nuestra capacidad para gestionar sus muchos riesgos», dijo Sulyna Nur Abdullah, jefe de planificación estratégica y asesora especial del Secretario General de la Unión Internacional de Telecomunicaciones (ITU).
«Necesitamos abordar la paradoja de gobernanza de la IA, reconociendo que las regulaciones a veces retrasados detrás de la tecnología lo hacen imprescindible para el diálogo continuo entre los expertos políticos y técnicos para desarrollar herramientas para una gobernanza efectiva», dijo Abdullah, y agregó que los países en desarrollo también deben obtener un asiento en la mesa.
Brechas de responsabilidad
Hace más de una década en 2013, el famoso experto en derechos humanos Christof Heyns en un informe Sobre la robótica autónoma letal (LARS) advirtió que «sacar a los humanos del circuito también corre el riesgo de sacar a la humanidad del circuito».
Hoy no es menos difícil traducir juicios legales dependientes del contexto en un programa de software y todavía es crucial que las decisiones de «vida y muerte» sean tomadas por humanos y no robots, insistió a Peggy Hicks, directora de la División de Derecho a la División de Desarrollo de la Oficina de Derechos Humanos de la ONU ((Ohchr).
Sociedad de reflejo
Mientras que los grandes líderes de tecnología y gobernanza se ven en gran medida a los principios rectores de los sistemas de defensa de IA, los ideales pueden estar en desacuerdo con los resultados de las empresas.
«Somos una empresa privada, también buscamos rentabilidad», dijo el Sr. Valli de Comand AI.
«La fiabilidad del sistema a veces es muy difícil de encontrar», agregó. «Pero cuando trabajas en este sector, la responsabilidad podría ser enorme, absolutamente enorme».
Desafíos sin respuesta
Si bien muchos desarrolladores están comprometidos a diseñar algoritmos que sean «justos, seguros y robustos» según el Sr. Sully, no hay una hoja de ruta para implementar estos estándares, y las empresas pueden no saber exactamente qué están tratando de lograr.
Estos principios «todos dictan cómo debe tener lugar la adopción, pero realmente no explican cómo debería suceder eso», dijo Sully, recordando a los responsables políticos que «la IA todavía está en las primeras etapas».
Los grandes tecnología y los formuladores de políticas deben alejarse y reflexionar sobre el panorama general.
«Lo que es robustez para un sistema es un objetivo increíblemente técnico y realmente desafiante para determinar y actualmente no tiene respuesta», continuó.
No ai ‘huella digital’
El Sr. Sully, quien se describió a sí mismo como un «gran defensor de la regulación» de los sistemas de IA, solía trabajar para los no obligatorios Organización integral de tratados de prueba de prueba nuclear en Viena, que monitorea si las pruebas nucleares tienen lugar.
Pero identificar armas guiadas por IA, dice, plantea un desafío completamente nuevo que los brazos nucleares, con firmas forenses, no lo hacen.
«Hay un problema práctico en términos de cómo vigila cualquier tipo de regulación a nivel internacional», dijo el CEO. «Es lo que nadie quiere abordar. Pero hasta que eso se aborde … Creo que va a ser un gran obstáculo enorme».
Protección futura
Los delegados de la Conferencia Unidir insistieron en la necesidad de previsión estratégica, para comprender los riesgos planteados por las tecnologías de vanguardia que ahora nacen.
Para Mozilla, que capacita a la nueva generación de tecnólogos, los futuros desarrolladores «deben ser conscientes de lo que están haciendo con esta poderosa tecnología y lo que están construyendo», insistió el Sr. Elias de la firma.
Académicos como Moses B. Khanyile de la Universidad de Stellenbosch en Sudáfrica creen que las universidades también tienen una «responsabilidad suprema» de salvaguardar los valores éticos centrales.
Los intereses de los militares, los usuarios previstos de estas tecnologías, y los gobiernos como reguladores deben ser «armonizados», dijo el Dr. Khanyile, director de la Unidad de Investigación de Inteligencia Artificial de Defensa de la Universidad de Stellenbosch.
«Deben ver la tecnología de IA como una herramienta para el bien y, por lo tanto, deben convertirse en una fuerza para el bien».
Países comprometidos
Cuando se le preguntó qué acción única tomarían para generar confianza entre países, diplomáticos de China, Países Bajos, Pakistán, Francia, Italia y Corea del Sur también intervinieron.
«Necesitamos definir una línea de seguridad nacional en términos de control de exportación de tecnologías de alta tecnología», dijo Shen Jian, embajador extraordinario y plenipotenciario (desarme) y representante permanente adjunto de la República Popular de China.
Las vías para futuras investigaciones y desarrollo de IA también deben incluir otros campos emergentes, como la física y la neurociencia.
«La IA es complicada, pero el mundo real es aún más complicado», dijo Robert en Den Bosch, embajador del desarme y representante permanente de los Países Bajos a la Conferencia sobre Desarme. «Por esa razón, diría que también es importante observar la IA en convergencia con otras tecnologías y, en particular, cibernético, cuántico y espacio».
Publicado originalmente en The European Times
