"No es un tema de regulación, sino de capacitación": El debate sobre el uso de IA en los fallos judiciales

La Corte Constitucional tendrá que pronunciarse próximamente sobre una tutela en cuyo fallo un juez aceptó haber usado inteligencia artificial, en particular, la llamada ChatGPT.

Antes de dictar sentencia a favor de un niño con trastorno del espectro autista, el juez primero laboral del circuito de Cartagena, Manuel Padilla, le preguntó a ChatGPT si este menor podía ser eximido de los pagos de la cuota moderadora de su EPS. La IA no solo respondió que sí, sino que elaboró una respuesta que el juez utilizó en su argumentación, dándole el crédito respectivo a la aplicación.

El recurso digital llamó tanto la atención que la fundación Karisma y la organización El Veinte, en conjunto, lograron que la Corte Constitucional revisara el caso. La decisión que la Corte tome podría ser una de las primeras en todo el mundo que dicte un tribunal constitucional sobre el uso de la inteligencia artificial, sobre todo en la construcción de decisiones judiciales.

CAMBIO conversó con Catalina Moreno Arocha, abogada de la Fundación Karisma, una organización social que promueve los derechos humanos y la justicia social en el diseño y uso de tecnologías, sobre las preocupaciones que surgen por la utilización de este tipo de recursos en la administración de justicia.

CAMBIO: Este es el primer litigio que llega a la Corte sobre inteligencia artificial. Se espera que la sentencia marque las primeras pautas al respecto. ¿Cuáles son sus expectativas?

Catalina Moreno Arocha: El enfoque fue poner en contexto a la Corte sobre lo que significa la inteligencia artificial. Cuando hicimos la intervención, nos enfocamos en decirle cómo funciona en realidad ChatGPT: que no es un sistema que sepa las respuestas, sino una herramienta generativa que fue entrenada con un montón de textos que pueden incluir sentencias de la Corte Constitucional. Su virtud es que aprende cómo responder de forma que parezca muy adecuada; sabe cómo responder probabilísticamente para que parezca que sí está dando la respuesta. Eso no significa que sepa todas las respuestas del universo, sino que hace una lectura de una cantidad de textos y sabe cómo dar respuesta a interrogantes. Sin embargo, a veces la gente piensa que automáticamente la tecnología redundará en eficiencia, transparencia y reducción de tiempos; pero cuando empezamos a ver esas virtudes de la tecnología en general, estamos dejando de lado los riesgos que pueden implicar en temas de derechos. 

CAMBIO: ¿Cuáles son esos riesgos?

Catalina Moreno: El riesgo de cuando se usan estas tecnologías, sin saber cómo funcionan, es creer que tiene todas las respuestas. Un ejemplo: como ChatGPT está entrenada con textos principalmente en inglés, es posible que tenga mucha jurisprudencia de Estados Unidos y no tanta colombiana. Ese tipo de riesgos podrían no estar tan claros para los jueces cuando estén utilizando este tipo de herramientas. Tampoco pueden saber los sesgos que la IA puede reproducir.

Le puede interesar: “La agencia no es competente para denunciar”: Martha Lucía Zamora a Petro por violación del estatuto de oposición en el Concejo de Bogotá

CAMBIO: ¿Cómo funciona Chat GPT? ¿Es correcto decir que construye respuestas a raíz de una gran enciclopedia digital?

Catalina Moreno: No es tan así. No es una enciclopedia en el sentido de que tienen contenidos que han sido validados y tienen un grado de certeza. A ChatGPT se le enseña cómo responder de una manera creíble, pero no necesariamente confiable. Le puedes preguntar algo. Si no lo sabe, ChatGPT lo inventa; y, como sabe qué palabras usar para que su respuesta parezca real, empezamos a patinar, porque el usuario puede estar convencido de que lo que te dijo era real, pero no es así. Ya pasó en Estados Unidos, en un caso notorio sobre una demanda contra Avianca: un abogado usó Chat GPT para responder y citó precedentes que no existían, se los inventó. Ese es el problema. Chat GPT no es una enciclopedia donde los contenidos están validados, sino que empieza a ver cómo responder y te puede estar engañando. 

Entonces, el juez puede usar Chat GPT, pero tiene la labor de comprobar. Además, esa IA está entrenada con bases de datos hasta noviembre de 2021, más o menos. De ahí en adelante, todo lo que ha pasado no existe.

CAMBIO: ¿Por qué se dice que es una IA generativa?

Catalina Moreno : Hay muchos tipos de IA y Chat GPT es un tipo específico de IA generativa. Lo que hace es tomar una gran cantidad de base de datos que puede incluir texto, video e imágenes, que puede incluir sentencias de la Corte, leyes colombianas, o sea, una gran cantidad de información. Es una herramienta que puede procesar y generar contenidos nuevos a partir de todo con lo que fue entrenada y por eso tan llamativa. Como fue entrenada, las respuestas que producen se dan en textos de lenguaje natural, es decir, que parecen responder como tú y yo estamos hablando: si me haces una pregunta, sé cómo responder porque entendí la pregunta. Chat GPT no te va a responder con un montón de texto, sino que va a entender la pregunta, sabe cómo responderte con lenguaje natural y de forma que parece verosímil, pero no necesariamente es contenido verídico.

CAMBIO: Volvamos al caso. ¿Podía el juez usar esa IA?

Catalina Moreno: La habilitación que usó el juez está en la ley 2213 de 2020, que hizo permanente el decreto 806 de 2020 del Gobierno Duque, sobre la digitalización de la justicia, que dice que se podrán utilizar tecnologías de la información al administrar justicia. El juez se agarra de ahí y dice que esa es la autorización para usar Chat GPT. A nosotros nos parece que no es adecuada esa justificación porque hay muchos riesgos que aún no han sido pensados. Nos parece que, en todo caso, cada vez que un juez utilice cualquier IA debe tener claro que la responsabilidad siempre será de él.

CAMBIO: ¿Debía haber una autorización –ley, decreto o resolución– para el uso de la IA?

Catalina Moreno: Creo que esa autorización legal que existe –y que dice que se pueden usar TICS– no es un cheque en blanco para que uno utilice cualquier tecnología sin un análisis de fondo de lo que hay cuando se usa. No creo que el juez haya saltado la ley. Creería que no se trata de una autorización legal. Para nosotros, lo más riesgoso es el uso que se le da sin tener en cuenta las consecuencias. Es un tema más de capacitación de los jueces, de cómo se usan las herramientas y el riesgo que tienen para los derechos.

Le puede interesar: Falleció Juan Carlos Henao, destacado jurista y exmagistrado

CAMBIO: ¿Debemos entrar en el dilema de regular la IA? ¿Se puede hacer?

Catalina Moreno: Justo ahora hay cinco iniciativas en el Congreso sobre inteligencia artificial y el problema es justamente esa pregunta, de si es efectivamente posible. Lo que hemos visto hasta el momento es que son proyectos de ley que tratan de abarcar toda la inteligencia artificial y que caen en generalizaciones y en una falta de precisión que puede ser preocupante. No hemos visto ejemplos de otros países y tampoco creemos que la solución inmediata para que los jueces la puedan aplicar sea una ley.

Finalmente, esta es una herramienta que sirve en el día a día a muchas personas, incluyendo a jueces. El problema es cuando un juez utiliza una herramienta sin saber cómo está construida ni qué resultados va a obtener, y si, de alguna forma, llega a pensar que no es su responsabilidad lo que salga de ahí y lo que use en la sentencia. Si el juez piensa que no va a ser responsable, estamos equivocados. Le pedimos a la Corte que le dé la orden al Consejo Superior de la Judicatura para que, a través de la Escuela Judicial, les explique a los jueces de qué se trata la inteligencia artificial –el Chat GPT en específico– y cuáles son los riesgos. Más que un tema de regulación, es un tema de capacitación.

CAMBIO: El país supo de este caso porque el juez explícitamente dijo en su fallo que había usado ChatGPT, pero no sabemos si más jueces lo han usado sin decirlo. Una solución podría ser que la Corte dé unas pautas generales acerca de que el juez debe estar obligado a verificar las informaciones que usa en la construcción de su decisión judicial....

Catalina Moreno: Sí, exacto. Eso es lo que hemos tratado de plantear. Lo principal es que el juez tenga responsabilidad de todo el contenido que firma. De otro lado, están las garantías que tienen las personas de presentar recursos en contra de las decisiones, o un eventual proceso disciplinario en el caso –como en el ejemplo– en que se lleguen a citar sentencias que no existen.

CAMBIO: Colombia es un país de abogados en donde una norma es interpretada de manera diferente por dos personas. De hecho, la Corte Constitucional está compuesta por nueve personas que tienen posiciones jurídicas diferentes porque estas están ligadas a la trayectoria de cada una, a sus estudios, a sus experiencias, a su posición política. Llama la atención la advertencia que se hace sobre la posible reproducción de sesgos por parte de la IA, pues no sabríamos si su respuesta parte de un sesgo.

Catalina Moreno: Se han hecho experimentos por parte de profesores que le dicen a Chat GPT que resuelva una situación en la que hay involucrado un profesor y un estudiante. Como en inglés no se diferencia el género (si es una profesora o una estudiante), se han dado cuenta de que la IA siempre asume que el profesor es hombre y la estudiante es mujer. Eso es un ejemplo de un sesgo que puede ilustrar lo que pasa, pues se recogen textos que están en internet, la mayoría en inglés, y textos que tienen un sesgo. La mayor cantidad de información recogida es de sistemas jurídicos que no son los nuestros. Entonces, si piensa uno que va a responder de manera exacta porque tiene todas las sentencias de la Corte metidas, pues puede que no, porque en una respuesta (sobre, por ejemplo, el aborto), puede pesar más un montón de información que obtuvo del derecho al aborto en Estados Unidos y no de nuestras sentencias.

Le puede interesar: Salieron de su casa y no volvieron más: la justicia llegó para las familias de seis víctimas de 'falsos positivos'

CAMBIO: ¿Cómo no estigmatizar a la IA? ¿Cómo puede aportar Chat GPT?

Catalina Moreno: Creo que puede facilitar el trabajo, si se usa bien. Por eso nosotros no decimos que tiene que prohibirse, porque eso sería tonto. Además, no está mal el uso de esas herramientas. Así que puede usarse para, por ejemplo, pedir un esquema de cómo organizar una sentencia, detectar errores, o mirar qué hace falta para reforzar un argumento. No creemos que se tenga que satanizar. Creemos que es una herramienta válida. Solo que hay que conocer los riesgos.

CAMBIO: ¿Se podría decir que una regulación sobre IA podría quedarse vieja muy rápidamente? Ahora hay inteligencias artificiales que son capaces de reproducir las voces de cantantes y crear canciones como si fueran suyas, como pasó recientemente con Bad Bunny. A partir de ahí, se abren más debates sobre derechos de autor, por ejemplo. ¿Una regulación hoy se quedaría obsoleta?

Catalina Moreno: Puede suceder eso. Puede suceder que la regulación que se proponga busque la prohibición cuando en realidad no hay forma de establecer si alguien la usó. O bien, que se convierta esto en un tema de comprar una herramienta para detectar qué sentencias fueron construidas con su ayuda. Nosotros hacemos un llamado en el sentido de decir que las salvaguardas ya existen y que es deseable que los jueces que usen estas herramientas lo mencionen en las sentencias para que la persona (del caso) conozca cómo se llegó a la decisión. Eso sí podría estar incluido dentro del debido proceso.

CAMBIO: ¿La capacitación qué otro asunto debería abarcar?

Catalina Moreno: Por ejemplo, de qué manera vamos a hacer que esto funcione con el tema de la perspectiva de género. La Corte –desde 2008, más o menos– empezó a decir que hay necesidad de aplicar justicia con perspectiva de género, y le ha dicho al Consejo Superior de la Judicatura que tiene obligación de capacitar. Entonces, no es prohibir, no es regular. Es más un tema de capacitación. Los jueces deben saber qué riesgos y sesgos tiene el uso de la inteligencia artificial y saber que ellos mantienen la responsabilidad de sus sentencias.

Le puede interesar: La historia de horror por la que una psicóloga asesinada recibe por fin reparación a su nombre

CAMBIO: ¿Podría la rama judicial proponer su propia IA generativa?

Catalina Moreno: Yo siento que sobre todo es muy costoso mantener cualquiera de estas cosas. Recuerda que, aunque no era generativa, sí hubo un intento de la Corte Constitucional de tener una inteligencia artificial, que se llamó Pretoria, de la cual todavía estamos pendientes de ver qué pasa, porque no está funcionando en este momento como una IA. La idea inicial de ese proyecto era que facilitara el proceso de selección de tutelas. De lo que sabemos como sociedad civil, en este momento se usa más como un sistema de filtrado: el sistema lee la sentencia, identifica si viene concedida, negada o improcedente; identifica a los sujetos que están involucrados, si hay sujetos de especial protección, si hay mujeres, personas de la tercera edad, migrantes....Y la persona que está encargada puede hacer filtros que de pronto antes no se podían hacer.