A cada paso de la técnica, se pone a prueba la inteligencia humana, su espíritu, su visión y su responsabilidad. Seamos conscientes: no hay tecnología, ni inteligencia artificial, machine learning, sin previa intención humana. A estas reflexiones y sus efectos éticos y jurídicos nos introduce el Dr. Burgos en esta columna. Veamos el escenario y los actos de una obra de los hombres que merece nuestra mirada crítica.
Bienvenido Osvaldo en toda tu dimensión! Estimado lector, prepárese un café, pase y disfrute.
Especial para El Seguro en Acción
Por el Dr. Osvaldo R. Burgos
Lo que quiera, cuando quiera y dónde quiera, sr. Spinetta (sepia postal del 70).
“Chicas y muchachos nos esperan allá, llevamos buenas cosas”, cantaba el Flaco Luis Alberto, el poeta del rock –si hay que elegir a uno- con el pelo cayéndole en bucles sobre la cara y cubriendo los broches del enterito blanco. Sus agudos, a veces incomprensibles, juntaban a la gentedel Coliseo como el sagrado shofar supo reunir alguna vez a los hebreos bíblicos. Inapelablemente.
Eran los primeros 70’s y no hacía falta saber para entender. Apenas dos años antes París había ardido; y todo estaba por arder acá. Luche y vuelve, gritaban las paredes mudas, con la policía en la puerta. Y justo ahí, “detrás de las paredes que ayer se han levantado” el mismo Luis Alberto, un rato antes,le había rogado a su muchacha ojos de papel que se quedara. Hasta el alba, hasta el día, hasta el sol.
Sosteniendo el ritual en semejante encrucijada de la era, los otros Almendras -Molinari, Del Guercio y García, nombrados así, de corrido, como un mediocampo de recuperadores virtuosos- eran testigos de la gloria. Y del loor.
Ahora que todos sabemos lo que pasó después, es imposible explicar lo que era eso. Y tal vez sea en vano. Baste decir que la muchacha de Luis se fue cuando llegó la noche –siempre, o casi siempre, las muchachas pechos de miel se van- y, como tantos otros, nunca pudo volver a lo que no había sido.
“Tengo los dedos ateridos” (y “superateridos”) cantaba el poeta, enigmático como un druida, en su simplicidad. Ningún hombre, ningún auto, quería llevarlo por la ruta hacia dónde lo esperaban. Pero hasta que no leían la letra en la nueva revista Pelo, sus devotos -con problemas más urgentes que la coherencia semántica- gritaban “adheridos”, intentando inútilmente acompañarlo hasta el final feliz.
Fin de la historia. Corte. “Chicas y muchachos nos esperan allá, llevamos buenas cosas”, hoy, a lo sumo, podría ser el eslogan de una app que ofrece servicios de delivery. Siempre y cuando lo despojáramos de algunas etiquetas, a las que ya no hay necesidad de adherirse, claro.
Si algo enseñan los años, es que los rótulos suelen abandonar a la gente, que insiste en rotularse. Y más de una vez, la dejan aterida al borde la ruta.Pero las app que ofrecen servicios de delivery llegan a todos lados. Y el Flaco Luis Alberto –dando por cierto que la “reunión afectiva” en la que lo esperaban, no fuera “clandestina” o, en términos más adecuados con la época, que no exigiera su “pase a la clandestinidad”– hoy solo hubiera tenido que consultar a su Smartphone.
Así, las “buenas cosas” que, sus acompañantes y él, llevaban habrían llegado a tiempo. Sea donde fuere que iban.Lo que quiera, donde quiera y cuando quiera señor Spinetta, diría el asistente virtual.
De eso se trata esta columna, con la que nuestra casa, El Seguro en Acción, nos recibe de nuevo. Reconociéndonos, tal vez, por la voz; como una vez supo hacer el viejo criado en “La Casita de mis viejos”, el tango de Cobián y Cadícamo –cuyos “viejos”, por lo que se ve, habrían tenido “casita” con “criados”- que nos cantaba y contaba Julio Sosa. Valga la mención tanguera como homenaje al creador de este espacio, mi amigo siempre entrañable y cada vez más extrañado, Raulito Carreira.
Así que aquí estamos otra vez, Rauli. En estos tiempos extraños, para pensar lo que pasa y nos pasa. Y entre lo que nos pasa está internet. Y la Big data. Y el Machine Learning (aprendizaje de máquinas). Y los algoritmos. Uf.
“La ciencia descubre. La industria aplica. El hombre se amolda”.
Este lema, que fácilmente podría ser adoptado para el lanzamiento de cualquier avance en productos de Inteligencia Artificial o guiar una investigación en el fantástico mundo de la interfaz cerebro-máquina, no es nuevo. Muy por el contrario, fue el lema utilizado para la convocatoria a la Feria Mundial de Chicago, en 1893. Por entonces, la panacea del conocimiento total no la ofrecían las neurociencias sino la frenología.
Esto es: no eran las sinapsis neuronales sino los órganos del cerebro los que escondían, en los cajones de su compartimentación minuciosa, la respuesta para todo. También para una vida feliz. “Uno de los primeros requisitos en una buena esposa, es verificar que tenga una buena cabeza”, aconsejaba, ya desde 1841, la frenología popular de Coombe.
“La ciencia descubre. La industria aplica. El hombre se amolda”. Si de “buena cabeza” se trata, hoy solo bastaría esperar la producción en masa y las mejoras introducidas a las nuevas versiones del botSophia. O de su equivalente masculino, claro está. Aunque, contradiciendo la historia bíblica, este Ken cibernético nacerá, si es que nace –como su antecesor de plástico duro- del tedio solitario de su compañera algorítmica.
La ciencia descubre, siguiendo sus políticas. Y predice. La industria aplica, atendiendo a su identificación de las demandas comerciales. Y produce.Pero, la pregunta de hoy es: ¿De verdad, creemos todavía, un siglo y cuarto después de aquella feria mundial, que la única función del hombre es “amoldarse”?
Con la misma atónita mirada de quienes eran llevados hasta el lecho de Procusto –mítico bandolero y posadero del Ática que reducía o estiraba a sus huéspedes, a la medida de sus camas de tortura- nos paramos frente a máquinas que nos reducen a perfiles y que, una vez reducidos, nos completan a discreción, según sus propios cálculos. Así deciden aquellos que debiéramos ser mañana. Y sobre ellos, perfilan nuestros yos de pasado mañana, para calcular, a su vez, los del día siguiente.
La dinámica de este proceso la explica ShoshanaZuboff en un libro imprescindible que se llama “La era del capitalismo de la vigilancia”, cuya lectura recomiendo enfáticamente.
Es un proceso que se aplica a todo: a los bancos, a los seguros, a la determinación de las cargas tributarias, a la evaluación de la historia laboral, a la producción y gestión de bienes, a la logística, a la enseñanza, etc. Y hoy más que nunca, en nuestra “realidad integrada” –concepto que resulta de la relativización de los viejos límites entre lo “virtual” y lo “real”- ya no se trata de plantearnos lo que las máquinas algorítmicas le hagan al hombre. Aunque en verdad nunca se trató de eso, por más que así haya sido formulado tradicionalmente el problema.
Se trata, en principio, de reconocer que detrás de cada máquina hay una organización. Detrás de cada organización, hay personas. Y beneficios económicos, que lógicamente debieran generar responsabilidades.
Luego, de la obligación de asumir que, en este juego de máscaras transparentes que caen, el problema debe plantearse en términos de lo que algunos hombres deciden hacerles a otros, poracción u omisión, en uso de sus máquinas algorítmicas. Y que son los derechos de esos “otros” –es decir, los nuestros- los que deben preservarse.
Los hechos.
Eso fue, precisamente, lo que resolvió un Tribunal de Bolonia, en el caso conocido como Deliveroo. La arbitrariedad de las decisiones confiadas a una máquina, que afectan derechos de terceros, presupone una decisión previa tomada por los propietarios de la máquina que decide: la decisión de confiarle esa tarea y someter a ella los derechos ajenos, con prescindencia de toda incidencia negativa, de su operatoria, sobre los mismos.
Jurídicamente diríamos, responsabilidad por vicio de la cosa. O en términos más específicos y directos: no hay discriminación algorítmica; hay discriminación por el uso de algoritmos. Y así lo expresa claramente el Tribunal.
Veamos los hechos:
- Deliveroo es una app de delivery gastronómico, que ofrece servicios de traslado a domicilio de comida, para clientes que lo solicitan desde su propia plataforma.
- Las personas que se ocupan de ese traslado –llamadas “riders”- ingresan semanalmente a esa misma plataforma para reservar, entre las zonas y las franjas horarias disponibles al momento de su ingreso – es decir; ofrecidas discrecionalmente por la empresa- dónde y cuándo tomar servicios solicitados por clientes.
- Llegado el momento del horario reservado, el rider debe iniciar sesión en la app de la empresa, encontrándose dentro de la zona geográfica elegida. De la relación entre la reserva de zonas y franjas horarias, por un lado, y la conexión efectiva dentro de las mismas, por el otro; un algoritmo llamado “Frank” elabora un “índice de fiabilidad”.
- Además de ese “índice de fiabilidad”, Deliveroo considera también un “índice de disponibilidad”, que el mismo “Frank” calcula automáticamente, considerando las veces que cada trabajador estuvo disponible en los momentos de mayor demanda para la empresa.
- Así, por la correlación de ambos índices, el algoritmo califica a los riders en un ranking. Y privilegia las elecciones de zonas y horarios de los mejores rankeados, en perjuicio de quienes hayan incumplido o discontinuado sus reservas y/o no se hayan declarado frecuentemente como disponibles en el horario crítico.
- La empresa únicamente aceptas dos incidencias negativas sobre el trabajo del rider, que no afectan su calificación: la eventualidad de no poder iniciar sesión debido a problemas en su propia plataforma y el hecho de no completar la franja horaria reservada, en razón de haber sufrido un accidente durante la misma.
- En tanto cualquier otra contingencia refleja y refracta igualmente en la puntuación del trabajador –y consecuentemente, en sus posibilidades reales de acceder al trabajo- las organizaciones sindicales demandaron a Deliveroo, alegando la negación inconstitucional del derecho a huelga, por un lado, y, por otro, la discriminación laboral resultante de equiparar una contingencia de enfermedad del trabajador a un incumplimiento inmotivado.
- La defensa de la empresa resultó jurídicamente inconsistente, pero su mención en estas líneas me parece interesante. Plantea la neutralidad en la discriminación que el algoritmo realiza objetivamente a los fines de cumplir con su tarea: la discriminación algorítmica (matemática) no supone discriminación jurídica, sostiene
- Sin atender a este argumento, el Tribunal hace lugar a la demanda y condena a Deliveroo, obligándola a un pago y a la obligación de hacer -sin que así esté expresado en la sentencia, que no se pronuncia sobre la opacidad del proceso algorítmico- de modificar los parámetros de “Frank”, para no lesionar a futuro los derechos de sus trabajadores –y enfrentarse a otras tantas demandas similares-.Objetividad no es neutralidad, amigos.
El fallo
La decisión de atribuir idénticos efectos a situaciones diferentes, constituye discriminación indirecta, sostiene este Tribunal. Y acertadamente considera que ese proceder reprochable no responde a una decisión algorítmica, sino a una decisión humana en la fijación de parámetros para el algoritmo. “Frank” puede tener un nombre amigable, pero no es más que un modelode cálculo. Esto es; una herramienta.
Luego, si su discriminación matemática institucionaliza una discriminación jurídica, no es porque así responda a su voluntad, sino porque, haciéndolo, actúa la voluntad humana de quien se sirve de él, para sus propios fines comerciales.
Por lo demás, el hecho de que la app acepte algunas situaciones como eximentes del incumplimiento laboral, y no así otras, supone una elección empresaria consciente de equiparar todas las situaciones no consideradas. Y en esa elección:
- Asimila contingencias reconocidas como derecho por la ley vigente a otras que no lo son.
- Evidencia una insostenible pretensión de situar la propia acción comercial en una situación de anomia, más allá del alcance del derecho.
La pretensión de encontrar en la ciencia las respuestas exactas que nos permitan reducir las complejidades de la vida y de la ley –siempre una y siempre una única respuesta, además, parra cada encrucijada vital- es tan antigua como la frenología. Disciplina esta que, en su momento de apogeo, ilusionó a algunos de los más reconocidos intelectuales –hay que decirlo- y terminó, entre otras cosas, articulando un discurso que justificaba la supremacía racial y, consecuentemente, naturalizaba la esclavitud.
Un mundo en el que cada acción se pudiera prever, sería un mundo sin acciones –al menos sin acciones voluntarias y, en tanto voluntarias, libres-. Un mundo de inhibición y represión naturalizada. Muchos de nosotros, al menos, no quisiéramos vivir ahí.
Las máquinas no son arbitrarias.Tampoco reclaman para sí mismas, la anomia –esto es, situarse más allá de todo alcance normativo-. Los algoritmos son herramientas de cálculo, instrumentos. Cada vez más complejos, cada vez más exactos, cada vez más formidables, es cierto. Pero cada vez más peligrosos, también. Cosas riesgosas, con aptitud de dañar.
Quienes reclaman la anomia –esto es, la posibilidad de situarse fuera del alcance de la ley y liberarse así de toda obligación de respeto al derecho de los otros- son aquellas personas y organizaciones, que pretenden utilizarlos arbitrariamente para sus propios fines.
Sean, estos fines, comerciales –como Deliveroo, en el caso del algoritmo “Frank”-, de segregación –como el Estado holandés, en el caso del algoritmo “Syri”, sobre el que trataremos en la próxima columna- o, lisa y llanamente, de vigilancia y dominio.
Breve y solitario final
¿Qué quedó de nuestra postal setentista del inicio? Veamos: la historia es conocida y, en cada aniversario de aquel absurdo día del 2012 en el que Luis se transformó en Capitán Beto, vuelve a los medios. La “muchacha ojos de papel” trabajó de profesora de español en el norte. Y en Los Ángeles fue haciéndose una mujer mayor. Tuvo hijos, nietos. Fue esposa, abuela.
Los artistas tienen sus musas; y a veces las musas los sobreviven. Pero hace falta el arte para que las musas sean. Y el arte, como el tiempo sagrado de los ritos –y entre los ritos sagrados está obviamente el amor- es siempre único. De modo que cada vez que suena, que se expone, que se lee, que se actúa, ocurre por primera vez. No es sucesivo, no es acumulativo, no es predecible.
El gran problema de los algoritmos es que no pueden calcular genealogías, ni experiencias de futuro. No imaginan, no vislumbran; predicen. No tienen esperanzas de un mundo mejor ni, mucho menos, pueden construirlo. Pueden “descubrir” correlaciones, eso sí, pero sus datos son siempre datos del pasado. Y así el pasado se consolida en ellos, con todos sus barbarismos, sus desvíos, sus sesgos.
El mismo año en que la “muchacha” fue por primera vez lo que iba a ser para siempre, se publicaba en Alemania la conferencia “Tiempo y Ser”, que Heidegger había dictado siete años antes, en 1962.Ahí el filósofo advertía que la fascinación por la técnica podía llevar a la inhibición del pensar reflexivo y, consecuentemente, a la reducción del pensamiento al mero procesamiento de datos. Pero calcular no es pensar, y los criterios no son sustituibles por parámetros.
¿Por qué no? Sencillamente, porque hace falta un criterio (humano) para determinar, al menos, con qué parámetros (organizacionales) se van a establecer las variables de cálculo (algorítmicas). Y, tal y como el tribunal de Bolonia supo advertirlo, de ese criterio nace la responsabilidad jurídica de dueño y guardián del software, del modelo de procesamiento, del sistema de cálculo, de la máquina.Un algoritmo es unaopinión formulada matemáticamente, nos enseña hoy Katy O’Neil.
Es decir: ni Sophía, ni el Ken que, más tarde o más temprano, saldrá de sus costillas digitales- actúan con una intención que les sea propia. La eficiencia y la optimización, son características que aluden a la relación de los procesos con su finalidad. Pero nada dicen de esa finalidad, en sí misma; ni puede desplazar a los valores en cuya referencia se determinan. Frank, por caso,es un sistema que niega eficientemente los derechos laborales y optimiza la discriminación de los trabajadores.
Fue en razón de experiencias como estas, que la Unión Europea publicó su primer proyecto de ley. Y, desde entonces, transparencia en la información de los procesos, sujeción a los derechos en la operatoria y en los “entrenamientos” de las máquinas yexigencias de auditorías periódicas para evitar –y en su caso, para denunciar y corregir- desvíos en el “aprendizaje”; es -como “Molinari, Del Guercio y García” en Almendra – una tríada que se recita de corrido, ante cualquier consulta sobre el tema, a nivel global.
Eso, justamente, fue lo que “don Frank” infringió: buena fe, legalidad del acto, rendición de cuentas.
Las “chicas y muchachos” de este tiempo (des)esperan. Quieren lo que sea, cuando sea, donde sea; pero ya. La tendencia al “tiempo real” multiplica formidablemente la ansiedad y las formas del daño. El mundo ha cambiado demasiadoy no siempre para mejor. Las “rutas argentinas” por las que Luis y sus amigos andaban, bien podrían ser un buen ejemplo de eso: segmentadas en unidades económicas señaladas por peajes si algo las surca de norte a sur y de este a oeste es la inseguridad.
En cada una de sus manifestaciones, el afán de reducir lo inseguroes el signo de estos tiempos. Ylos modelos algorítmicos son su herramienta ideal. Sin embargo, se trata de cálculos de riesgo, no de peligrosidad, y eso no hay que olvidarlo: el riesgo fija probabilidades, pero la etiqueta de “peligroso” que su cálculo justifica implica una afirmación de certeza. Lógicamente, el salto de lo probable a lo cierto depende de una decisión arbitraria. Y tiene efectos jurídicos sobre la vida de las personas.
Sobre esos saltos inductivos, nuestra sociedad de interrelación de riesgos sobrevive reinventándose continuamente. Por eso, adiferencia de la primera novia delFlaco, ellano puede envejecer, hacerse abuela, retirarse. Está agotada, pero calcula con su pasado, y se debe el presente. El futuro, se sabe, le llegó hace rato. Y habría que aceptarlo, para hacerse cargo de una vez: nos guste o no,era esto.
