Conexiones beethik: entrevista a Idoia Portilla

Doctora en CC. Económicas y Empresariales por la Universidad de Navarra. Profesora de Estadística e Investigación de Mercados en la Facultad de Comunicación de la Universidad de Navarra.

Presidenta del Comité de Ética de Insights + Analytics España.

Autora de numerosas publicaciones, su investigación se centra en la medición de audiencias, especialmente en televisión e internet y en la metodología de investigación y cuestiones éticas vinculadas a la investigación de mercados, el big data y la neurociencia.


1. ¿Qué te sugiere el concepto de ética de la responsabilidad radical?

Dado que mi vinculación con el estudio de la ética ha sido la profesión de investigador de mercados y analista de información, el concepto de ética de la responsabilidad radical me ha sugerido dos cosas: la profesionalidad y el cuidado de las personas.

Según la RAE, cuando decimos que una persona es un profesional, nos referimos a “que ejerce su profesión con capacidad y aplicación relevantes”. Personalmente lo simplifico en el “buen hacer”, sea cual sea la profesión que ejerzamos. Y este buen hacer precisa que seamos éticos.

Pero, como decía, ser éticos también supone cuidar a las personas. Al ejercer una profesión, interactuamos con nuestros compañeros, con clientes y con el público en general. Ser éticos supone no perjudicarles en modo alguno con nuestras actuaciones. Esto conlleva evitar daños económicos innecesarios, pero también otros como la pérdida de tiempo o perjudicar la imagen.


2. Actualmente eres la presidenta del Comité de Ética de Insights + Analytics España, un órgano creado para atender consultas y preguntas relativas a la práctica de los proyectos de investigación de mercados y data science. ¿Cuáles son los principales conflictos de valor a los que se enfrentan los profesionales en estas áreas hoy en día?

El tema más actual puede ser el manejo de información ya disponible, procedente de lo que se denominan fuentes secundarias de información. Son fuentes cada vez más abundantes, gracias a la digitalización y las políticas de datos abiertos (open-data). Hablamos de grandes volúmenes de datos, en muchos casos, de personas. Se deben haber recogido correctamente, cumpliendo la legalidad, y se podrán compartir sólo si se cumplen las condiciones acordadas con el titular de los datos. Es decir, le aplica la legislación de protección de datos, pero también cuestiones éticas. Por ello, la asociación internacional ESOMAR de profesionales de la investigación ha propuesta una guía, realizando recomendaciones para cumplir la ley pero también evitar perjudicar a la profesión, a los clientes o a los particulares (link a la guía).


3. En algunas de tus comunicaciones has compartido la necesidad de tener especial cuidado en la investigación online cuando se trata de colectivos vulnerables, como los menores, o en los límites de la investigación del contenido publicado en redes sociales, por ejemplo. ¿Cuáles consideras que son los principales riesgos éticos de la investigación de mercados hoy en día?

Entre las consultas recibidas en nuestro comité ético destacaría aquellas relacionadas con recoger información de menores de edad, pero también las de temas sensibles como el consumo de tabaco o de bebidas alcohólicas.

Con el desarrollo de la investigación online, también se plantearon dudas. Por ejemplo, cómo identificar a un menor en internet para no hacerle llegar un cuestionario inadecuado. Para evitarlo, actualmente se trabaja con los llamados paneles de internautas. Estas personas se han dado de alta voluntariamente para recibir encuestas, dando su consentimiento, siendo posible asegurarse de que no pertenecen a un grupo vulnerable. Es decir, que la tecnología ha ofrecido problemas y soluciones. Respecto a las redes sociales u otras plataformas online, la tecnología permitía la captura de todo tipo de información y parecía que todo valía. Actualmente, las plataformas tienen unas políticas de privacidad más claras. Además, desde el punto de vista ético, se han publicado códigos. Estos dan recomendaciones como no identificar a los sujetos o evitar publicar contenido que pueda dejar mal a una persona. Esto ha ayudado al sector y al desarrollo de mejores tecnologías.


4. En un artículo publicado en 2019 sobre “Gestión de datos: reglas éticas y legislación” afirmabas que “la ética en el manejo de datos es rentable porque minimiza los datos almacenados en volumen y tiempo, reduciendo los recursos necesarios, es decir, los costes en personal, tiempo y dinero. Pero también es rentable porque una empresa que cuide su gestión de datos tendrá mejor reputación”. ¿Son conscientes las organizaciones de estos beneficios? ¿Se está contemplando la ética en el manejo de datos?

Existen numerosos estudios que muestran que los ciudadanos europeos, y también en otros países, se preocupan cada vez más por su privacidad. Estos estudios muestran que hemos dejado de compartir datos personales, por ejemplo, limitando la instalación de algunas cookies cuando entramos en páginas web.

Sin embargo, las empresas siguen necesitando datos de personas para tomar decisiones, y no se pueden arriesgar a perderlos actuando de manera inapropiada. Por ello, ya se utiliza la transparencia como muestra de calidad y profesionalidad. Un reflejo de esto es la creciente oferta de empresas tecnológicas que ayudan a capturar datos de clientes de manera sencilla y transparente. Son empresas que ofrecen plataformas para la recogida de información propia, el denominado first party data, dado que se anuncia el fin de las cookies de terceros que limitará el acceso a informaciones utilizadas para enviarnos publicidad, por ejemplo.


5. Parece claro que las organizaciones tendrán que incorporar sistemas de gestión del big data para poder ser competitivas. ¿Puede producirse una brecha entre las empresas que tienen recursos y herramientas para su gestión y aquellas que no se lo pueden permitir? ¿Podría evitarse este hecho de alguna manera?

Las empresas grandes disponen de bases de datos propias muy ricas, y generalmente cuentan con recursos para acceder a muchas otras. Por el contrario, las empresas pequeñas y medianas no disponen de bases de datos de tanto valor y sus recursos para acceder a otras fuentes son limitados. Por eso, el parlamento europeo (con su directiva de Gobernanza de datos) está tratando de evitar que se produzca esta brecha, exigiendo que se abra el acceso a un gran número de bases de datos. Veremos si es posible.

Pero, además del acceso a la información, se necesitarán más profesionales capaces de gestionarla y explotarla adecuadamente. Este tipo de perfiles son esenciales para la democratización del dato. Actualmente, la demanda supera la oferta, pero la gran disponibilidad de cursos de formación en estas áreas podrá cerrar poco a poco esta brecha.


6. La neurociencia ha demostrado que la toma de decisiones es en gran parte inconsciente y con base emocional, por lo que pueden darse prácticas que intenten influenciar en esta dimensión. ¿Cuáles son las claves para asegurar un comportamiento ético del neuromarketing?

La neurociencia está bien regulada por leyes y códigos médicos, y también le aplican códigos propios, los de investigación de mercados o la legislación de protección de datos. Está bien regulado en cuanto a cómo realizarse.

En mi opinión, las dudas éticas vienen del lado de los usos que se dé a la información. Así, es frecuente asociar la neurociencia con influenciar a alguien para que compre algo de manera irracional, pulsando el llamado “botón de compra”. Por tanto, las claves para un comportamiento ético están en el uso de la información procedente de la neurociencia. Es en ese aspecto donde se está incidiendo en medicina, y donde será preciso dar pautas a los profesionales del marketing.


7. En las líneas de investigación sobre la interacción de los jóvenes adultos con las noticias y la publicidad online en las que has participado habéis concluido que los jóvenes perciben la publicidad como molesta. Pero muchas veces parece que las empresas no tienen en cuenta los efectos de sus acciones sobre la percepción de sus marcas. ¿Crees que deberían plantearse cambios en estas políticas para provocar mayor engagement de los potenciales consumidores?

Los anunciantes saben que la publicidad puede molestar cuando nos interrumpe lo que estamos haciendo. Sin embargo, la necesitan para recordarnos que están ahí, para presentarnos sus novedades o hacernos sentir mejor por consumir sus marcas. Y no están solos en esta labor. La publicidad también interesa a los medios de comunicación y las agencias de publicidad, ya que ganan dinero con ella. Incluso pueden ser ellos, estos intermediarios entre los anunciantes y el público, los responsables de la publicidad más intrusiva, buscando mayores ingresos. Son, por tanto, los tres agentes quienes deben establecer políticas adecuadas. Por mi parte, defiendo la autorregulación, ya que limitar la saturación publicitaria, por ejemplo, considero que sería beneficioso para todos.


8. En tu actividad docente compartes tu día a día con las y los jóvenes que liderarán la comunicación en los próximos años en nuestro país. ¿Has observado algún cambio en el sistema de valores entre las generaciones actuales y las anteriores? ¿Crees que los planes formativos contemplan de manera adecuada la reflexión ética para el ejercicio de la profesión?

Creo que las nuevas generaciones (al igual que gran parte de la sociedad) se preocupan cada vez más por cuestiones como el cambio climático o la sostenibilidad. Les atraen las empresas con valores, que apoyen causas sociales o sean sostenibles, pero de manera sincera. Tienen acceso a mucha información y no les gusta que les mientan.

En cuanto a la formación, en mi universidad siempre se ha formado en ética y deontología. Siempre ha sido un punto fuerte y creemos que las empresas lo valoran.


9. Por último, si tuvieras que ilustrar con tres palabras qué significa para ti incorporar la ética en la toma de decisiones ¿cuáles serían?

Es una pregunta difícil pero, volviendo a lo que decía en la primera pregunta, me quedaría con las palabras, “transparencia” y “profesionalidad”, más “cuidado de las personas”.

Considero que hay que explicar lo que se hace, ser transparentes en los motivos por lo que se recoge una información o por qué se ajusta un presupuesto. También considero que la profesionalidad y la ética van unidas. Creo que no se puede ser un buen profesional sin ser ético. Y esto me lleva al tercer aspecto, el cuidado de las personas, donde incluyo a compañeros de trabajo, clientes, proveedores y al público en general. A la hora de tomar decisiones, deberíamos tener en cuenta a las personas. Habría que cuidar que no se vean perjudicadas o tomar aquellas decisiones que eviten perjuicios mayores. No creo que esto será fácil, pero me parece un buen criterio que mejora nuestro entorno y a nosotros mismos.


Conexiones beethik: entrevista a Domingo García-Marzá

Catedrático de Ética de la Universidad Jaume I de Castellón. Ha ampliado estudios de Filosofía Política en Frankfurt (Alemania) y de Ética económica en ST.Gallen (Suiza), así como en la Universidad de Notre Dame (Estados Unidos). Sus líneas de investigación incluyen: ética empresarial, democracia deliberativa, diseño institucional, sociedad civil, ética de la inteligencia artificial y democracia algorítmica. Ha escrito numerosos libros y artículos. En la actualidad es Director del Departamento de Filosofía y Sociología.


1. ¿Qué te sugiere el concepto de ética de la responsabilidad radical?

El predicado radical introduce siempre la idea de ir al origen, a la raíz, al fundamento de las cuestiones, actividades o prácticas. Esto significa, a mi juicio, que, al acompañar al concepto de responsabilidad, incide en su significado primario: reconocer que responsabilidad viene de responder, de decir y hacer aquello que se espera de nosotros, tanto de las personas como de las instituciones. Por ejemplo, al hablar de una “empresa responsable” o de una “universidad responsable”, estamos diciendo que son capaces de responder de lo que se espera de ellas. Esto es lo que denominamos ética:  un carácter abierto a la responsabilidad, capaz de dar razón de lo que hace o deja de hacer. Radical indicaría así, una responsabilidad completa y sincera. De esta capacidad de responder ante los demás depende la generación y mantenimiento de la confianza.  


2. Hace dieciocho años publicaste “Ética empresarial. Del diálogo a la confianza”, un libro de cabecera para muchos de los que empezábamos a trabajar en el ámbito de la responsabilidad social empresarial. ¿Nos puedes explicar hasta qué punto la tesis que defendías resulta ahora de actualidad?

Creo sinceramente que hoy se aprecia mejor la innovación que el libro representó en su momento y también su actualidad, puesto que desarrolla las ideas básicas para entender la relación entre ética y confianza, entre la ética empresarial y las bases éticas de la confianza depositada en la empresa. Unas ideas que tienen que ver tanto con la toma de decisiones en la empresa como con el diseño institucional de las mismas. La confianza es la clave del libro y a ella se dedican sus páginas centrales. Allí se explican ideas como el contrato moral que subyace a la credibilidad de la empresa, la potencialidad de la teoría de los stakeholder para concretar y gestionar el diálogo y acuerdo entre los grupos de interés, así como una visión de la empresa como institución donde la participación y el valor compartido son las principales orientaciones, etc.

Pero el libro no se detiene en una filosofía de empresa. Se atreve a complementar la ética del discurso con la teoría de los stakeholder, pasando de la teoría a la práctica, a una propuesta de un sistema integrado para la gestión de la ética en la empresa, de un diseño institucional capaz de generar confianza. Un diseño basado en una infraestructura ética que contiene desde una nueva generación de códigos éticos, hasta la propuesta de una auditoría ética, pasando por los comités de ética y los informes de sostenibilidad.

Un buen ejemplo de esta actualidad es la tesis principal del libro: la responsabilidad social empresarial o forma parte de la ética empresarial, del carácter de la empresa, de su compromiso sincero y público, o es un simple instrumento para el beneficio económico de los accionistas y propietarios. Sin el marco de una ética empresarial no podemos visibilizar la manipulación y la instrumentalización que continuamente se hace de la responsabilidad social empresarial, menos aún aprovechar el activo que supone la ética para generar confianza.


3. Ahora se empieza a utilizar la expresión “capitalismo de stakeholder”, como una expresión actualizada de lo que en su momento se llamó “responsabilidad social empresarial”. Desde una perspectiva ética, ¿Qué opinas de esta expresión y qué implicaciones está teniendo en el mundo empresarial?

Los conceptos sirven para representar lo posible y lo deseable, para decirnos lo que es el caso y para orientarnos, indicarnos el camino a seguir. Pero también sirven para ocultar la realidad, para encubrir situaciones claramente injustas. Me temo que tras la pretensión de sustituir el término “responsabilidad social empresarial” por el de “capitalismo de stakeholder” estemos frente a este segundo caso. Dos razones para esta desconfianza.

En primer lugar, el término no es nada novedoso, remite a principios de los años noventa, al igual que el de “sociedad de stakeholder” o el de “capitalismo social”. En todos estos casos se intentaba pensar en un modelo de empresa capaz de superar el autismo social y medioambiental en el que actuaba. Con sus pros y sus contras, estamos ante las mismas pretensiones que la responsabilidad social de la empresa: afirmar que el beneficio empresarial no se debe confundir con el negocio de los accionistas, sino que también debe incluir a todas las partes implicadas y afectadas por su actividad, incluido por supuesto el medio ambiente. Pero la responsabilidad social se refiere a la empresa como institución, pertenece a la sociedad civil y tiene indicadores evaluables (GRI, ODS), para saber si avanzamos o retrocedemos en los compromisos públicos que definen su ética, su carácter. Al introducir el término “capitalismo” nos vamos al sistema económico y se difumina la responsabilidad de la empresa como agente de justicia.

En segundo lugar, presentar el concepto de “capitalismo de stakeholder” como un nuevo concepto de capitalismo, y hacerlo en el contexto del Foro Económico Mundial, no mueve precisamente a la confianza. Relacionar este concepto con otros como “el gran reinicio” o “el nuevo contrato social” y hacerlo quienes han provocado la actual situación de desigualdad, pobreza, discriminación de personas y países, destrucción del medio ambiente, etc., es puro y simple cinismo.

Ir más allá de una economía cortoplacista, exigir que los valores orienten una distribución igual de cargas y beneficios y puedan convertirse en bienes para todas las partes implicadas y afectadas por la actividad empresarial, es una obligación moral de la que depende la credibilidad de la empresa. Pero no basta con decirlo, incluso con desearlo, debemos demostrar con hechos -medibles, evaluables y comparables- que la empresa se esfuerza por caminar en esta dirección. En mi opinión, la sustitución propuesta es solo una maniobra de confusión, un intento de legitimar la injustica reinante.


4. Actualmente estás trabajando en el campo de la ética y la inteligencia artificial (IA). La IA ¿nos está obligando a dudar sobre el significado de nuestra condición humana? ¿Por qué?

Las éticas aplicadas deben dar razón del saber moral que subyace a la confianza depositada en las distintas acciones, prácticas e instituciones que conforman el tejido social y, en este sentido, han de responder de las demandas de justicia que acompañan a la actual revolución producida por la inteligencia artificial y sus tecnologías. Este es el caso de las actuales propuestas para el desarrollo de una ética digital, puesto que es imposible callar ante la actual colonización algorítmica que está socavando los pilares de nuestra convivencia, afectando a nuestra identidad, individual y colectiva, a nuestra forma de entender y gestionar nuestra vida en común.

Pero este concepto de Inteligencia artificial lleva también a confusión. Cuando hablamos de inteligencia nos referimos siempre a una propiedad de los organismos biológicos, de los seres vivos capaces de interactuar por sí mismos con su entorno. En el caso de los seres humanos de construir y dar sentido a la realidad. Sin embargo, los datos son seleccionados e interpretados por seres humanos y sus algoritmos diseñados para alcanzar determinado resultado o resolver un problema. Ambos son creados por los expertos en sus empresas y centros de desarrollo. Si los algoritmos de la Inteligencia Artificial son capaces de aprender por sí mismos es porque así han sido programados. A partir de estas entradas, la máquina puede calcular y aprender más rápido que los humanos que la han programado. En el caso de la Inteligencia Artificial, incluso logra aprender por sí misma. Pero no alcanza a ir más allá de la lógica de los datos. Sin la intervención humana no son nada.  Por eso tampoco es artificial, puesto que proviene de nuestra inteligencia, del trabajo conjunto de los científicos de datos, programadores, desarrolladores, etc.  De ahí que no se pueda ocultar, por más ideología algorítmica que lo intente, que las máquinas no son las responsables, sino quienes las han creado y utilizado, así como las organizaciones en las que desarrollan su trabajo.

Como cualquier otra tecnología o conjunto de tecnologías, la Inteligencia artificial puede entenderse como un medio para mejorar nuestras vidas o como un fin comercial o político al que sacrificar nuestra libertad y nuestra autonomía. No es buena ni mala, depende de quién la maneje y para qué. Otorgar responsabilidad a la máquina y sus algoritmos es cómo echar la culpa del crimen al cuchillo utilizado.

La condición humana y la dignidad en la que se apoya no están en peligro por las tecnologías de la Inteligencia Artificial, sino por la voluntad de sustituir nuestras decisiones y acciones por algoritmos, en aras del negocio y del poder de unos y de la comodidad e inconsciencia de los demás. El peligro está en la opacidad de estas tecnologías y en la falta de control por parte de quienes van a sufrir las consecuencias. Sin esta participación seguro que no vamos hacia una mejora de la humanidad, como nos prometen, sino hacia un aumento del aislamiento social y de la pasividad, hacia un mundo menos humano. Por eso una de las primeras preguntas que debemos responder desde una ética digital, antes incluso de diseñar y programar, es qué significa un algoritmo justo.  


5. Las empresas tecnológicas están ocupando las primeras posiciones en el ranking de las más grandes del mundo. Esto nos hace pensar que el control del diseño y la gestión de la Inteligencia Artificial está bajo el poder de intereses privados. ¿Cómo podemos conseguir convertir el debate sobre el control del poder tecnológico en una cuestión democrática?

Que la Inteligencia Artificial y sus algoritmos estructuran ya nuestro mundo es una realidad difícil de rebatir, al igual que lo es que sus dueños y distribuidores a través de las redes son las grandes corporaciones tecnológicas. Esto es, son diseñadas y gestionadas desde el interés privado, no pensando en el bien común. Con millones de accionistas y miles de millones de usuarios, estas empresas son un verdadero centro de poder que no tiene escrúpulo alguno en influir en las elecciones y en los gobiernos; en manipular la opinión pública y convertirse en los nuevos y casi exclusivos productores de la información; en vender nuestra privacidad, en fabricar nuestros deseos, etc. Incluso en crear realidades alternativas donde el dinero es la puerta de entrada. Son hoy quienes poseen el mayor poder que existe: la capacidad de crear sentido, de decidir lo que es real o no lo es, de lo que es justo o injusto. Son los protagonistas de la creación y mercantilización de los datos, siempre al servicio del mejor postor, sea el mercado o el estado. Decir que este nuevo leviatán no influye e, incluso, afirmar que nada tiene ver con la democracia, es no querer ver la realidad en la que vivimos.

Cuando hablamos de ética, de lo que hacemos con nuestros espacios de libertad, solemos detenernos en la conducta individual, en nuestro caso en la responsabilidad de los científicos de datos, investigadores, programadores, accionistas, usuarios finales, etc. Olvidamos que estos espacios de libertad, esta toma de decisiones y las conductas y prácticas consiguientes, se forman dentro de empresas y organizaciones; de agencias gubernamentales; de centros de investigación; etc. Quiero decir que las éticas aplicadas, la ética digital en nuestro caso, no puede reducirse a la responsabilidad individual –por más importantes y decisiva que sea- también debe abarcar a las instituciones, privadas y públicas, en cuyo seno se crean y desarrollan estas tecnologías, a la empresa como institución socio-económica. Este es el punto de enlace entre la ética empresarial y la reflexión democrática.

No tenemos que convertir el debate sobre el poder de las grandes tecnológicas en una cuestión democrática, puesto que ya lo es. No lo ha sido para una democracia que reduce la participación al voto cada cuatro años y todo el poder al poder político. Pero sí lo es para una democracia de doble vía que sabe que solo desde la complementación entre el estado y la sociedad civil -origen de todo tipo de poder y fuente de legitimidad, de credibilidad y confianza- es posible diseñar mecanismos de seguimiento y control de estas grandes empresas.  Como bien dice la apuesta de la Comisión Europea, necesitamos una Inteligencia Digital legal, ética y sólida. Por primera vez aparece la ética como condición de posibilidad de una Inteligencia Artificial que merezca el calificativo de justa.

El poder tecnológico tendría así dos vías complementarias para su seguimiento y control. Por una parte, el estado y la regulación jurídica. Como bien sabemos, el derecho y las leyes actúan desde la coacción externa, desde la presión de las sanciones. Por otra, los recursos morales de la sociedad civil que operan desde el compromiso y la propia voluntad, desde el convencimiento de que así debemos actuar. Por cierto, un compromiso esperado por parte de todas las partes implicadas e interesadas y de cuyo cumplimiento depende la confianza. Es aquí donde entran los mecanismos éticos de autorregulación, lo que yo denomino una infraestructura ética, aplicable a cualquier tipo de institución tenga el tamaño que tenga, sea privada o pública. Un sistema de gestión ética de la confianza que incluye códigos éticos y de buen gobierno, memorias de responsabilidad, comités de ética, auditorías, etc.  Elementos que permitan la participación de todos los grupos de interés, de una forma medible y evaluable. Cuando hablamos de mecanismos voluntarios no hablamos de arbitrariedad o discrecionalidad de los directivos, sino del compromiso firme y público de todas las partes implicadas. No debemos confundir empresa con negocio.

Del poder que de hecho tienen los recursos morales que posee la sociedad civil da buena cuenta el interés de las grandes tecnológicas por apropiarse de la palabra ética, con el fin de servir de cubrimiento o fachada para un comportamiento inmoral y para frenar la regulación jurídica. Pero, como muestra la fallida creación del comité de ética de Google, no han aprendido aún que los recursos morales son fruto de un saber, de una capacidad compartida y que, por tanto, no se pueden instrumentalizar a voluntad. Lo único que han conseguido con esta farsa es hacer el ridículo y aumentar la desconfianza en la empresa.


6. La convergencia de la Inteligencia Artificial, el Big Data y el Internet de las cosas está dando lugar a propuestas democráticas basadas en algoritmos, modelos matemáticos de decisión y uso masivo de datos. ¿Cuáles son los riesgos, los límites o las consecuencias de la aplicación de un sistema democrático sustentado sobre algoritmos y macrodatos?

El principio democrático se refiere a la idea regulativa de que deben ser los mismos los que toman las decisiones y los que sufren las consecuencias. Por lo tanto, por más endeble que sea, el núcleo moral que todo sistema democrático presupone se encuentra en nuestra dignidad, en nuestra capacidad de ser libres para participar en todas las decisiones que nos afectan. Desde este horizonte de acción, la participación no puede ni debe limitarse a la participación política, debe incluir a todas aquellas instituciones que tienen poder y requieren, por tanto, legitimidad. En todas ellas su credibilidad depende, en primer lugar, del horizonte de acción que representa el diálogo y acuerdo entre todos sus grupos de interés.

Junto con el profesor Patrici Calvo estamos trabajando en el concepto de democracia algorítmica, como un ejemplo de propuestas democráticas basadas en las tecnologías de la Inteligencia artificial. Con este nombre nos referimos a un sistema de organización social y de gobernanza política cuyo horizonte de actuación radica en sustituir en todos los procesos de toma de decisiones, ya sea en las políticas públicas, en participación electoral, en el sistema policial y judicial, etc., la participación ciudadana por los algoritmos.  No se trata de que los algoritmos pueden ayudar a tomar decisiones para alcanzar los fines democráticos de forma más eficiente, eficaz y precisa. Se trata más bien, dada la deriva actual de nuestras democracias, de reemplazar la participación de los afectados por las Inteligencia Artificial y sus tecnologías en todos los procesos de deliberación, decisión y diseño institucional, tanto en el estado como en la sociedad civil.

Como modelo de democracia esta propuesta es autodestructiva, por más fascinación que produzca la falsa neutralidad y objetividad de los algoritmos y los datos, y, por tanto, su eficacia a la hora de alcanzar una sociedad más justa. Desde nuestro punto de vista, con el concepto de democracia algorítmica no se pretende introducir un nuevo modelo de democracia, totalmente imposible si pensamos en abandonar nuestra libertad y autonomía, nuestra dignidad, en suma, en manos de los algoritmos. Con este concepto se pretende más bien visibilizar el peligro que supone la creciente sustitución de la participación y la autonomía en la toma de decisiones y en la formación de la opinión pública, por los datos y los algoritmos. Cuando nos damos cuenta del paso del apoyo o refuerzo a la  sustitución, ya suele ser demasiado tarde, como bien muestra la mala utilización de la Inteligencia Artificial en el sistema judicial o crediticio, por no entrar en el tema de los actuales tecno-populismos. Recordemos que la neutralidad y objetividad solo nos muestran quién tiene el poder de dar sentido a la realidad.


7. ¿Cómo puede afectar la IA, desde una perspectiva ética, a la toma de decisiones en el ámbito las empresas? ¿Y en la democracia? ¿Cuáles son los principales riesgos que plantea a las organizaciones, a los gobiernos y a la ciudadanía?

En todos los ámbitos de la vida en común la introducción de la Inteligencia Artificial está realizando aportaciones valiosas que, de buen seguro, están mejorando la toma de decisiones, desde la medicina a la economía, pasando por la educación. Pero debemos identificar bien el riesgo más importante que corremos que, en mi opinión no es otro, que rehuir la responsabilidad por lo que hacemos o dejamos de hacer.

Los algoritmos no son neutros. En primer lugar, las decisiones tomadas por los algoritmos pueden ser datos incompletos y, por tanto, no fiables, pueden ser sesgados o simplemente estar equivocados. En segundo lugar, los sesgos pueden surgir tanto de los valores sociales preexistentes que se encuentran en las instituciones, prácticas y actitudes sociales, de las que surge la tecnología, como de las personas que manejan los datos en origen y, por supuesto, de los intereses que se esperan satisfacer, de los tipos de preferencias incorporadas a los algoritmos. En tercer lugar, los algoritmos son cada vez más complejos y opacos, de forma que en muchos casos no es posible ni explicar cómo funcionan, ni mucho menos admiten su rediseño una vez en marcha. Y así, todo un largo etcétera.

Podríamos continuar intentando visibilizar aquello que solo desde la fascinación por el interés técnico de dominio se puede ignorar: existe un marco de sentido, una reducción de la realidad a lo medible y cuantificable que presupone un interés previo, un interés por la objetivación y matematización, una predisposición guiada por unos valores concretos que nada tienen de neutrales. Los datos son el producto de una decisión previa acerca de lo que es real o n o lo es, de una valoración.

Por ejemplo, poseer los más datos posibles, tanto como punto de partida como para medir los resultados, es clave en la toma de decisiones en las políticas públicas, pero junto a los instrumentos de la inteligencia artificial, debemos definir quién participa en ellas y qué criterios utiliza para la valoración de las mismas, para su evaluación. ¿Quién define estos criterios? ¿Quién mide las consecuencias? ¿Desde dónde y cómo recogen los datos? Más aún, ¿frente a qué se contrastan? No estamos negando que los radares no sean necesarios para conducir el barco, estamos diciendo que queremos decidir a qué puerto queremos llegar, dónde queremos ir, cómo queremos vivir en común. No debemos confundir el mapa con el territorio.  

Vayamos al caso de la empresa. Existe actualmente una fuerte presión de las administraciones para incorporar las nuevas tecnologías a las empresas, aunque en muchos casos no se sabe muy bien qué pueden aportar a la competitividad y a la eficiencia en la gestión.  Ahora bien, si quieres acceder a las ayudas públicas, ya sabes: desde la automatización de todo lo automatizable, pasando por la elección del personal por un algoritmo, hasta el control del tiempo que necesitamos para ir al servicio. La última propuesta que tuve que debatir fue la utilización del reconocimiento facial para medir el clima laboral.

También la ciudadanía se ha visto mermada por la introducción de las nuevas tecnologías de inteligencia artificial. Desde no poder acceder a la información necesaria para pedir certificados, permisos, etc. hasta encontrarte con un muro llamado sistema: “nada podemos hacer: es el sistema”. Resultado: el aumento de la desigualdad y, por tanto, de la injusticia. Necesitamos de una ciudadanía digital y debemos empezar por afirmar que ninguna decisión que nos afecte puede tomarse sin la intervención humana, en especial de los que van a sufrir las consecuencias.  Esta es la clave que une ética y democracia al hablar de Inteligencia Artificial.


8. Por último, si tuvieras que ilustrar, con tres palabras qué significa para ti incorporar la ética en la toma de decisiones ¿cuáles serían?

Dado que algunas de mis respuestas han sido probablemente demasiado extensas, voy a concluir de forma más breve, puesto que me sobra con dos palabras: generar confianza. Esta es la aportación más importante de la ética a la toma de decisiones. Es hora de abandonar la idea de la ética solo como una limitación y un pasivo para la empresa. Es una capacidad que tenemos todos los seres humanos que puede convertirse en un activo para la empresa, en un factor de innovación y avance hacia una democracia, como diría Adela Cortina, radical y auténtica. Una ética empresarial debe ser consciente de su aportación al sistema democrático, puesto que cuando hablamos de confiar en los algoritmos hablamos de confiar tanto en los expertos como en las empresas donde se diseñan, se desarrollan y aplican estas tecnologías.  

Simplificando en dos palabras: ¡generar confianza!