Auditoría de algoritmos
Otra auditoría que no es realizada por contadores públicos
Bienvenido al Samuel’Newsletter. Gracias a los nuevos suscriptores que se están vinculando cada semana, seguimos progresando.
Siéntase cómodo de comentar los distintos artículos y reenviárselos a sus amigos y relacionados.
¿Contadores y auditores están desarrollando una práctica profesional específica para la auditoría de los algoritmos?
Desafortunadamente la respuesta es: todavía no. Posiblemente lo hagan en el futuro. Por lo pronto, otros profesionales están tomando la delantera en estas cosas.
La auditoría de algoritmo, también conocida como auditoría algorítmica, es un nuevo campo profesional, de naturaleza interdisciplinaria, donde todavía no se percibe con claridad el actuar profesional de los contadores públicos.
Este artículo es una aproximación (documentada) a las principales temáticas relacionadas con la auditoría de algoritmo. Está desarrollado en siete partes: (1) Contadores y auditores; (2) ¿Por qué se necesita la auditoría de algoritmos?; (3) ¿Qué es auditoría de algoritmos?; (4) Desarrollos prácticos; (5) Análisis de implementación en el sector gobierno; (6) Marcas comerciales; y (7) A manera de síntesis.
Contadores y auditores
Una búsqueda rápida muestra que las distintas profesiones de contadores y auditores perciben que están siendo impactadas por la inteligencia artificial [Cfr.: Artificial intelligence is a game changer for auditors] y demás tecnologías relacionadas, pero no muestra ningún artículo o documento que haga referencia a qué están haciendo en relación con cómo auditar algoritmos. Muestran cómo usar los algoritmos y demás tecnologías de la información para hacer auditoría y tomar ventajas para ello, pero no cómo hacer auditoría de algoritmos.
Así se ve en el sitio web de IFAC y de manera muy similar en los de Center for Audit Quality, Deloitte, EY, KPMG, PwC, BDO, Institute of Management Accountants, Accountancy Europe, Instituto Nacional de Contadores Públicos de Colombia.
Chris Gaetano, en Accounting Today, reseña los acuerdos de una firma global para la aplicación de la inteligencia artificial en las auditorías. Lo hace en un artículo que publicó el 24 de abril de 2023 con el título de KPMG pens deal with MindBridge for AI in audits [KPMG suscribe acuerdo con MindBridge para la aplicación de la inteligencia artificial en las auditorías]. Esa es, prácticamente, la constante entre las firmas de auditoría y consultoría que se identifican como ‘de contabilidad’.
La excepción (‘en mi búsqueda’) es un artículo relacionado, dado que no es específico sobre ‘auditoría de algoritmos’, publicado en mayo de 2017 por The Institute of Internal Auditors: GTAG: Understanding and Auditing Big Data [GTAG: Entender y auditar grandes datos]. Anota que [Traducción de SAMantilla]:
“Este GTAG proporciona una vista de conjunto de los conceptos de grandes datos para ayudar a que los auditores internos identifiquen los diferentes componentes de un programa de grandes datos, incluyendo objetivos estratégicos, criterios de éxito, procesos de gobierno y operacionales, tecnología, herramientas, y otros recursos; y entender cómo alinear las actividades de auditoría interna en apoyo de las iniciativas de grandes datos de la organización. Además, esta orientación incluye una estructura de riesgos clave, desafíos, y ejemplos de controles que deben ser considerados cuando se haga planeación de auditorías de grandes datos”.
En resumen, puede afirmarse que, en el presente, la auditoría de algoritmos no es un servicio para el cual contadores y auditores están preparados y estén ofreciendo a sus clientes. No hace parte de su experticia profesional.
Tal y como ocurre con muchas cosas relacionadas con la auditoría, ello se debe a que los reguladores todavía no han actuado.
Claro está, no faltarán firmas ‘de contadores’ que empezarán a ofrecer ‘auditoría de algoritmos’, realizadas según los ISA/NIA por sus ingenieros de sistemas y científicos de datos. Un nuevo ‘boom’ de firmar para aprovechar el ‘boom’ de este tipo de negocios en auge.
¿Por qué se necesita la auditoría de algoritmos?
En noviembre de 2018 James Guszcza, Iyad Rahwan, Will Bible, Manuel Cebrian, y Vic Katyal publicaron en Harvard Business Review un artículo que titularon Why We Need to Audit Algorithms [Por qué necesitamos auditar los algoritmos].
Utilizan las expresiones ‘toma de decisiones algorítmica’ e ‘inteligencia artificial’, para hacer referencia a tecnologías que tienen enorme potencial tanto para los negocios como para las personas y la sociedad en general.
Dejan claro que el dejar que ello esté sin verificación conlleva que se aumenten los sesgos sociales y se acelere la difusión de rumores y desinformación, lo cual tiene un impacto alto en los negocios.
Señalan que es necesario asegurar que los valores sociales estén reflejados en los algoritmos y en todas las tecnologías de inteligencia artificial, lo cual, resaltan, requerirá no menos creatividad, trabajo duro, e innovación, que desarrollar las mismas tecnologías de inteligencia artificial. Proponen un buen lugar para comenzar: auditoría.
Recuerdan que desde hace mucho tiempo a las compañías se les ha requerido emitir estados financieros auditados para el beneficio de los mercados financieros y otros stakeholders. Esto, porque – al igual que los algoritmos – las operaciones internas de las compañías parecen como cajas negras para quienes están afuera. Agregan que esto les da a los administradores una ventaja informativa sobre el público que invierte, el cual podría ser abusado por actores no-éticos. Así las cosas, requerir que los administradores reporten periódicamente sobre sus operaciones proporciona una verificación de esa ventaja. Agregan que, para reforzar la confianza en esos reportes, son contratados auditores independientes para proporcionar seguridad razonable de que esos reportes que provienen de la ‘caja negra’ están libres de declaración equivocada material:
Proponen que se debe someter a los algoritmos, que provienen de sus propias ‘cajas negras’, y que también son socialmente impactantes, a un escrutinio comparable.
Como se trata de un artículo periodístico, su importancia está en que resalta una necesidad social, pero no concreta cómo resolverla.
Si bien dicen que se debe hacer algo similar a lo que, en relación con los estados financieros, se hace con la auditoría de estados financieros, reiteran que para que tenga éxito, la auditoría de algoritmo tiene que ser interdisciplinaria y debe integrar el escepticismo profesional con la metodología y los conceptos de las ciencias sociales provenientes de campos tales como sicología, economía comportamental, diseño centrado-en-lo-humano, y ética.
En octubre de 2022 Danaë Metaxa y Jeff Hancock, del Human-Centered Artificial Intelligence (HAI) de Stanford University publicaron un resumen de políticas que titularon Using Algorithm Audits to Understand AI [Uso de las auditorías de algoritmo para entender la inteligencia artificial].
Afirman que la inteligencia artificial continúa proliferando, desde servicios de gobierno e investigación académica hasta los sectores de transporte, energía, y atención en salud. Aún así, persiste uno de los mayores desafíos en usar, entender y regular la inteligencia artificial: la naturaleza de caja negra de muchos algoritmos.
Plantean la necesidad de una auditoría robusta del algoritmo porque:
“La mayoría de las pruebas de algoritmos son aprueba/falla; producen conclusiones binarias acerca de la operación de un algoritmo.
Las auditorías de algoritmos están más interesadas en entender el sistema en agregado sobre el tiempo, aun si usan pruebas a lo largo del camino”.
Dejan claro que, si bien se reconoce la necesidad de la auditoría de algoritmo, todavía se necesita mucha investigación en este campo.
Otro análisis de la necesidad de la auditoría de algoritmo fue publicado en julio de 2021. Elaborado por Biagio Aragona de la University of Naples Federico II, tiene por título Algorithm Audit: Why, What, and How? [Auditoría de algoritmo: ¿Por qué, qué y cómo?].
Este libro ofrece una perspectiva más social: busca incrementar la conciencia social de ciudadanos, instituciones, y corporaciones en relación con los riesgos presentados por el uso acrítico de algoritmos en la toma de decisiones. Explica la racionalidad y los métodos de la auditoría de algoritmo. Con un enfoque interdisciplinario, proporciona una vista de conjunto sistemática del tema, ofreciéndoles a los lectores definiciones claras y herramientas prácticas para la auditoría de algoritmos, teniendo en cuenta también los obstáculos políticos, de negocios, y vocacionales para el desarrollo de este nuevo campo.
¿Qué es auditoría de algoritmos?
En junio de 2021 Cindy Baxter publicó en ISACA Journal un artículo que tituló IT Audit in Practice: Algorithms and Audit Basics [Auditoría de la tecnología de la información en la práctica: algoritmos y conceptos básicos de auditoría]. Ofrece una reseña interesante de la historia de los algoritmos y cuál es su estado actual, a partir de lo cual plantea los elementos básicos para realizar una auditoría de ellos, utilizando el enfoque de riesgos y controles.
Resaltan que la auditoría de algoritmos, también denominada auditoría algorítmica, o aseguramiento algorítmico, hace referencia a un rango de enfoques para la revisión de los sistemas de procesamiento algorítmico.
Se le considera una forma específica de aseguramiento de tecnología de la información que apoya la administración del riesgo y el control en las aplicaciones de algoritmos riesgosos contenidos en productos y organizaciones.
Tal y como lo dice un documento de discusión preparado por el gobierno del Reino Unido [Traducción de SAMantilla. Las negrillas no son del original]:
“La auditoría algorítmica se refiere a un rango de enfoques para revisar los sistemas de procesamiento algorítmico. Puede tomar diferentes formas, desde verificación de la documentación de gobierno, hasta prueba de los resultados de un algoritmo e inspección de su funcionamiento interno. Las auditorías pueden ser realizadas por partes externas designadas por la organización, o por reguladores, investigadores u otras partes que lleven a cabo la auditoría de un sistema por iniciativa propia. Las auditorías pueden ser hechas para los propósitos de aseguramiento interno, como una ruta para mostrar transparencia y establecer confianza con usuarios u otras partes que sean afectadas, o pueden ser hechas para establecer si un sistema puede cumplir con los requerimientos regulatorios. El estilo y la profundidad de las auditorías variará dependiendo de la naturaleza y tamaño de los riesgos, el contexto en el cual los algoritmos son desplegados y los requerimientos regulatorios existentes. La auditoría algorítmica difiere de la auditoría financiera tradicional, la cual ya está bien establecida, profesionalizada y regulada con parámetros claramente definidos”.
De manera clara diferencia del uso que los auditores pueden hacer, además de la valoración del riesgo, de la inteligencia artificial para analizar grupos completos de datos y transacciones (‘grandes datos’), más que confiar en el muestreo. Esto lleva a una auditoría más completa y ayuda a que los auditores identifiquen anomalías que pueden requerir escrutinio adicional, pero no necesariamente conlleva procesos de detección y eliminación del fraude.
El mencionado documento en discusión, que lleva por título Auditing algorithms: the existing landscape, role of regulators and future Outlook [Auditoría de algoritmos: el panorama actual, el papel de los reguladores y perspectivas futuras], cuya última actualización fue realizada el 23 de septiembre de 2022, es quizás, a la fecha, uno de los documentos más completos sobre el tema que aquí se está abordando. Fue preparado por el Digital Regulation Cooperation Forum. Consta de siete secciones: (1) Resumen ejecutivo, (2) Introducción y propósito; (3) El rol de la auditoría en el gobierno algorítmico; (4) Nivel de auditoría / que puede involucrar la auditoría; (5) Panorama existente; (6) Potencial panorama futuro; y (7) Preguntas de solicitud de input. Será conveniente volver a este documento.
Otro documento que también analiza en profundidad la temática que aquí se está comentando es Auditing Algorithms. Understanding Algorithmic Systems from the Outside In [Auditar algoritmos. Entender los sistemas algorítmicos desde afuera hacia adentro]. Publicado en el año 2021 por la Foundations and Trends® in Human-Computer Interaction, sus autores son Danaë Metaxa, Joon Sung Park, Ronald E. Robertson, Karrie Karahalios, Christo Wilson, Jeff Hancock y Christian Sandvi.
Tiene un enfoque de auditoría que es bastante amplio (más allá de la auditoría de estados financieros realizada por contadores públicos) que llega a considerar a la auditoría como un tipo de activismo. Sus 76 páginas son resumidas por los autores de la siguiente manera [Traducción de SAMantilla. La negrilla no es del original]:
Los algoritmos son fuentes ubicuas y críticas de información en línea, que de manera creciente están actuando como guardianes para el acceso de los usuarios o para compartir información virtualmente acerca de cualquier tema, que incluyen sus vidas personales y las de sus amigos y familia, noticias y política, entretenimiento, e incluso información acerca de salud y bienestar. Como resultado, el contenido curado-algorítmicamente está llamando incrementados atención y escrutinio de parte de usuarios, medios de comunicación, y legisladores. Sin embargo, estudiar tal contenido ofrece considerables desafíos, dado que son tanto dinámicos como efímeros: estos algoritmos están constantemente cambiando, y frecuentemente cambiando de manera silenciosa, sin registro del contenido al cual los usuarios han estado expuestos con el tiempo. Una estrategia que ha probado ser efectiva es la auditoría del algoritmo: un método de consultar repetidamente un algoritmo y observar su output en orden a obtener conclusiones acerca del funcionamiento interno opaco del algoritmo y el posible impacto externo. En este trabajo presentamos una vista de conjunto de la metodología de la auditoría del algoritmo, incluyendo la historia de estudios de auditoría en ciencias sociales de los cuales este método es derivado; un resumen de las auditorías clave de algoritmo durante las últimas dos décadas en una variedad de dominios, que incluyen salud, política, discriminación, y otros; y un conjunto de las mejores prácticas para realizar auditorías de algoritmos en el presente, contextualizando esas prácticas usando como caso de estudio las auditorías de motores de búsqueda. Finalmente, concluimos discutiendo las dimensiones sociales, éticas, y políticas de las auditorías de algoritmos, y proponemos estándares normativos para el uso de este método”.
Sara Kassir, que tiene un Master of Public Policy de Harvard Kennedy School, publicó un interesante artículo que tituló Algorithmic Auditing: The Key to Making Machine Learning in the Public Interest [Auditoría algorítmica: la clave para hacer aprendizaje de máquina en el interés público], donde afirma que los riesgos de las aplicaciones de aprendizaje de máquina son mejor mitigados mediante un proceso de auditoría algorítmica que institucionaliza la accountability y la robusta diligencia debida en la tecnología. Señala tres principios que, provenientes de la auditoría, pueden ser trasladados al aprendizaje de máquina: (1) Unir estructura y juicio; (2) Examinar outputs, así como también inputs; y (3) Basarse en documentación interna robusta.
Como puede observarse, en realidad este tipo de auditoría no es una práctica nueva, dispone de desarrollos importantes y una contextualización propia. Solo que está fuera de la experticia de los auditores de estados financieros que actúan según los ISA/NIA.
Desarrollos prácticos
Un colectivo de profesores del Department of Computer Science, University College, publicó en febrero de 2021 un documento que titularon Towards Algorithm Auditing: A Survey on Managing Legal, Ethical and Technological Risks of AI, ML and Associated Algorithms [Hacia la auditoría de algoritmo: una encuesta sobre la administración de los riesgos legales, éticos y tecnológicos de AI, ML y algoritmos asociados]. Está centrado en la protección de los daños reputacionales y financieros importantes que se puedan derivar, para negocios y empresas, del uso de los algoritmos.
Anotan que la nueva fase de toma de decisiones y evaluación algorítmica (que abrevian como ‘Big Algo’) puede ser parafraseada usando la metodología de las 5V:
Volumen: como los recursos y el saber cómo proliferan, pronto habrá ‘billones’ de algoritmos;
Velocidad: los algoritmos toman decisiones en tiempo real con intervención humana mínima;
Variedad: desde vehículos autónomos hasta tratamiento médico, empleo, finanzas, etc.;
Veracidad: confiabilidad, legalidad, equidad, exactitud, y cumplimiento regulatorio como características críticas;
Valor: se establecerán nuevos servicios, fuentes de ingresos ordinarios, ahorros de costos, e industrias.
Definen auditoría de algoritmo como la búsqueda y la práctica de valorar, mitigar, y asegurar la seguridad, la legalidad, y la ética de un algoritmo.
Señalan que esta área comprende la investigación actual en áreas tales como equidad, explicabilidad, robustez y privacidad de la inteligencia artificial, así como también temas maduros de ética, administración y vigilancia de datos.
Agregan que, al igual que como ocurre con la auditoría financiera, eventualmente los gobiernos, los negocios y la sociedad requerirán la auditoría de algoritmo, si bien no dejan claro cómo ocurrirá ello.
Hacen referencia a cuatro dimensiones que hacen parte de la auditoría de algoritmo:
Desarrollo: el proceso de desarrollar y documentar un sistema algorítmico.
Valoración: el proceso de evaluar el comportamiento y las capacidades del algoritmo.
Mitigación: el proceso de mantenimiento o mejora del resultado [outcome] del algoritmo.
Aseguramiento: el proceso de declarar que un sistema está conforme con estándares, prácticas o regulaciones predeterminados.
La ventaja de este documento es que desarrolla, de manera práctica, lo anterior. Ello permite avanzar en esta área que, como se ha visto, constituye una auténtica necesidad tanto empresarial como social.
En esta línea de desarrollos prácticos, Shea Brown y Jovana Davidovic publicaron en enero de 2021 un trabajo que titularon The algorithm audit: Scoring the algorithms that score us [La auditoría de algoritmo: puntuando los algoritmos que nos puntúan]. Su intención es proponer una manera para operacionalizar análisis éticos de nivel alto de los algoritmos y lo hacen sugiriendo un instrumento de auditoría que traslada esos análisis éticos en pasos prácticos. Reconocen que quedan abiertas muchas preguntas dado que dependen del uso que hagan, o del uso que intenten dar, los reguladores.
Consideran importante dar unos pasos preliminares clave que incluyen la identificación de la manera como la auditoría será usada, y describir y circunscribir el contexto de un algoritmo para los propósitos de la auditoría. Los agrupan en: (1) Propósito de la auditoría, y (2) Contexto.
A partid de ello consideran que puede desplegarse el instrumento de auditoría cuyos bloques de construcción básicos necesarios para realizar la valoración del algoritmo incluyen: (1) una lista comprensiva de los intereses relevantes del stakeholder, y (2) una medida de los atributos (métricas) que potencialmente sean éticamente relevantes del algoritmo. Dejan claro que solo a partir de ello puede evaluarse la relevancia de un desempeño bueno o malo de un algoritmo en alguna métrica para cada interés del stakeholder. El resultado de esto es determinar el impacto que el algoritmo tiene en los intereses del stakeholder.
Todos estos pasos los explican de manera detallada y los resumen en una matriz donde, en un eje están el sesgo (social) y la transparencia (uso de datos), y en el otro eje estudiante (privacidad de los datos) y estudiante (no-discriminación). La relevancia es expresada como alta, mediana o baja.
Análisis de implementación en el sector gobierno
En mayo de 2022 la Netherlands Court of Audit publicó un documento que tituló An audit of algorithms. Nine algorithms used by the Dutch government [Una auditoría de algoritmos. Nueve algoritmos usados por el gobierno holandés].
Señala que el uso responsable de los algoritmos por parte de las agencias del gobierno es posible, pero no siempre es el caso en la práctica.
La Netherlands Court of Audit encontró que 3 de los 9 algoritmos que auditó satisfacían todos los requerimientos básicos, pero los otros 6 no y expusieron al gobierno a varios riesgos: desde control inadecuado sobre el desempeño e impacto del algoritmo hasta sesgo, fugas de datos y acceso no autorizado.
Los 9 algoritmos que auditó son: CBRm CJIB, IB, RVO, Toeslagen, SVB, DGM (JenV), RvIG, y Police force. Ofrece detalles de cada uno de ellos.
Utilizó los siguientes criterios de evaluación:
(1) Gobierno y accountability (Deberes y responsabilidades; Valoraciones del riesgo; Gobierno de procedimientos de contratación; Monitoreo);
(2) Datos y modelo (Sesgo en el modelo; Sesgo en los datos);
(3) Privacidad (Valoración del impacto de la protección de datos; Minimalización de datos; Política de privacidad);
(4) Controles generales de TI (Administración de acceso; Administración del cambio; Respaldo y recuperación); y
(5) El algoritmo satisface o no los requerimientos contenidos en la estructura de auditoría.
Marcas comerciales
Hay entidades que ofrecen soluciones comerciales. Menciono dos de ellas, aclarando que no las conozco y no tengo ninguna relación con ellas:
Algorithm Audit es una ONG que comisiona revisiones éticas, basadas-en-casos, de métodos algorítmicos, de una manera holística y sensible-al-contexto que tiene en cuenta el impacto social.
WebAuditors son expertos en algoritmos usados para resolver problemas de auditoría, aún si los aspectos técnicos del algoritmo diseñado necesitan ser delegados a especialistas. La propiedad y responsabilidad por resolver los asuntos de auditoría recae en los auditores.
A manera de síntesis
La auditoría de algoritmo, también conocida como auditoría algorítmica, es un nuevo campo profesional, de naturaleza interdisciplinaria, donde todavía no se percibe con claridad el actuar profesional de los contadores públicos.
Responde a necesidades de negocios, organizaciones, empresas, gobiernos y sociedad en general dado el uso intensivo de los algoritmos en múltiples campos de actividad, pero también su naturaleza de ‘caja negra’ que no permite saber con claridad qué están haciendo, cómo están procesando los datos y tomando las decisiones, y cuál es su impacto.
Si bien es un área relativamente nueva, se dispone de importantes desarrollos que generan desafíos profesionales a los contadores públicos, entre otros profesionales.
Como las anteriores líneas son solamente una aproximación, será necesario volver, en otra oportunidad, sobre esta temática.