Auditoría de la inteligencia artificial
¿Con cuál perspectiva se identifica Ud.?
Bienvenido al Samuel’Newsletter. Gracias a los nuevos suscriptores que se están vinculando cada semana. Seguimos progresando. Estoy activando mi blog SamuelMantilla.com, para que el lector pueda escoger según sus preferencias.
Siéntase cómodo de comentar los distintos artículos y reenviárselos a sus amigos y relacionados.
Por Samuel Mantilla – Auditoría de la inteligencia artificial. ¿Con cuál perspectiva se identifica Ud.?
La temática de la auditoría de la inteligencia artificial (IA) no es extraña para los lectores del Samuel’s Newsletter. Dos artículos han recibido especial acogida: (1) Auditoría de algoritmos. Otra auditoría que no es realizada por contadores públicos (abril 2023), y (2) Asumir la responsabilidad por la tecnología en auditoría y aseguramiento. ¡Hoy no se puede olvidar que los códigos están abiertos! (octubre 2024).
No han faltado las reacciones ácidas de quienes defienden, porque sí, los pronunciamientos de algunos organismos profesionales, cargados de publicidad y promoción, pero de poca efectividad práctica. Especialmente por los comentarios acerca de la débil IAASB Technology Position (septiembre 2024), de la IAASB.
Las buenas noticias están en que esa temática no está agotada. Por el contrario, es un campo fértil donde se espera la acción efectiva de contadores y auditores de estados financieros quienes todavía no enfocan en profundidad estas cosas: más del 80% de las compañías esperan que sus auditores externos utilicen la IA en la realización de su análisis, razón por la cual los auditores externos necesitarán incrustar la IA en sus prácticas. ¡Hay mucho trabajo por hacer!
Luego de una revisión (rápida e incompleta), encuentro que principalmente hay cuatro enfoques para la auditoría de la inteligencia artificial: (1) Perspectiva contable; (2) En el contexto de la TI; (3) En el contexto de la auditoría interna; y (4) Independiente. Lo que sigue de este artículo hace un resumen de cada una de ellas, enfatizando un poco en la última por su atractivo y efectividad práctica.
Auditoría de la IA desde la perspectiva contable
El documento principal es The IAASB Technology Position [La posición tecnológica de IAASB] publicada en septiembre de 2024 y promocionada como que “Making a significant shift in how we approach technology in audit and assurance” [Estamos realizando un cambio significativo en la forma en que abordamos la tecnología en auditoría y aseguramiento]. Se trata de un anuncio de cosas por hacer, sin garantía alguna de a qué se llegará.
En una línea similar, por estos días (noviembre 2024), KPMG publicó dos documentos interesantes: los resultados de una encuesta (AI in financial reporting and audit: Navigating the new era) y una guía (AI and automation in financial reporting).
La encuesta fue realizada a líderes de la presentación de reportes en los Estados Unidos y buscó analizar las expectativas que, en relación con la IA, tienen para sus compañías y sus auditores externos.
La conclusión es que los auditores necesitan priorizar la IA e incrustarla en sus prácticas: en la medida en que la IA se vuelve más frecuente en la presentación de reportes financieros, el 80% (61% el año pasado) de las organizaciones quieren que sus auditores utilicen la IA en la realización de su análisis.
A esos líderes ‘les gustaría’ que sus auditores prioricen el uso de la IA para un rango amplio de actividades, desde análisis de datos, administración de la calidad, e identificación de anomalías hasta mitigación del riesgo, detección del fraude, y análisis predictivo.
La guía se refiere a la IA y la automatización en la presentación de reportes financieros. Deja claro que se trata de una ‘guía detallada’ que ofrece perspectivas para integrar responsablemente la IA en la presentación de reportes financieros. Incluye consideraciones sobre gobierno, control interno, contenidos del reporte, controles a nivel-de-entidad, valoración del riesgo, entendimiento de procesos y actividades de control de procesos, y controles generales de TI.
Curiosamente, esta guía detallada no menciona la auditoría externa de la presentación de reportes financieros.
En síntesis, los auditores externos (‘expertos en la presentación de reportes financieros’) todavía tienen una deuda respecto de la incorporación de la IA en la auditoría que realizan. O si ya lo están haciendo, no están publicando cómo y con cuál profundidad real lo están haciendo.
Auditoría de la IA en el contexto de la tecnología de la información (TI)
Con un enfoque específico de auditoría de tecnología de la información (TI), en el año 2018 ISACA publicó un documento titulado Auditing Artificial Intelligence [Auditoría de la inteligencia artificial]:
“Hay muchos desafíos potenciales para los auditores de TI que se preparan para auditar la IA. Pero existen soluciones que pueden transformar los desafíos en éxito. Este documento blanco se centra en lo que los auditores necesitan conocer cuando se preparen para centrarse en la IA. Explora la definición de IA, describe los desafíos de auditar la IA, y discute cómo la versión actual de COBIT® (COBIT® 2019) puede ser aprovechada para auditar la IA. Adicionalmente, identifica otras estructuras que hoy también pueden ser relevantes. Los auditores explorarán las claves iniciales para exitosamente auditar la IA y descubrirán las referencias relevantes” [Traducción de SAMantilla]
Señala que:
Al igual que muchas tecnologías emergentes complejas, la IA es definida de muchas maneras, por muchos expertos.
El equipo de investigación de ISACA ha elegido mantener flexibilidad en la definición, debido al alcance y contexto siempre cambiantes.
Rusell y Norving, dos de las mentes que lideran este campo, llaman a la IA el estudio de “agentes inteligentes”, dispositivos que perciben su entorno y realizan acciones que maximizan su oportunidad de lograr exitosamente sus metas.
Este artículo es altamente técnico, en el contexto de la auditoría de tecnología de información (TI).
En la misma línea, ISACA ofrece otro recurso en formato digital: Artificial Intelligence Audit Toolkit [Kit de auditoría de la inteligencia artificial]:
Se trata de una biblioteca de controles de IA derivados de estructuras y legislación de control seleccionados.
Ha sido formulado en una estructura organizada que permite un mejor entendimiento de cómo esos controles se relacionan con los diferentes aspectos del ciclo de vida de la IA y les proporciona a los auditores de TI orientación para la evaluación que apoya la construcción y demostración del aseguramiento acerca de la efectividad de los controles que respaldan esta área crítica de tecnología emergente.
ISACA ofrece más recursos para la realización de la auditoría de la IA, entre los cuales se destacan:
Auditoría de la IA en el contexto de la auditoría interna
Esta es un área que muestra trabajo y avances importantes liderados por The Institute of Internal Auditors (TheIIA). El IIA ofrece:
Un video, con un excelente resumen de cómo ha evolucionado la estructura publicada en el año 2017, las cuatro partes que componen esa estructura, y el futuro de la auditoría de la inteligencia artificial.
Un podcast [All Things Internal Audit AI Podcast: Exploring The IIA's Artificial Intelligence Auditing Framework] donde muestra cómo están avanzando estas cosas.
Un centro de conocimiento [All Things Internal Audit: Introducing The IIA’s New Artificial Intelligence Knowledge Center] que a partir del año 2024 está reuniendo estos recursos y avanzando en ellos.
En esta línea, pero no necesariamente como parte del IIA, Vivek Shivram el pasado 12 de febrero de 2024 publicó en EDPACS (The EDP Audit, Control, and Security Newsletter) un interesante trabajo con el título de Auditing with AI: A Theorical Framework for Applying Machine Learning Across The Internal Audit Lifecycle [Auditoría con inteligencia artificial: Una estructura teórica para la aplicación del aprendizaje de máquina a través del ciclo de vida de la auditoría interna], publicado el 12 de febrero de 2024.
Identifica auditoría interna con:
‘La tercera línea’ del modelo de tres líneas de defensa.
El ciclo de vida de la auditoría interna definido como un proceso cíclico, también referido como el ‘modelo de auditoría interna basado en riesgos’
Hace una interesante revisión bibliográfica a partir del uso de varias palabras clave que clasifica en dos categorías (genérica y específica) para luego acceder a los motores de búsqueda y a las bases de datos. Los hallazgos los clasifica en 3 grupos: (1) Valoración del riesgo y planeación de la auditoría; (2) Trabajo de campo de auditoría; y, (3) Presentación de reportes de auditoría. A partir de ello elabora su propuesta de estructura/marco teórico orientado principalmente al aprendizaje de máquina, las analíticas de datos y la inteligencia artificial generativa, las cuales, destaca, pueden ser aprovechadas al máximo a lo largo del ciclo de vida de la auditoría interna, desde la planeación de la auditoría hasta la presentación de reportes.
Deja claro que este trabajo es un ‘punto de partida’ para la investigación experimental y la implementación práctica.
De acuerdo con mi entender este trabajo tiene enorme ventaja por su respaldo bibliográfico, con los vínculos para el acceso en línea para cada uno de ellos, algo que los emisores de estándares pudieran aprovechar.
Fekadu Agmas Wassie (Debark University) y László Péter Lakatos (Corvinus University of Budapest) publicaron en marzo de 2024 el que quizás es uno de los más completos trabajos de investigación académica en el tema. Lo titularon Artificial intelligence and the future of the internal audit function [La inteligencia artificial y el futuro de la función de auditoría interna].
Este documento realiza una revisión sistemática de la literatura disponible sobre el tema y aspira a resaltar el estado de la investigación sobre el uso de la IA en la función de auditoría interna, para entregar perspectiva para académicos y expertos de industria sobre el tema, y para revelar las implicaciones que para la función de auditoría interna tiene la nueva tecnología de la IA.
Concluye que se necesita una estructura fuerte de las funciones, políticas, y guías para aprovechar las oportunidades de la IA:
La IA puede apoyar la función de auditoría interna de la compañía mediante entregar sustancial vigilancia estratégica, minimizar el análisis basado en procedimientos manuales, y ofrecer auditorías adicionales de alcance más amplio.
La forma de hacer negocios se está volviendo más compleja que antes, y se debe a los avances en la tecnología y a los mejoramientos instantáneos en la manera de las operaciones.
Las compañías necesitan usar la IA y actualizarse ellas mismas continuamente.
Auditoría de la IA, independiente
En Auditing of AI: Legal, Ethical and Technical Approaches [Auditoría de la inteligencia artificial: Enfoques legal, ético y técnico], que Jacob Mökander (profesor de las universidades de Oxford, Princeton y Yale) publicó en noviembre de 2023 Digital Society, realizó una revisión del estado de la auditoría de la IA reconociendo que es un campo de investigación y práctica que crece rápidamente.
Destacó tres puntos clave:
Primero, los intentos contemporáneos para auditar sistemas de IA tienen mucho que aprender de cómo las auditorías históricamente han sido estructuradas y realizadas en áreas como contabilidad financiera, ingeniería de seguridad y ciencias sociales.
Segundo, tanto elaboradores de política como proveedores de tecnología tienen un interés en promover la auditoría como un mecanismo de gobierno de la IA. Los investigadores académicos pueden, por lo tanto, desempeñar un rol importante mediante estudiar la factibilidad y la efectividad de los diferentes procedimientos de auditoría de la IA.
Tercero, la auditoría de la IA es un emprendimiento inherentemente multidisciplinario, a la cual sustanciales contribuciones han sido hechas por científicos e ingenieros de la computación, así como también por científicos sociales, filósofos, eruditos legales y profesionales de la industria.
El 4 de julio de 2024 Rebecca Kappel publicó un artículo que tituló AI Auditing: Ensuring Ethical and Efficient AI Systems [Auditoría de la inteligencia artificial: Asegurando sistemas de inteligencia artificial éticos y eficientes].
Es un artículo cuya lectura recomiendo. Abre importantes líneas de análisis y acción.
Sus palabras de apertura dicen:
“A medida que los sistemas de inteligencia artificial (IA) permean de manera creciente todos los aspectos de los negocios, desde la publicidad en línea hasta el servicio automatizado al cliente e incluso la toma de decisiones críticas en atención en salud y finanzas, la necesidad de auditar sus sistemas de IA nunca ha sido más urgente. La auditoría de IA, también conocida como auditoría algorítmica, es el proceso de evaluación de los sistemas de IA para asegurar que operan ética, transparente, y eficientemente. Este blog explora la importancia de la auditoría de la IA, las prácticas actuales, y la dirección futura”. [Traducción de SAMantilla]
Señala cuatro razones por las cuales la auditoría de la IA es crucial: (1) Valores éticos; (2) Cumplimiento regulatorio; (3) Confianza pública; y (4) Eficiencia operacional.
Agrega que tres son las metas de las auditorías de la IA: (1) Fairness [Justicia]; (2) Accountability [Responsabilidad social]; y (3) Transparency [Transparencia]. Resalto las expresiones originales en inglés porque las traducciones al español no siempre reflejan los significados asociados a las mismas.
Hace referencia a tres enfoques de la auditoría de la IA: (1) Auditorías manuales; (2) Auditorías automáticas; y (3) Auditorías híbridas. Deja claro que dadas las limitaciones de las auditorías tanto manuales como automáticas, los enfoques híbridos están surgiendo como soluciones prometedoras: esos métodos combinan las fortalezas del juicio humano con la eficiencia de los sistemas automatizados. En términos prácticos, un enfoque híbrido incluye: (1) Definir los grupos y aplicaciones protegidas; (2) Generación de pruebas; y (3) Evaluación de disparidades.
Resalta la importancia de las auditorías de IA lideradas por la comunidad: junto a los expertos, empodera el trabajo de los no-expertos dado que ello permite aprovechar tanto el conocimiento contextual como las diversas perspectivas de la comunidad de miembros. Esto, principalmente por efecto de la orientación ética que necesita: valores éticos y confianza pública, además del cumplimiento regulatorio y la eficiencia operacional.
Hace un análisis sencillo, pero importante, en relación con los desafíos que actualmente presenta la auditoría de la IA:
Estructuras inmaduras o no-existentes específicas para las auditorías de la IA
La ambigüedad que rodea la definición de la IA
La naturaleza altamente dinámica de la IA
La pronunciada curva de aprendizaje para los auditores de la IA
Dedica un aparte importante a las estructuras/marcos que se pueden aprovechar para la auditoría de la IA:
La estructura de la auditoría de la IA, del Institute of Internal Auditors (IIA)
La estructura para la administración del riesgo de IA, del NIST
La estructura para la auditoría de la IA, de ICO
La estructura de COBIT
ISO 42001
Comentarios de SAMantilla: De este artículo, ésta fue la sección que más me gustó. Si bien al señalar los desafíos mencionó “Estructuras inmaduras o no-existentes específicas para las auditorías de la IA”, esta sección sobre las “Estructuras/marcos que se pueden aprovechar” es bastante completa por los vínculos de acceso que ofrece a cada una de ellas, lo cual permite un abordaje más profundo.
Hace referencia a cuatro direcciones futuras de la auditoría de la IA: (1) Transparencia mejorada; (2) Estructuras comprensivas; (3) Colaboración a través de sectores; y (4) Herramientas de auditoría amigables para el usuario.
Finaliza con una pregunta: ¿Quiere aprender más acerca de la auditoría de la IA? [Looking to learn more about AI Auditing?] con el vínculo de acceso a más recursos y la oferta del demo de un software comercial de centraleyes, que es la entidad que aloja el blog del artículo mencionado. [NB: No tengo relación alguna con centraleyes y/o el software comercial que se ofrece en el artículo reseñado].
A manera de resumen
En el presente artículo, luego de una revisión (rápida e incompleta), he reseñado cuatro enfoques para la auditoría de la inteligencia artificial: (1) Perspectiva contable; (2) En el contexto de la TI; (3) En el contexto de la auditoría interna; y (4) Independiente.
Queda mucho por investigar, probar e implementar en esta área. Lo que sí está definitivamente claro es que la auditoría de la IA (con sus diferentes enfoques y variantes) es un campo promisorio que está recibiendo bastante atención y que continuará ofreciendo resultados valiosos.
El área de la presentación de reportes financieros (incluye contabilidad, control interno, auditoría interna y auditoría externa) presenta desarrollos variados principalmente alrededor de los controles internos, la administración del riesgo y la auditoría interna.
Falta bastante por realizar en la auditoría externa de los estados financieros. Es una necesidad percibida, pero no hay suficiente información de si la auditoría de la IA se está implementando y cómo en la auditoría externa de los estados financieros.
Será necesario volver a estas cosas.