No todas las empresas tienen la escala y las habilidades de Credit Karma de Intuit, pero el jefe de ciencia de datos de la compañía tiene algunos consejos sobre dónde otros pueden comenzar a diseñar su propio marco de gobernanza de IA.
Credit Karma puede utilizar Intuit Sistema operativo GenOS AIcon su catálogo de modelos de IA, agentes y herramientas de desarrollo de software. Con la ayuda de GenOS, los equipos de Credit Karma crearon recientemente un sistema de múltiples agentes para revisar automáticamente los resultados de la IA antes de permitirles llegar a producción.
Madelaine Daianu
Estos forman la base técnica de la iniciativa de cumplimiento de IA dirigida por Madelaine Daianu, directora senior de ciencia e ingeniería de datos de Credit Karma. Pero estos esfuerzos comenzaron con una colaboración humana práctica que otras empresas pueden y deben emular, como debe hacerlo toda empresa e industria. diseñar su propio enfoque personalizado.
«Es extremadamente importante encontrar un equilibrio entre innovación y seguridad, cumplimiento o cualquier cosa que sea relevante para ellos, y dar el paso de reducir la velocidad un poco antes de que corran y se muevan rápido», dijo Daianu. «Haga que su equipo rojo interno analice una respuesta generada por LLM, aprenda de ella y desarrolle un marco de evaluación exhaustivo y personalizado para su caso de uso».
Haga que su equipo rojo interno analice una respuesta generada por LLM, aprenda de ella y desarrolle un marco de evaluación exhaustivo y personalizado para su caso de uso.
Madelaine DaianuDirector sénior de ciencia e ingeniería de datos, Credit Karma
En Credit Karma, equipos rojos que rompió los flujos de trabajo impulsados por grandes modelos de lenguaje (LLM) e identificó sus debilidades, ideó un marco de evaluación de cinco pasos para la gobernanza de la IA.
Las etapas del marco incluyen las siguientes:
Calidad y precisión de la respuesta.
Seguridad de la IA, incluida la detección de sesgos.
Cumplimiento, principalmente de las expectativas contractuales de los socios de Credit Karma cuando presenta información de tarjetas de crédito y préstamos a los clientes en su plataforma.
Procedencia y exactitud de los datos.
Métricas del sistema como costo y latencia.
«Dentro de este marco, el cumplimiento es donde teníamos que ser súper innovadores, porque nos llevaría mucho tiempo verificar (manualmente) los resúmenes de un LLM», dijo Daianu. «Por ejemplo, en el caso de una tarjeta de crédito, debemos asegurarnos de representar los beneficios de esa tarjeta según la marca asociada con la máxima precisión. Pero para poder hacerlo, tuvimos que extraer los campos del resumen que son pertinentes, por ejemplo, tasas o cargos».
Ahí es donde el multiagente entró el sistema. Agentes de IA especializados verifican cada campo de datos específico dentro de los resúmenes generados por LLM y se aseguran de que su presentación a los usuarios siga la marca del socio. En esta y otras etapas del marco de evaluación, los LLM también se utilizan para juzgar la calidad general de la respuesta de grupos de agentes.
Esos modelos fueron entrenados con comentarios humanos del equipo de éxito del cliente de Credit Karma, que todavía realiza verificaciones aleatorias. Según Daianu, los agentes de IA simplemente vuelven a aplicar ese proceso de evaluación a nuevos resúmenes, hasta 50 veces más rápido.
Sin embargo, al evaluar las herramientas de IA, también es importante no abusar de ellas, afirmó Daianu.
«Estamos utilizando GenAI como juez en algunos elementos de nuestro marco, especialmente para el cumplimiento, pero no en todos lados», dijo. «Para la seguridad de la IA, podemos utilizar el aprendizaje automático tradicional. No sobreajustar GenAI… es importante, porque a menudo puede brindar mayor precisión, mejor explicabilidad y no es tanto una caja negra».
Beth Pariseau, redactora senior de noticias de Informa TechTarget, es una veterana galardonada del periodismo de TI que cubre DevOps. ¿Tienes algún consejo? Envíale un correo electrónico o acercarse @PariseauTT.
Credit Karma, perteneciente a Intuit, emplea un avanzado marco de gobernanza de inteligencia artificial (IA) para asegurar el cumplimiento mientras fomenta la innovación. Madelaine Daianu, directora senior de ciencia e ingeniería de datos de Credit Karma, comparte valiosos consejos sobre la implementación de este marco, que es adaptado a las necesidades de cada empresa.
Con el sistema operativo GenOS AI de Intuit, Credit Karma implementó un sistema de múltiples agentes que verifica automáticamente los resultados generados por IA antes de que lleguen a producción. Este enfoque combina la colaboración humana y la tecnología, destacando la importancia de una evaluación exhaustiva y adaptada a las particularidades de cada industria.
Daianu enfatiza la necesidad de encontrar un equilibrio entre innovación y seguridad. Sugiere que las empresas deben poner en marcha equipos internos, conocidos como equipos rojos, que evalúen las respuestas generadas por modelos de lenguaje grandes (LLM) para identificar debilidades. A partir de esta evaluación, Credit Karma desarrolló un marco de gobernanza de IA que consta de cinco pasos clave:
1. Calidad y precisión de la respuesta.
2. Seguridad de la IA, incluyendo la detección de sesgos.
3. Cumplimiento de las expectativas contractuales con socios.
4. Procedencia y exactitud de los datos.
5. Métricas del sistema, como costo y latencia.
El marco aborda el cumplimiento de forma innovadora, permitiendo a Credit Karma asegurar que la información presentada a los clientes sea precisa y cumpla con las regulaciones establecidas. A través de un uso estratégico de la tecnología, los agentes de IA revisan campos específicos en los resúmenes generados por LLM, garantizando que la información respete la marca asociada y los estándares de calidad.
La implementación de estos sistemas no solo mejora la eficiencia —los agentes de IA pueden realizar evaluaciones hasta 50 veces más rápido que los humanos—, sino que también permite mantener un control de calidad continuo gracias a la retroalimentación proveniente de equipos de éxito del cliente.
Sin embargo, Daianu advierte sobre el uso excesivo de modelos de IA. La integración de GenAI debe ser cuidadosa y equilibrada para evitar dependencias que puedan comprometer la precisión y explicabilidad de los resultados. Por ello, se mezclan métodos de aprendizaje automático tradicionales con GenAI, dependiendo de la función específica a evaluar.
En conjunto, Credit Karma ilustra cómo las empresas pueden establecer un marco de gobernanza de IA robusto que no solo promueva la innovación, sino que también garantice la seguridad y el cumplimiento. La experiencia compartida por Daianu puede servir como guía para muchas organizaciones que buscan iniciarse en esta área vital de la tecnología moderna.
