∞Respuesta directa
Respuesta directa
Usa la IA para ordenar pistas. No debe decidir una inversión. Define falso positivo y falso negativo para tu mandato. Prueba ambos con operaciones ya revisadas. Comprueba las fuentes antes de contactar. Una persona debe decidir el siguiente paso. NIST indica que las pruebas de precisión deben incluir tasas de falsos positivos y falsos negativos con grupos de prueba realistas. [1]
Define los dos errores antes de filtrar
Un falso positivo es una pista que supera el filtro. Una revisión posterior muestra que no cumple una regla escrita. Un falso negativo es una pista que no supera el filtro. Una revisión posterior muestra que sí cumplía esa regla.
Usa estas etiquetas para el filtro. No las uses para juzgar una rentabilidad futura. Un buen filtro encuentra trabajo que merece revisión. No prueba que una empresa sea una buena inversión.
Escribe las reglas con palabras simples. Incluye etapa, lugar, sector, rango de cheque y reglas claras de conflicto. Mantén un hecho desconocido como desconocido. La falta de prueba no demuestra un desajuste.
- Pasa: la evidencia enlazada cumple una regla escrita.
- Revisión: la pista puede encajar, pero falta un hecho clave o hay conflicto.
- No pasa: la evidencia enlazada muestra un desajuste escrito.
- Escala: un conflicto, dato sensible o problema de fuente necesita responsable.
Crea un grupo de prueba con casos cercanos
Usa operaciones que personas ya revisaron. Incluye encajes claros, desajustes claros y casos difíciles. Un caso difícil queda cerca de la regla de etapa, sector o lugar. Muestra dónde puede fallar una regla simple.
Da una etiqueta a cada operación de prueba después de que una persona lea el registro fuente. Guarda una parte del grupo. No la uses para mejorar el prompt ni las reglas. Úsala después para comprobar el filtro cambiado.
NIST señala que las medidas de precisión deben usar grupos de prueba realistas y representativos. También pide registrar el método y los resultados por segmentos de datos relevantes. [1]
- Usa los mismos tipos de fuente que tendrá el filtro real.
- Guarda enlace, fecha de revisión y nota de la persona con cada etiqueta.
- Revisa con personas una muestra de pistas que pasan y que no pasan.
- Comprueba etapa, sector, geografía y tipo de fuente cuando sea útil y lícito.
Pide evidencia, no un veredicto
Pide una ficha corta para cada pista. Debe mostrar la regla que encaja, el enlace, la fecha de la fuente y lo que no se sabe. Mantén cada regla separada. No escondas faltas dentro de una puntuación total.
Una fuente o cita generada puede ser falsa. NIST llama confabulación al contenido falso que la IA generativa presenta con seguridad. Indica que este riesgo importa en decisiones relevantes. [2] Abre la fuente y comprueba que apoya el hecho indicado.
Envía una prueba débil a revisión. No la conviertas en un sí o un no automático. La persona revisora debe poder corregir el resultado, cambiar la regla o detener el proceso.
- Regla exacta: qué comprobó el filtro.
- Evidencia: enlace, cita corta y fecha de revisión.
- Límite: qué no puede mostrar la fuente.
- Siguiente paso: pasa, revisión, no pasa o escala, con motivo.
Mide los errores y cambia una cosa cada vez
Registra cuántas pistas revisan las personas. Registra falsos positivos, falsos negativos, fuentes débiles y cambios de la persona revisora. Añade versión de regla, versión de modelo o herramienta, conjunto de fuentes y fecha de revisión.
Fija una respuesta antes de la prueba. Más falsos negativos pueden exigir revisar una muestra mayor de los no aprobados. Más falsos positivos pueden mostrar que la regla de evidencia es demasiado amplia. Prueba un cambio con el grupo guardado antes de usarlo mucho.
ESMA espera que las empresas de inversión que usan IA en servicios de inversión prueben y vigilen sus sistemas, revisen los datos de entrada y mantengan registros claros. IOSCO también destaca validación independiente, alertas y registros de revisión y anulación humana. [3] [4] Son ideas útiles de control. Tus deberes legales dependen de empresa, servicio y lugar.
- Nombra a quien responda por el filtro y sus cambios.
- Revisa muestras de errores con un calendario y tras un cambio importante.
- Pausa el proceso si las fuentes fallan o los resultados cambian sin motivo claro.
- Conserva la reunión final y la decisión de inversión en manos de personas.
FAQ
Preguntas frecuentes
¿Qué es un falso positivo al filtrar operaciones?
Es una pista que el filtro aprueba, pero una revisión posterior descubre que no cumple una regla escrita. El error puede venir de datos débiles, una fuente errónea o una regla demasiado amplia.
¿Qué es un falso negativo al filtrar operaciones?
Es una pista que el filtro rechaza, pero una revisión posterior descubre que sí cumple una regla escrita. Revisa una muestra de las pistas rechazadas. Así podrás ver reglas demasiado estrechas.
¿Debemos intentar eliminar todos los errores?
No. Reglas estrictas pueden reducir falsos positivos y crear más pérdidas. Reglas amplias pueden hallar más pistas y gastar más tiempo de revisión. Define el equilibrio para tu mandato y pruébalo.
¿Puede una puntuación de IA decidir quién recibe una reunión?
No. Una puntuación puede ordenar investigación. Debe mostrar hechos, fuentes, faltas y conflictos. Una persona debe decidir si una pista avanza.
REF
Fuentes
- 1
National Institute of Standards and Technology
Artificial Intelligence Risk Management Framework (AI RMF 1.0) ↗ - 2
National Institute of Standards and Technology
Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile ↗ - 3
European Securities and Markets Authority
Public Statement on Artificial Intelligence and Investment Services ↗ - 4
International Organization of Securities Commissions
Supervisory Toolkit for AI Use in Capital Markets ↗