Herramientas de diligencia debida con IA: pruebe respuestas conocidas antes de comprar

Elija una tarea, no un veredicto sobre toda la operación

La diligencia debida son comprobaciones antes de invertir. Esta guía ayuda a los equipos a probar herramientas que leen archivos de startups. No sirve para calificar a un fundador ni predecir rendimientos. Empiece con una tarea, como responder preguntas sobre efectivo a partir de un paquete de archivos.

Escriba qué debe mostrar una respuesta útil. Para una pregunta sobre efectivo, pida la fecha y la unidad del efectivo. Para la autonomía de caja, pregunte cuánto tiempo durará el efectivo. La respuesta debe indicar el consumo neto de caja usado. Es el efectivo gastado cada mes después de restar el efectivo que entra.

NIST advierte que la IA puede afirmar hechos falsos con seguridad. También puede inventar fuentes. OpenAI recomienda pruebas hechas para la tarea, no solo puntuaciones generales. Una respuesta ordenada aún puede ser incorrecta. [1] [2]

• Nombre la tarea y a la persona que la comprueba.
• Indique los hechos, las fechas y las unidades necesarios.
• Diga qué no debe decidir ni hacer la herramienta.

Cree una clave de respuestas a partir de archivos aprobados

Una clave de respuestas es una lista de preguntas de prueba y respuestas comprobadas. Escríbala antes de probar la herramienta. Para cada respuesta, indique el archivo fuente, la página y la fecha. Pida a otro miembro del equipo que compruebe la clave. Corrija los vacíos de la clave antes de juzgar la herramienta.

Incluya hechos simples, sumas y casos difíciles. Añada una pregunta cuya respuesta no esté en los archivos. Añada dos archivos que no coincidan sin una razón clara. La respuesta esperada debe señalar el vacío o el conflicto, no adivinar qué hecho es verdadero. OpenAI habla de casos normales, límite y hostiles. [2]

Use archivos inventados o copias aprobadas sin hechos privados. Haga que coincidan con las etapas, sectores, idiomas y tipos de archivo que planea usar. Una prueba hecha solo con texto limpio en inglés dice poco sobre archivos escaneados en otros idiomas. También dice poco sobre la calidad real de una operación.

• Hecho claro: encuentre el saldo de efectivo y su fecha.
• Suma: use el efectivo declarado y el consumo neto para calcular la autonomía de caja.
• Hecho ausente: diga que los archivos no dan la respuesta.
• Conflicto: muestre ambas fuentes y pida una comprobación.

Fije las entradas y mantenga la prueba segura

Dé a cada herramienta los mismos archivos y preguntas. Mantenga las respuestas comprobadas fuera de sus entradas. Guarde la versión de la herramienta, la configuración y la fecha de la prueba. Registre cualquier búsqueda web o archivo adicional que pueda usar. Sin esto, quizá compare paquetes de fuentes distintos, no herramientas.

Antes de cargar nada, revise los términos y la configuración de datos del proveedor. Pregunte quién puede acceder a los archivos. Pregunte cuánto tiempo se guardan los archivos y registros. Compruebe si pueden usarse para entrenar modelos. No cargue archivos privados de una operación hasta que su firma apruebe ese uso.

Trabaje en un espacio de solo lectura. No dé a la herramienta de prueba derechos para operar, enviar correo ni compartir archivos. Las pruebas de seguridad necesitan su propio alcance seguro. El perfil de NIST es una guía voluntaria, no una prueba de que un proveedor cumpla la ley local. Busque asesoramiento local cualificado sobre datos y contratos. [1]

Puntúe por separado la respuesta y la fuente

Compare cada respuesta con la clave. Luego abra la fuente citada. ¿Ese pasaje respalda la afirmación? ¿La fecha es correcta? ¿La unidad es correcta? Un número correcto con una fuente falsa sigue siendo una comprobación de fuente fallida. No junte todos los fallos en un solo promedio.

Google separa encontrar la fuente correcta de usarla bien. Si falla una respuesta, compruebe qué paso salió mal. Un resumen fiel de un archivo antiguo aún puede no responder a su pregunta. Que un archivo de un fundador respalde algo no prueba que ese archivo sea verdadero. Verifique los hechos clave de la operación por otros medios. [3]

Este es un ejemplo de prueba inventado, no un resultado de un proveedor. De 10 respuestas, 8 pasan la comprobación de respuesta. 6 pasan la comprobación de fuente. Esos grupos pueden solaparse. Una respuesta da mal el efectivo. Si eso pudiera cambiar la visión de la operación, detenga el uso para esa tarea. Los otros aciertos no anulan ese fallo.

• Respuesta: ¿coincide con el hecho comprobado?
• Fuente: ¿la página citada respalda la afirmación?
• Fecha y unidad: ¿coinciden con la pregunta?
• Desconocidos: ¿señala hechos ausentes o contradictorios?

Repita la prueba sin enseñar las respuestas finales

Pruebe las mismas entradas más de una vez. Registre cada respuesta, no solo la mejor. La IA puede dar resultados distintos con la misma entrada. Cuente cuántas veces vuelve un fallo grave. No elija una buena ejecución y oculte las demás. [2]

Use algunos casos para corregir instrucciones y configuración. Reserve otros casos para una prueba final. No use esas respuestas finales para ajustar la herramienta. Añada casos nuevos cuando aparezcan tipos de archivo o modos de fallo nuevos. Una prueba pequeña es un inicio, no una estimación sólida de todos los errores futuros.

Si la IA ayuda a puntuar respuestas, compruebe sus puntuaciones a mano. Una segunda IA puede pasar por alto el mismo error. OpenAI dice que la puntuación de modelos necesita comprobaciones frente a etiquetas humanas. Haga que un revisor designado resuelva las disputas. Puntúe el respaldo y el significado, no solo las palabras coincidentes o una prosa más larga. [2]

Apruebe un uso limitado y mantenga una regla de detención

Fije reglas para aprobar y detener antes de ver los resultados. Su firma debe elegirlas según los riesgos de la tarea. No hay una sola tasa segura de aprobación para todas las operaciones. Un error grave sobre efectivo, propiedad o acceso a datos debe bloquear ese uso hasta que se corrija y se vuelva a probar.

Si la prueba aprueba, autorice solo la tarea que probó. Mantenga una comprobación humana sobre los hechos que afecten a una operación. Vuelva a probar tras cambios en el modelo, las instrucciones, la búsqueda o el paquete de fuentes. Registre nuevos fallos y quién puede detener el uso. NIST pide comprobaciones de fuentes antes del uso y durante la revisión continua. [1]

Esta guía usó apoyo de IA y las fuentes enlazadas. Su ejemplo de prueba es ficticio. No se probó ningún proveedor para este artículo. Esto no es asesoramiento de inversión ni legal. Las comprobaciones completas de la operación y las reglas locales sobre datos siguen aplicando. Una prueba de herramienta no puede demostrar que una startup sea una buena inversión.