Una persona o institución escribe software, lo alimenta con un gran conjunto de datos de entrenamiento que están etiquetados con valores y el software produce una IA que puede atribuir esos valores a nuevos datos. Entonces, si le das un conjunto de imágenes y alguien ha etiquetado las interesantes como A y las aburridas como B, producirá una IA que puede mirar nuevas imágenes y etiquetarlas como A o B.
El problema es que la IA no se crea de manera que los humanos puedan entender qué reglas o patrones está usando para conectar los datos con los valores. Los humanos crearían un conjunto de reglas como "líneas curvas", "variedad de colores", pero la IA generada puede tener millones de reglas diminutas. Por lo tanto, revisar las reglas para encontrar sesgos a menudo no es práctico, por lo que el sesgo generalmente se detecta al observar la salida y, a veces, esto solo se vuelve visible después de mucho uso.
