Yo sugeriría encontrar un test psicometrico validado (los hay, aunque normalmente son de pago, siempre hay opciones). Hacérselo, y al de un par de días repetírselo, para comprobar la fiabilidad test-retest.
Pedirle que conteste eligiendo la opción, y codificarlo en un Excel para puntuar.
Hola Sergio, pensamos igual! ¿Sabes que esa fue una de las primeras cosas que probé?
La verdad es que no encontré un test que tuviera API para programarlo. Cuando traté de hacer el test a mano tomaba demasiado tiempo.
Además, me di cuenta que las preguntas de esos tests eran más para “humano” por ejemplo preguntas del tipo “¿prefieres rodearte de amigos o pasar tiempo a solas?” no tenían sentido con un LLM e interferían con la evaluación, por eso opté por la ruta que muestro en el post.
El tipo de test de elecciones forzadas es ipsativo y no es la mejor opción para comparar entre sujetos. Pero hay tests normados (validados contra una población) que si.
Yo con api no se trabajar; ¿darle el texto completo y que devuelva el listado de respuestas?
En cuanto al tipo de preguntas, como son modelos de personalidad humana, en todos se verá eso reflejado. Siempre puedes reformular los como “imagina que eres humano de verdad “. De ahí te sale un paper! “Human-like personality in LLMs”.
Sospecho que openai, etc., tienen las respuestas ya, y lo utilizan a su favor, más de lo que imaginamos.
Que interesante lo de los tests que mencionas! No le daría todas las preguntas de golpe porque podrían darle contexto extra al LLM y cambiar la respuesta que daría naturalmente.
El API me da una forma programática para hacer las preguntas una por una…
Vi un par de papers sobre este tema, voy a buscarlos y te los comparto por acá.
Yo sugeriría encontrar un test psicometrico validado (los hay, aunque normalmente son de pago, siempre hay opciones). Hacérselo, y al de un par de días repetírselo, para comprobar la fiabilidad test-retest.
Pedirle que conteste eligiendo la opción, y codificarlo en un Excel para puntuar.
Superinteresante tu exploración!!!
Hola Sergio, pensamos igual! ¿Sabes que esa fue una de las primeras cosas que probé?
La verdad es que no encontré un test que tuviera API para programarlo. Cuando traté de hacer el test a mano tomaba demasiado tiempo.
Además, me di cuenta que las preguntas de esos tests eran más para “humano” por ejemplo preguntas del tipo “¿prefieres rodearte de amigos o pasar tiempo a solas?” no tenían sentido con un LLM e interferían con la evaluación, por eso opté por la ruta que muestro en el post.
El tipo de test de elecciones forzadas es ipsativo y no es la mejor opción para comparar entre sujetos. Pero hay tests normados (validados contra una población) que si.
Yo con api no se trabajar; ¿darle el texto completo y que devuelva el listado de respuestas?
En cuanto al tipo de preguntas, como son modelos de personalidad humana, en todos se verá eso reflejado. Siempre puedes reformular los como “imagina que eres humano de verdad “. De ahí te sale un paper! “Human-like personality in LLMs”.
Sospecho que openai, etc., tienen las respuestas ya, y lo utilizan a su favor, más de lo que imaginamos.
Dale, gracias! Esto se está poniendo académico!
Ahora me acabo de hacer una pregunta medio seria:
Si le pregunto algo no objetivo a una LLM (por ejemplo, que interprete un símbolo 🙃) ¿cómo varía su respuesta en función de la personalidad?
Que interesante lo de los tests que mencionas! No le daría todas las preguntas de golpe porque podrían darle contexto extra al LLM y cambiar la respuesta que daría naturalmente.
El API me da una forma programática para hacer las preguntas una por una…
Vi un par de papers sobre este tema, voy a buscarlos y te los comparto por acá.
🤯 ¡muy interesante! Pero… ¿sí sabes que estás acelerando todo el proceso de futuro apocalíptico y Rise of the machines, no?
No importa, veamos hasta donde llegamos. Fuera de bromas, está genial esto que estás experimentando 👏
No lo había pensado, tal vez de un experimento así vino el “Hasta la vista, baby”
Qué miedo! 😧
Me gustó, hice algo parecido hace unas semanas, pero se me quedó en el cajón, si tengo un rato lo publicaré.
Gracias, Carlos!
Este tema me parece súper interesante y además muy relevante.
Darle una personalidad a la IA (como usuario) nos abre muchas posibilidades, aún no termino de imaginar cuántas.
Espero que tengas tiempo de publicar tu post, me encantaría leerlo!