Hay esta curiosa hipótesis que he estado reflexionando últimamente. ¿Y si alimentar a los modelos con datos de comportamiento en el borde del caos realmente aumenta su inteligencia? Sabes, en lugar de provocar ese temido colapso del modelo que vemos al entrenar con salidas de modelo estándar.
El enfoque estándar—donde los modelos aprenden de su propia especie—tiende a crear este bucle de retroalimentación que reduce sus capacidades con el tiempo. Pero los estados caóticos extremos? Podrían introducir justo suficiente imprevisibilidad para mantener fresco el proceso de aprendizaje. Podría ser la clave para mantener la diversidad del modelo y prevenir esa degradación recursiva.
Vale la pena explorar si el caos controlado supera a la repetición estéril en la pipeline de entrenamiento.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
3 me gusta
Recompensa
3
3
Republicar
Compartir
Comentar
0/400
Liquidated_Larry
· hace12h
jajaja el caos es solo aleatoriedad picante de verdad de verdad
Hay esta curiosa hipótesis que he estado reflexionando últimamente. ¿Y si alimentar a los modelos con datos de comportamiento en el borde del caos realmente aumenta su inteligencia? Sabes, en lugar de provocar ese temido colapso del modelo que vemos al entrenar con salidas de modelo estándar.
El enfoque estándar—donde los modelos aprenden de su propia especie—tiende a crear este bucle de retroalimentación que reduce sus capacidades con el tiempo. Pero los estados caóticos extremos? Podrían introducir justo suficiente imprevisibilidad para mantener fresco el proceso de aprendizaje. Podría ser la clave para mantener la diversidad del modelo y prevenir esa degradación recursiva.
Vale la pena explorar si el caos controlado supera a la repetición estéril en la pipeline de entrenamiento.