Há esta curiosa hipótese que tenho estado a considerar ultimamente. E se alimentar modelos com dados comportamentais à beira do caos realmente aumentar a sua inteligência? Sabes, em vez de causar aquele temido colapso do modelo que vemos ao treinar com saídas de modelos normais.
A abordagem padrão—onde os modelos aprendem com os seus próprios—tende a criar este ciclo de feedback que reduz as suas capacidades ao longo do tempo. Mas estados caóticos de fronteira? Eles podem introduzir apenas o suficiente de imprevisibilidade para manter o processo de aprendizagem fresco. Pode ser o ingrediente secreto para manter a diversidade dos modelos e prevenir a degradação recursiva.
Vale a pena explorar se o caos controlado supera a repetição estéril no pipeline de treino.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Há esta curiosa hipótese que tenho estado a considerar ultimamente. E se alimentar modelos com dados comportamentais à beira do caos realmente aumentar a sua inteligência? Sabes, em vez de causar aquele temido colapso do modelo que vemos ao treinar com saídas de modelos normais.
A abordagem padrão—onde os modelos aprendem com os seus próprios—tende a criar este ciclo de feedback que reduz as suas capacidades ao longo do tempo. Mas estados caóticos de fronteira? Eles podem introduzir apenas o suficiente de imprevisibilidade para manter o processo de aprendizagem fresco. Pode ser o ingrediente secreto para manter a diversidade dos modelos e prevenir a degradação recursiva.
Vale a pena explorar se o caos controlado supera a repetição estéril no pipeline de treino.