Como a tecnologia de alta tecnologia de crescimento mais rápido da história humana, os grandes modelos têm atraído a atenção de todos. O Web3, que era apenas uma coisa de ontem, está sendo cada vez mais desafiado legalmente. Mas, como tecnologias completamente diferentes, não há substituição entre as duas. A pessoa responsável pelo "AI+Crypto Studio" na Ilha de Todas as Coisas - Sr. Tian Hongfei, discutirá com você os problemas encontrados no desenvolvimento de grandes modelos e como as empresas no campo web3 estão comprometidas em resolver esses problemas.

Problemas da Indústria de Modelos Grandes e Como Incorporar Web3 para Resolvê-los

Como todos sabemos, a indústria da Internet entrou na fase de oligopólio após 2015, e países ao redor do mundo conduziram revisões antitruste de empresas de plataformas. O surgimento de grandes modelos intensifica ainda mais a posição de monopólio dos oligopólios. Grandes modelos incluem algoritmos, potência de cálculo e dados:

• No campo dos algoritmos, embora haja um grau de monopólio, os algoritmos podem permanecer amplamente abertos devido às forças de código aberto e à rivalidade das universidades de pesquisa, bem como desconfiança das oligarquias;
• Em termos de potência de computação, devido ao custo extremamente alto de treinamento de grandes modelos, a potência de computação só pode ser suportada por grandes empresas, então isso resulta essencialmente na produção de algoritmos sendo completamente controlada por grandes empresas;
• Em termos de dados, enquanto o treinamento de grandes modelos depende de dados públicos, os dados públicos em breve serão esgotados com base no crescimento dos parâmetros dos grandes modelos, e portanto, o crescimento contínuo dos grandes modelos depende de dados privados. Embora a quantidade absoluta de dados possuídos por um grande número de pequenas empresas seja enorme, é difícil utilizá-la isoladamente, portanto, as grandes empresas ainda têm um monopólio sobre os dados.

Como resultado, a era do Big Model está mais centralmente controlada do que nunca, e o mundo do futuro provavelmente será controlado por um punhado ou até mesmo por um único computador. (Mesmo no mundo descentralizado da Web3, o End Game proposto por Vitalik para o Ethereum será executado por uma máquina gigante fora do bloco.)

Além disso, a empresa OpenAI, que desenvolveu o ChatGPT, possui apenas mais de 20 funcionários principais. Devido a várias razões, o algoritmo do ChatGPT ainda não foi de código aberto. A natureza original da empresa sem fins lucrativos foi alterada para lucro limitado. À medida que várias aplicações que dependem do ChatGPT têm mudado a vida humana, algumas modificações no modelo do ChatGPT terão um grande impacto nos seres humanos. Em comparação com o princípio de não fazer o mal do Google, o ChatGPT tem um impacto mais profundo nas pessoas.

Portanto, a credibilidade computacional do modelo se tornará uma questão importante. Embora a OpenAI possa ser operada como uma organização sem fins lucrativos, o controle do poder por algumas pessoas ainda terá muitas consequências adversas. (Em contraste, embora o Ethereum End Game proposto por Vitalik seja produzido por uma máquina, ele manterá transparência através de uma verificação muito fácil pelo público.)

Ao mesmo tempo, ainda existem problemas na indústria de modelos grandes: escassez de potência de computação, dados de treinamento disponíveis prestes a serem consumidos e compartilhamento de modelos. Segundo as estatísticas, antes de 2021, o problema na indústria de inteligência artificial é a falta de dados, e todas as empresas de aprendizado profundo estão procurando dados em indústrias verticais; e após modelos grandes, a falta de potência de computação se torna um obstáculo.

O desenvolvimento de modelos grandes é dividido em várias etapas: coleta de dados, pré-processamento de dados, treinamento de modelos, ajuste fino de modelos e inferência de consulta de implantação. A partir dessas etapas, vamos descrever brevemente a contribuição da blockchain para modelos grandes e como combater o prejuízo da concentração excessiva de modelos grandes.

• Em termos de dados, uma vez que os dados públicos serão consumidos após 2030, quantidades maiores e mais valiosas de dados privados precisam ser utilizadas, enquanto se protege a privacidade por meio da tecnologia blockchain;
• Em termos de anotação de dados, os tokens podem ser usados para incentivar a anotação em larga escala e a verificação de dados;
• Na fase de treinamento do modelo, o compartilhamento de energia de computação é alcançado por meio do compartilhamento de modelos e treinamento colaborativo;
• Durante a fase de ajuste fino do modelo, a participação da comunidade pode ser incentivada por meio de tokens;
• Na fase de consulta do usuário e cálculo de raciocínio, a blockchain pode proteger a privacidade dos dados do usuário.

Em particular:

1) Poder computacional escasso

O poder de computação é um fator de produção necessário para modelos grandes e é o fator de produção mais caro hoje em dia, a ponto de startups que acabaram de levantar fundos terem que transferir 80% de seus fundos para a NVIDIA para comprar GPUs. Empresas que produzem seus próprios grandes modelos têm que gastar pelo menos US$ 50 milhões para construir seus próprios data centers, enquanto pequenas startups têm que comprar serviços caros de computação em nuvem.

No entanto, a popularidade a curto prazo de grandes modelos e o enorme consumo de recursos computacionais pelos próprios grandes modelos superaram em muito a capacidade de fornecimento da NVIDIA. De acordo com as estatísticas, a demanda por potência de cálculo de grandes modelos dobra a cada poucos meses. Entre 2012 e 2018, a demanda por potência de cálculo aumentou 300.000 vezes, e o custo dos cálculos de grandes modelos aumentou 31 vezes a cada ano.

Para as empresas de Internet chinesas, elas também têm que enfrentar o embargo dos EUA sobre GPUs de alta qualidade. Pode-se dizer que o alto custo de treinamento é a razão principal pela qual a tecnologia de modelos grandes é controlada por poucas pessoas.

Então, como resolver o problema de potência de computação de modelos grandes através da blockchain?

Considerando a produção de modelos grandes, ela é principalmente dividida em treinamento de modelos grandes, ajuste fino e cálculo de inferência de consulta do usuário. Embora os modelos grandes sejam notoriamente caros de treinar, uma versão de um modelo grande só precisa ser gerada uma vez. Na maioria das vezes, para os usuários de serviços de modelos grandes, apenas a computação inferencial é necessária. De acordo com as estatísticas da AWS, isso também é confirmado, 80% da potência de computação é realmente consumida em cálculos de inferência.

Embora o treinamento de grandes modelos exija capacidades de comunicação de alta velocidade entre GPUs, não pode ser concluído na rede (a menos que você opte por trocar a extensão de tempo por baixo custo). Mas cálculos de inferência podem ser feitos em uma única GPU. A afinação fina é baseada no grande modelo que foi gerado e fornecido com dados profissionais, portanto, requer muito menos recursos computacionais do que o treinamento de grandes modelos.

Quando se trata de renderização de gráficos, fica claro que as GPUs para consumidores têm melhor desempenho do que as GPUs empresariais e ficam ociosas na maior parte do tempo. Desde que a Universidade da Califórnia, Berkeley, lançou o SETI para buscar alienígenas em 1999, e a Computação em Grade tornou-se popular em 2000, houve algumas arquiteturas técnicas que usam recursos de computação ociosos para colaborar e concluir algumas tarefas de computação enormes. Antes do surgimento do blockchain, essas colaborações costumavam se concentrar em tarefas científicas e dependiam do entusiasmo e da participação de bem-estar público dos participantes, limitando o alcance do impacto. Agora, usando a tecnologia blockchain, sua ampla gama de aplicações pode ser incentivada por meio de tokens.

Assim como o projeto de computação em nuvem descentralizada Akash, foi estabelecida uma rede de computação geral e os usuários podem implantar modelos de aprendizado de máquina para cálculos de raciocínio e renderização de imagens. Também existem projetos de IA baseados em blockchain, como Bittensor, Modulus Lab, Giza e ChainML, todos voltados para cálculos de inferência de consulta.

O protocolo de computação de IA em blockchain Gensyn e a plataforma de IA generativa de código aberto Together estão determinados a construir uma rede de computação descentralizada que atende ao treinamento de modelos grandes.

Desafio: Para redes de computação descentralizadas, a dificuldade não reside apenas em redes de comunicação de baixa velocidade e não confiáveis, na incapacidade de sincronizar estados computacionais, lidar com vários tipos de ambientes de computação do tipo GPU, mas também lidar com incentivos econômicos, trapaças de participantes, prova de carga de trabalho, segurança, proteção de privacidade e ataques anti-spam.

2) Dados escassos e correção de dados

O algoritmo central do grande modelo, Reinforcement Learning from Human Feedback (RLHF), requer a participação humana no ajuste fino do treinamento para corrigir erros e eliminar viés e informações prejudiciais. A OpenAI utilizou o RLHF para ajustar o GPT3 e gerar o ChatGPT. No processo, a OpenAI encontrou especialistas do Grupo do Facebook e pagou trabalhadores quenianos $2 por hora. O treinamento de otimização frequentemente requer a participação de especialistas humanos em dados de campos especializados, e sua implementação pode ser totalmente combinada com formas de incentivar a participação da comunidade por meio de tokens.

A indústria de Redes de Infraestrutura Física Descentralizada (DePINs) usa tokens para incentivar as pessoas a compartilhar dados reais e em tempo real do mundo físico de acordo com sensores para vários modelos de treinamento. Incluindo: React coleta dados de uso de energia, DIMO coleta dados de condução de veículos, WeatherXM coleta dados meteorológicos e Hivemapper coleta dados de mapas através de incentivos de tokens para encorajar as pessoas a marcar sinais de trânsito e ajudar seu algoritmo de aprendizado de máquina RLHF a melhorar a precisão.

Ao mesmo tempo, à medida que os parâmetros dos modelos grandes aumentam, os dados públicos existentes serão esgotados até 2030, e o progresso contínuo dos modelos grandes terá que depender de dados privados. A quantidade de dados privados é 10 vezes maior que a de dados públicos, mas está dispersa nas mãos de empresas e indivíduos, e é privada e confidencial por natureza, tornando-a difícil de explorar. Surge um duplo dilema. Por um lado, o grande modelo precisa de dados, mas embora a parte com os dados precise do grande modelo, não quer entregá-los ao grande modelo. Esse problema duplo também pode ser resolvido por meio de tecnologia no campo da blockchain.

Para modelos de inferência de código aberto, porque requerem menos recursos computacionais, o modelo pode ser baixado para o segmento de dados para execução; para modelos não públicos ou grandes, os dados precisam ser desensibilizados e enviados para o final do modelo. Os métodos de desensibilização incluem dados sintéticos e provas de conhecimento zero.

Se o modelo for baixado para o lado dos dados ou os dados forem enviados para o lado do modelo, o problema de autoridade precisa ser resolvido para evitar trapaças de modelo ou dados.

Desafio: Embora os incentivos de tokens do Web3 possam ajudar a resolver esse problema, o problema da trapaça precisa ser resolvido.

3) Colaboração de modelos

Na comunidade Civitai, a maior plataforma de compartilhamento de modelos de pintura de IA do mundo, as pessoas compartilham modelos e podem facilmente copiar um modelo e modificá-lo para gerar um modelo que atenda às suas próprias necessidades.

O Bittensor, um projeto de blockchain de IA de código aberto e de duplo consenso, projetou um conjunto de modelos descentralizados de incentivo a token. Com base no mecanismo de colaboração de uma mistura de especialistas, ele produz em conjunto um modelo de resolução de problemas e apoia a destilação de conhecimento, que pode ser compartilhado entre os modelos. Informação, treinamento acelerado, que oferece a inúmeras startups a oportunidade de participar de grandes modelos.

Como uma rede unificada para serviços off-chain, como automação, oráculos e IA compartilhada, Autonolas projetou um framework de colaboração para agentes alcançarem consenso através do Tendermint.

Desafio: O treinamento de muitos modelos ainda requer muita comunicação, e a confiabilidade e eficiência de tempo do treinamento distribuído ainda são grandes obstáculos;

Grandes modelos e inovação em Web3

Em conjunto com o acima discutido como o Web3 pode ser utilizado para resolver alguns dos problemas na grande indústria de modelagem. A combinação de duas forças importantes resultará em algumas aplicações inovadoras.

1) Use ChatGPT para escrever contratos inteligentes

Recentemente, um artista de NFT usou prompts para operar o ChatGPT sem nenhum conhecimento de programação para lançar seu próprio smart contract e emitir o token Turboner. O artista usou o YouTube para gravar seu processo de criação por uma semana, inspirando a todos a usar o ChatGPT. Participe da criação de smart contract.

2) Pagamento de cripto capacita gestão inteligente

O desenvolvimento de grandes modelos melhorou muito a inteligência dos assistentes inteligentes, e combinado com pagamentos criptografados, os assistentes inteligentes serão capazes de coordenar mais recursos e colaborar em mais tarefas no mercado de assistentes inteligentes. O AutoGPT demonstra a dependência de um cartão de crédito fornecido pelo usuário, e ele pode ajudar o usuário a automatizar a compra de recursos de computação em nuvem e a reserva de voos, mas é limitado pelo login automático ou outra autenticação de segurança, e as capacidades do AutoGPT são severamente limitadas pelo login automático ou outra autenticação de segurança. O design do Sistema de Agentes Múltiplos (MAS), incluindo o Protocolo de Rede de Contratos, inclui a colaboração de múltiplos assistentes inteligentes em um mercado aberto, e se apoiado por tokens, essa colaboração romperá a colaboração limitada baseada em confiança e se tornará uma colaboração em maior escala baseada na economia de mercado, assim como a sociedade humana passa de uma sociedade primitiva para uma sociedade monetária.

3) zkML (Zero Knowledge Machine Learning)

A aplicação da tecnologia zkp (Prova de Conhecimento Zero) em blockchain é dividida em duas categorias. Uma delas é resolver o desempenho da blockchain transferindo os requisitos de computação para fora da cadeia, e em seguida, certificação na cadeia por meio de zkp; a segunda categoria é utilizada para proteger a privacidade das transações. As aplicações de zkp em grandes modelos incluem cálculos confiáveis de modelos (para provar a consistência e autenticidade dos cálculos do modelo) e cálculos de privacidade de dados de treinamento. Em um ambiente descentralizado, o provedor de serviços do modelo precisa provar aos clientes que o modelo vendido é o modelo prometido ao cliente, sem cortar atalhos; para os parceiros de dados de treinamento, eles precisam participar do treinamento ou usar o modelo com a premissa de proteger sua própria privacidade. Embora o zkp ofereça algumas possibilidades, ainda existem muitos desafios, e soluções como computação homomórfica e computação de privacidade federada ainda estão imaturas.

Solução baseada na arquitetura BEC (Blockchain Edge Client)

Além das escolas acima, há outra escola que não recebeu muita atenção devido à falta de incentivos de token e ao uso de aplicações de blockchain minimalistas.

A arquitetura baseada em BEC tem muitas semelhanças com os conceitos de Web5 mencionados por Jack Dorsey e Solid por Tim Berners-Lee em muitos aspectos.

Todos eles pensam:

• Cada pessoa possui um nó de borda de controle correspondente;
• Computação e armazenamento na maioria dos cenários de aplicativos devem ser tratados nos nós de borda;
• A colaboração entre nós individuais é concluída através da blockchain;
• A comunicação entre os nós é concluída através de P2P;
• Os indivíduos podem controlar completamente seus próprios nós sozinhos ou confiar em pessoas de confiança para confiar na gestão dos nós (chamados de servidores de retransmissão em alguns cenários);
• Alcançou a maior descentralização possível;

Quando este nó correspondente a cada pessoa e controlado pelo indivíduo armazena dados pessoais e carrega o modelo grande, um agente inteligente pessoal completamente personalizado, protegido 100% da privacidade, pode ser treinado. O parceiro fundador chinês da SIG, Dr. Gong Ting, comparou romanticamente o futuro nó pessoal à nuvem pessoal acima da cabeça de Olaf em “Frozen”, que sempre o segue.

Dessa forma, o Avatar no Metaverso não será mais uma imagem controlada por um teclado, mas um agente com alma. Ele pode estudar notícias online, processar e-mails e até mesmo responder automaticamente às suas mensagens de chat social em nosso nome 24 horas por dia. (Atenção, namoradas insistentes, talvez vocês precisem de uma maneira de detectar se seus namorados estão usando um agente para lidar com vocês no futuro). Quando o seu agente precisar de novas habilidades, assim como instalar um aplicativo no celular, você pode instalar um novo aplicativo no seu nó.

Resumo

Historicamente, com a plataformação contínua do desenvolvimento da Internet, embora o tempo para o nascimento de empresas unicórnio tenha se tornado mais curto, tem se tornado cada vez mais prejudicial para o desenvolvimento de startups.

Com a eficiente plataforma de distribuição de conteúdo fornecida pelo Google e pelo Facebook, o Youtube, que nasceu em 2005, foi adquirido pelo Google por US$1,6 bilhão apenas um ano depois.

Junto com a eficiente plataforma de distribuição de aplicativos da Apple App Store, o Instagram foi fundado em 2012 por pouco mais de 10 pessoas e foi adquirido pelo Facebook por US$1 bilhão em 2012.

Com o suporte do grande modelo ChatGPT, a Midjourney, que tem apenas 11 pessoas, ganhou US$100 milhões por ano. E a OpenAI, que não tem mais do que 100 pessoas, é avaliada em mais de 20 bilhões de dólares.

As empresas de plataformas de internet estão se tornando cada vez mais poderosas, e o surgimento de grandes modelos não mudou o padrão existente de monopolização da internet por grandes empresas. Os três elementos de grandes modelos, algoritmos, dados e potência de computação ainda são monopolizados por grandes empresas. As empresas iniciantes não têm a capacidade de inovar grandes modelos e não têm a força financeira para treinar grandes modelos. Elas só podem se concentrar na aplicação de grandes modelos em campos verticais. Embora os grandes modelos pareçam promover a popularização do conhecimento, o verdadeiro poder é controlado por não mais que 100 pessoas no mundo que têm a capacidade de produzir modelos.

Se no futuro, modelos grandes penetrarem em todos os aspectos da vida das pessoas, e você perguntar ao ChatGPT sobre sua dieta diária, sua saúde, seus e-mails de trabalho e as cartas do seu advogado, então, teoricamente, aqueles que dominam grandes modelos só precisam mudar secretamente alguns parâmetros. Isso pode afetar grandemente a vida de inúmeras pessoas. Algum desemprego causado pelo grande modelo pode ser resolvido através do UBI ou do Worldcoin, mas as consequências da possibilidade do mal causado pelo grande modelo ser controlado por poucas pessoas são mais sérias. Esta é a intenção original da OpenAI. Embora a OpenAI resolva problemas orientados pelo lucro através de métodos sem fins lucrativos, como ela resolve problemas orientados pelo poder? Obviamente, os grandes modelos treinam rapidamente modelos de conhecimento usando o conhecimento acumulado por humanos por décadas e compartilhado livremente na Internet, mas este modelo é controlado por um número muito pequeno de pessoas.

1. Portanto, há um grande conflito de valores entre grandes modelos e blockchain. Os praticantes de blockchain precisam participar do empreendedorismo de grandes modelos e usar a tecnologia blockchain para resolver problemas de grandes modelos. Se a enorme quantidade de dados livremente disponíveis na Internet é o conhecimento comum da humanidade, então os grandes modelos gerados com base nesses dados devem pertencer a toda a humanidade. Assim como a OpenAI recentemente começou a pagar por bancos de dados de literatura, a OpenAI precisa pagar pelos blogs pessoais aos quais você e eu nos dedicamos.

Aviso legal：

1. Este artigo é reproduzido de [GateThreeDAO, Ilha de Todas as Coisas]. Todos os direitos autorais pertencem ao autor original [36C]. Se houver objeções a essa reimpressão, entre em contato com o Gate Aprenderequipe e eles vão lidar com isso prontamente.
2. Isenção de Responsabilidade: As opiniões expressas neste artigo são exclusivamente do autor e não constituem qualquer conselho de investimento.
3. As traduções do artigo para outros idiomas são feitas pela equipe Gate Learn. Salvo indicação em contrário, copiar, distribuir ou plagiar os artigos traduzidos é proibido.