Superinteligência: Reações de Especialistas à Visão e Desafios da OpenAI
A corrida pela inteligência artificial geral (IAG) e algo muito além dela capturou a atenção de tecnólogos e do público em geral. Como jornalista que cobre o cenário em rápida evolução da IA, vi em primeira mão a ambição e a apreensão que acompanham esses avanços. A OpenAI, um player proeminente neste campo, encontra-se na vanguarda desta discussão, lidando não apenas com os obstáculos técnicos, mas também com as profundas implicações éticas e sociais do que estão construindo.
Fonte: Ilustração própria
Resumo Rápido
- A OpenAI visa desenvolver a "superinteligência", definida como intelecto que supera vastamente o desempenho cognitivo humano.
- O CEO Sam Altman estima que a superinteligência pode chegar em "alguns milhares de dias" (5,5 a 11 anos).
- A OpenAI estabeleceu uma equipe de "Superalignment", dedicando 20% de seu poder computacional por quatro anos para garantir o desenvolvimento seguro de IA.
- A empresa reconhece riscos significativos, incluindo disrupção econômica, uso indevido e potencial desempoderamento ou extinção da humanidade se a superinteligência não for devidamente alinhada.
- A OpenAI defende novas políticas industriais e tomada de decisão democrática sobre valores de IA, indo além de ajustes incrementais.
- Desafios internos, incluindo mudanças de liderança e saídas de pesquisadores, destacam tensões contínuas em relação à segurança e desenvolvimento rápido.
A Busca pela Superinteligência
A OpenAI declarou publicamente sua confiança na construção de IAG, que define como um "sistema altamente autônomo que supera humanos na maioria do trabalho economicamente valioso", em suas próprias palavras. No entanto, a ambição da empresa vai além da IAG tradicional, focando no que eles chamam de "superinteligência". Sam Altman, CEO da OpenAI, sugeriu que a superinteligência pode chegar em "alguns milhares de dias". Esse prazo, que varia de aproximadamente 5,5 a quase 11 anos, ressalta a urgência que muitos no campo sentem em relação ao seu desenvolvimento. Superinteligência, como definida por Nick Bostrom em seu livro de 2014
Superinteligência: Caminhos, Perigos, Estratégias, é "qualquer intelecto que supera vastamente o desempenho cognitivo dos humanos em virtualmente todos os domínios relevantes."
Fonte: tedapp.ai
O livro de Nick Bostrom de 2014 fornece uma definição fundamental de superinteligência, delineando seus potenciais caminhos, perigos e estratégias.
Altman chamou o livro de Bostrom de "a melhor coisa que ele viu sobre o assunto."
A OpenAI acredita que a superinteligência pode acelerar descobertas científicas e médicas, aumentar significativamente a produtividade e reduzir custos. Os custos associados à construção da superinteligência estão diminuindo anualmente, e o número de entidades que buscam seu desenvolvimento está crescendo rapidamente. A empresa reconhece que os riscos de uma tecnologia tão poderosa são significativos, incluindo disrupções econômicas, uso indevido por atores maliciosos, sistemas desalinhados e a concentração de poder e riqueza. A OpenAI acredita que a superinteligência tem o potencial de desempoderar a humanidade ou até mesmo levar à sua extinção se não for devidamente alinhada.
A Iniciativa Superalignment
Reconhecendo esses riscos profundos, a OpenAI anunciou a formação de sua equipe de "Superalignment" em 5 de julho de 2023, conforme detalhado em seu post de blog. Liderada inicialmente por Ilya Sutskever e Jan Leike, a missão da equipe é resolver o problema de governar e controlar sistemas de IA que são muito mais inteligentes do que os humanos. A OpenAI comprometeu 20% de seu poder computacional atualmente assegurado ao longo dos próximos quatro anos para abordar o desafio do superalignment. O objetivo da equipe é resolver os principais problemas técnicos de alinhamento de superinteligência em quatro anos.
As atuais técnicas de alinhamento de IA, que dependem de supervisão humana, não serão escaláveis efetivamente para a superinteligência. A abordagem da equipe de Superalignment envolve a construção de um pesquisador de alinhamento humano automatizado, o desenvolvimento de um método de treinamento escalável, a validação do modelo e o teste de estresse de todo o pipeline de alinhamento. A OpenAI publicou os resultados iniciais de sua equipe de Superalignment em 14 de dezembro de 2023, detalhando uma técnica onde um modelo de linguagem grande menos poderoso pode supervisionar um mais poderoso. Por exemplo, a equipe usou o GPT-2 para supervisionar o GPT-4 em várias tarefas para explorar como os humanos poderiam monitorar modelos sobre-humanos. Os resultados mostraram que o GPT-4, quando treinado pelo GPT-2, teve um desempenho de 20% a 70% melhor em tarefas de linguagem, mas pior em quebra-cabeças de xadrez. No entanto, o pesquisador de IA Thilo Hagendorff levantou preocupações de que o GPT-2 possa ser "muito burro" para servir como um professor eficaz.
A OpenAI planeja compartilhar amplamente os resultados de seus esforços de Superalignment para contribuir para o alinhamento e a segurança de modelos não-OpenAI. Para avançar ainda mais nesta pesquisa, a OpenAI anunciou um fundo de US$ 10 milhões para apoiar pesquisadores que trabalham com superalignment.
Governança e Política na Era da Inteligência
A OpenAI publicou um artigo sobre "Governança da Superinteligência" em 22 de maio de 2023, enfatizando a necessidade de considerar a governança de futuros sistemas de IA muito mais poderosos do que a IAG. A empresa sugere três abordagens para governar a superinteligência: coordenação entre os principais esforços de desenvolvimento, uma agência internacional semelhante à AIEA para empreendimentos de superinteligência e a capacidade técnica de tornar a superinteligência segura. A OpenAI sustenta que pessoas em todo o mundo deveriam decidir democraticamente sobre os valores para os sistemas de IA.
Em 6 de abril de 2026, a OpenAI publicou um artigo sobre "Política Industrial para a Era da Inteligência", apresentando ideias para moldar o futuro com IA avançada. Este artigo sugere que ajustes incrementais na política serão insuficientes à medida que a sociedade se move em direção à superinteligência. A OpenAI oferece subsídios e prêmios de pesquisa de até US$ 100.000 e até US$ 1 milhão em créditos de API para trabalhos baseados nessas ideias de política. A empresa também anunciou um novo workshop em Washington, D.C., em maio para sediar discussões sobre política industrial para a era da inteligência.
A OpenAI propõe que uma nova política industrial é necessária para abordar os desafios e oportunidades apresentados pela superinteligência. Isso inclui dar voz aos trabalhadores na transição da IA, promover o empreendedorismo impulsionado por IA e tratar o acesso à IA como fundamental para uma economia moderna. Eles recomendam modernizar a base tributária para garantir financiamento contínuo para programas sociais e criar redes de segurança social adaptáveis. A OpenAI enfatiza a importância de salvaguardas antes e depois da implementação de sistemas de IA, incluindo monitoramento em tempo real e integração em instituições existentes. Eles propõem controles mais rigorosos, incluindo auditorias, para um pequeno número de modelos de alta capacidade que possam apresentar riscos químicos, biológicos, radiológicos, nucleares ou cibernéticos.
Dinâmica Interna e Saídas
A busca pela superinteligência não tem sido isenta de desafios internos na OpenAI. A equipe responsável pela governança de sistemas superinteligentes foi recentemente dissolvida após a saída de seus dois co-líderes, Ilya Sutskever e Jan Leike, da empresa.
Fonte: artificial-intelligence.blog
Ilya Sutskever, co-líder da equipe de Superalignment, deixou recentemente a OpenAI, marcando uma mudança interna significativa.
❝ nos últimos anos, a cultura de segurança e os processos ficaram em segundo plano em favor de produtos chamativos. ❞
Pesquisador de IA
Em junho de 2024, Ilya Sutskever fundou uma nova empresa chamada "Safe Superintelligence".
O breve afastamento de Sam Altman como CEO em novembro de 2023 foi um momento significativo, que ele caracterizou como uma "falha governamental importante". Uma investigação da WilmerHale atribuiu sua remoção a uma "quebra no relacionamento e perda de confiança" entre o conselho anterior e Altman. Desde o final de 2023, vários pesquisadores de ponta deixaram a OpenAI, incluindo Ilya Sutskever e Alec Radford. Essas saídas destacam as tensões contínuas e as diferentes perspectivas dentro da organização em relação à segurança, desenvolvimento rápido e governança corporativa. Atualmente, a OpenAI possui três órgãos de segurança: um grupo consultivo interno de segurança, um comitê de segurança e proteção em nível de conselho e o comitê de segurança de implantação.
Comitês de Segurança da OpenAI
A OpenAI opera atualmente com três órgãos de segurança distintos, refletindo seu compromisso em abordar os riscos complexos associados ao desenvolvimento de IA avançada:
| Nome do Comitê | Função Principal |
|---|---|
| Grupo Consultivo Interno de Segurança | Fornece orientação e recomendações internas sobre protocolos e pesquisa de segurança. |
| Comitê de Segurança e Proteção em Nível de Conselho | Supervisiona estratégias de segurança e proteção de alto nível, reportando-se diretamente ao conselho. |
| Comitê de Segurança de Implantação | Foca na segurança e implicações éticas durante a implantação de sistemas de IA. |
Conclusão
O debate em torno da superinteligência e seu desenvolvimento é complexo, englobando benefícios potenciais extraordinários e riscos igualmente profundos. A OpenAI, uma arquiteta chave deste futuro, continua a navegar por esses desafios, dedicando recursos significativos à pesquisa de alinhamento e defendendo políticas de governança prospectivas. A jornada em direção à superinteligência requer não apenas avanços tecnológicos, mas também uma conversa sustentada e global sobre suas implicações éticas e como garantir que ela, em última análise, sirva aos melhores interesses da humanidade.
Perguntas Frequentes (FAQs)
Qual a diferença entre IAG e Superinteligência?
IAG (Inteligência Artificial Geral) refere-se a um sistema altamente autônomo capaz de superar humanos na maioria do trabalho economicamente valioso. Superinteligência, como definida por Nick Bostrom, é qualquer intelecto que excede vastamente o desempenho cognitivo humano em virtualmente todos os domínios relevantes, implicando um nível de capacidade muito maior do que a IAG.
Com que rapidez a OpenAI espera que a superinteligência chegue?
Sam Altman, CEO da OpenAI, sugeriu que a superinteligência pode chegar em "alguns milhares de dias", o que se traduz em aproximadamente 5,5 a 11 anos a partir de sua declaração.
Qual o propósito da equipe de Superalignment da OpenAI?
A missão da equipe de Superalignment é resolver o problema de governar e controlar sistemas de IA que são muito mais inteligentes do que os humanos. Eles se dedicam a resolver os principais desafios técnicos de alinhamento de superinteligência em quatro anos, garantindo que esses sistemas poderosos permaneçam seguros e benéficos.
Quais são os principais riscos associados à superinteligência, de acordo com a OpenAI?
A OpenAI identifica vários riscos significativos, incluindo disrupções econômicas, potencial uso indevido por atores maliciosos, sistemas desalinhados que não operam nos melhores interesses da humanidade e a concentração de poder e riqueza. Eles também alertam para o potencial da superinteligência de desempoderar a humanidade ou até mesmo levar à sua extinção se não for devidamente alinhada.