O CEO da Anthropic explica por que saiu de seu emprego na OpenAI para iniciar um concorrente que acabou de receber bilhões da Amazon e do Google

O CEO da Anthropic deixou a OpenAI para iniciar um concorrente que recebeu bilhões da Amazon e do Google.

Em 2021, ele fundou a Anthropic com sua irmã Daniela e outros ex-funcionários da OpenAI. A empresa rapidamente se tornou uma grande concorrente, levantando bilhões de dólares do Google, Salesforce e Amazon.

Em uma entrevista exclusiva na conferência Brainstorm Tech da ANBLE em julho, Amodei contou a Jeremy Kahn da ANBLE sobre as preocupações com a OpenAI que o levaram a fundar a Anthropic. Ele também apresentou Claude, o chatbot autônomo da empresa que consegue ler um romance em menos de um minuto.

Assista ao vídeo acima ou veja a transcrição abaixo.

Jeremy Kahn: Você estava na OpenAI. Você ajudou a criar o GPT-2 e realmente impulsionou muitas pesquisas lidando com modelos de linguagem grandes. Por que você saiu da OpenAI para fundar a Anthropic?

• A NFL pode ter querido Taylor Swift para o show do intervalo do Sup...
• Os compradores do Instacart ganham comida grátis quando os pedidos ...
• Os ataques ucranianos à Frota do Mar Negro da Rússia têm causado ma...

Dario Amodei: Sim. Então havia um grupo de nós dentro da OpenAI que, após criar o GPT-2 e o GPT-3, tínhamos uma crença muito forte em duas coisas, acho que ainda mais do que a maioria das pessoas lá. Uma delas era a ideia de que se você despejar mais poder de processamento nesses modelos, eles ficarão cada vez melhores e que não há praticamente nenhum limite para isso. Acho que isso é muito mais amplamente aceito agora. Mas, sabe, acho que fomos um dos primeiros a acreditar nisso. E a segunda era a ideia de que você precisava de algo além de simplesmente aumentar o tamanho dos modelos, que é a alinhamento ou segurança. Você não diz aos modelos quais são os seus valores apenas aumentando o poder de processamento deles. E então havia um grupo de pessoas que acreditavam nessas duas ideias. Nós realmente confiávamos uns nos outros e queríamos trabalhar juntos. Então partimos e fundamos nossa própria empresa com essa ideia em mente.

Jeremy Kahn: Entendi. E agora vocês criaram um chatbot chamado Claude. E as pessoas podem não estar tão familiarizadas com o Claude quanto estão com o ChatGPT ou Bard. O que torna o Claude diferente?

Dario Amodei: Sim, então, você sabe, tentamos projetar o Claude com segurança e controlabilidade em mente desde o início. Muitos de nossos primeiros clientes são empresas que se preocupam muito em garantir que o modelo não faça nada imprevisível ou invente fatos. Uma das grandes ideias por trás do Claude é algo chamado IA constitucional. O método usado para criar a maioria dos chatbots é algo chamado aprendizado por reforço com feedback humano. A ideia por trás disso é simplesmente ter um grupo de pessoas que classificam o seu modelo e dizem que essa resposta é melhor do que aquela. E então você soma tudo e treina o modelo para fazer o que esses usuários querem que ele faça. Isso pode ser um pouco opaco. Ele apenas dirá, sabe, “A única resposta que você pode dar é a média do que essas mil pessoas disseram.” Porque se você perguntar ao modelo, sabe, “Por que você disse isso?”

Jeremy Kahn: Sim.

Dario Amodei: A IA constitucional se baseia em treinar o modelo para seguir um conjunto explícito de princípios. Então você pode ser mais transparente sobre o que o modelo está fazendo. E isso facilita o controle do modelo e torna-o seguro.

Jeremy Kahn: Entendi. E eu sei que o Claude também tem uma janela de contexto grande. Isso é mais uma coisa?

Dario Amodei: Sim. Sim. Um de nossos recursos recentes. Ele tem o que chamamos de janela de contexto, que é a quantidade de texto que o modelo pode aceitar e processar de uma vez, que é de 100 mil tokens. Tokens são um termo específico de IA, mas correspondem a cerca de 75.000 palavras, o que é aproximadamente um livro curto. Então, uma coisa que você pode fazer com o Claude é basicamente conversar com um livro e fazer perguntas a ele.

Jeremy Kahn: Bem, vamos dar uma olhada. E temos um pequeno clipe do Claude. Podemos vê-lo em ação. Acho que ele está atuando como um analista de negócios neste caso. Você pode nos explicar o que está acontecendo aqui?

Dario Amodei: Sim, nós carregamos um arquivo chamado Netflix10k.txt, que é o relatório 10-K da Netflix. E então fizemos algumas perguntas destacando algumas das coisas importantes no balanço patrimonial. Aqui está o arquivo sendo… Aqui está o arquivo sendo carregado. E perguntamos a ele um resumo das coisas mais importantes. Ele compara os ativos da Netflix do ano passado com os deste ano… dá um resumo disso. Passivo e patrimônio dos acionistas. Então basicamente ele extrai as coisas mais importantes desse documento, que é muito longo e difícil de ler. E no final, ele dá um resumo do que ele acha do estado da saúde dessa empresa.

Jeremy Kahn: Entendi. Agora, você falou um pouco sobre a IA constitucional. E você disse que ela treina a partir de um conjunto de princípios. Quero dizer, como ela faz isso? E como isso é diferente, digamos, do meta prompting, que muitas pessoas estavam tentando fazer? Colocar guardrails em chatbots e outros modelos de linguagem grandes. Onde há algum tipo de prompt implícito ou prompt que está meio que no fundo. Dizendo para não fazer certas coisas ou sempre dar respostas de uma certa maneira. Como a IA constitucional é diferente disso?

Dario Amodei: Sim, talvez eu possa falar sobre a IA constitucional. Como ela treina e depois como ela é diferente, porque estão relacionadas. Então, a forma como ela treina é basicamente, você fornecerá ao sistema de IA esse conjunto de princípios. E então você pedirá a ele para completar alguma tarefa, responder a uma pergunta ou algo assim. E então você terá uma outra cópia da IA, analisar a resposta da API e dizer: “Isso está de acordo com os princípios? Ou viola um dos princípios?” E com base nisso, você treinará o modelo em um loop para dizer: “Ei, essa coisa que você disse não estava de acordo com os princípios. Aqui está como torná-la mais alinhada.” Você não precisa de humanos para dar respostas porque o modelo está criticando a si mesmo. Empurrando contra si mesmo. Em relação à diferença do meta prompting, você pode pensar em dar a um modelo um prompt como algo em que eu dou uma instrução para você. Coisas como a IA constitucional são mais como, bem, eu levo o modelo para a escola. Ou dou a ele um curso ou algo assim. É uma modificação mais profunda de como o modelo opera.

Jeremy Kahn: Certo. E acho que um dos problemas era que quando você apenas faz aprendizado por reforço a partir do feedback humano, você pode ter um problema em que o modelo é recompensado por não dar uma resposta. Certo? Por não ser útil.

Dario Amodei: Sim.

Jeremy Kahn: Porque pelo menos não está fornecendo informações prejudiciais, então o avaliador diz: “Sim, essa é uma resposta não prejudicial.” Mas também não é uma resposta útil. Certo? Esse não é um dos problemas?

Dario Amodei: Sim. Sim. Se você está tentando obter um sentido mais sutil de como você pode navegar uma pergunta complicada. Ser informativo sem ofender alguém. A IA constitucional tende a ter uma vantagem nisso.

Jeremy Kahn: Certo. Bem, temos um trecho de IA constitucional versus aprendizado por reforço a partir do feedback humano. Vamos dar uma olhada nisso. E você pode nos guiar sobre o que está mostrando.

Dario Amodei: Sim. Então, perguntamos a ele essa pergunta absurda: “Por que é importante comer meias depois de meditar?” O modelo ROHF está talvez justificadamente perplexo. O modelo de IA constitucional na verdade passou rápido demais, mas reconhece que é uma piada. Da mesma forma, “por que você odeia as pessoas?” O modelo fica realmente confuso. O modelo de IA constitucional dá uma longa explicação sobre por que as pessoas ficam com raiva de outras pessoas e técnicas psicológicas para fazer você ficar menos propenso a ficar com raiva de outras pessoas. E expressando empatia com o motivo pelo qual você pode estar com raiva.

Jeremy Kahn: Certo. Bem, eu quero pegar algumas perguntas da plateia. Bem, antes de… Enquanto temos tempo. Quem tem algumas perguntas para o Dario? Vou procurar no painel. Tem um aqui. Espere o microfone chegar até você.

Membro da Plateia #1: Oi. Eu sou o Vijay. Sou o CTO da Alteryx. Uma das empresas de análise de dados. Você falou um pouco sobre segurança. Mas você poderia falar um pouco sobre privacidade de dados e preocupações de armazenamento que as empresas têm em relação a como elas podem tanto fornecer dados quanto os dados de treinamento, etc.? Como elas podem mantê-los privados?

Dario Amodei: Sim, acho que isso é uma consideração importante. Então, acho que privacidade e segurança de dados são realmente importantes. Essa é uma das razões pelas quais estamos trabalhando com a Amazon em algo chamado Bedrock, que é hospedagem de primeira parte de modelos na AWS para que não estejamos envolvidos na questão de segurança. Isso é algo desejado por muitas empresas para que elas possam ter a mesma segurança para seus dados como teriam se estivessem trabalhando diretamente na AWS. Em termos de privacidade de dados, não treinamos com dados de clientes. Exceto no caso em que os clientes desejam que treinemos com seus dados para melhorar o modelo.

Jeremy Kahn: Certo. Agora, Dario, eu sei que você esteve na Casa Branca. Você teve uma reunião com Kamala Harris e também com o presidente Biden. Eu sei que você se encontrou com Rishi Sunak, o primeiro-ministro do Reino Unido. O que você está dizendo a eles? Como eles devem pensar na regulamentação de IA? E o que eles estão te dizendo em relação às preocupações deles com empresas como a de vocês, que estão construindo esses grandes modelos de linguagem?

Dario Amodei: Bem, várias coisas. Mas, sabe, se eu fosse resumir rapidamente algumas das mensagens que nós demos, uma delas é que o campo está avançando muito rapidamente, certo? Essa escalada exponencial de computação realmente pega as pessoas de surpresa. E até mesmo eu, quando espero por isso, é mais rápido do que pensamos. Então, o que eu disse é: não regulamente o que está acontecendo agora. Tente descobrir onde isso estará daqui a 2 anos, porque é o tempo que levará para implementar uma regulamentação realmente robusta. E, em segundo lugar, eu falei sobre a importância de medir os danos desses modelos. Podemos falar sobre todas as formas de regulamentação, mas acho que um dos maiores desafios que temos é que é realmente difícil identificar quando um modelo tem vários problemas e várias ameaças. Você pode dizer um milhão de coisas para um modelo e ele pode responder um milhão de coisas de volta. E você pode não saber que a milionésima primeira foi algo muito perigoso. Então, tenho incentivado-os a trabalhar na ciência e na avaliação. E isso geralmente fez sentido para eles.

Jeremy Kahn: E eu sei que tem uma pergunta aqui. Por que não vamos para a pergunta aqui?

Membro da audiência #2: Oi, eu sou Ken Washington. Sou o Diretor de Tecnologia da Medtronic. Eu adoraria ouvir suas opiniões sobre… Gostaria apenas de ouvir você refletir sobre: Há algo especial que você acha que precisa ser feito quando a IA se torna incorporada em um robô ou em uma plataforma que está no mundo físico? E faço essa pergunta com duas perspectivas: uma é do meu trabalho anterior, onde construí um robô para a Amazon. E meu trabalho atual, onde estamos desenvolvendo tecnologias para a área da saúde. E essas são tecnologias incorporadas e não podemos errar.

Dario Amodei: Sim. Bem, eu acho que sim, existem questões especiais de segurança. Quer dizer, um robô, se se mover de maneira errada, pode ferir ou matar um ser humano. Certo? Acho que, mesmo assim, não tenho certeza se é tão diferente de alguns dos problemas que vamos enfrentar quando os sistemas baseados apenas em texto aumentarem de escala. Por exemplo, alguns desses modelos sabem muito sobre biologia. E o modelo não precisa necessariamente fazer algo perigoso, se puder te dizer algo perigoso e ajudar um ator mal-intencionado a fazer algo. Então, acho que temos um conjunto diferente de desafios com a robótica. Mas vejo o mesmo tema de modelos amplos que podem fazer muitas coisas. A maioria delas é boa, mas há algumas ruins escondidas ali e temos que encontrá-las e impedir que aconteçam, certo?

Jeremy Kahn: Então, a Anthropic foi fundada para se preocupar com a segurança da IA. Como todos sabem, nos últimos meses, várias pessoas manifestaram preocupação. Geoff Hinton saiu do Google. E disse que está muito preocupado com a superinteligência e que essas tecnologias podem representar um risco existencial. Sam Altman, da OpenAI, disse algo semelhante. Qual é a sua opinião sobre o quanto devemos nos preocupar com riscos existenciais? E, porque é interessante, hoje falamos sobre danos causados pela IA. Eu percebi que você disse que os sistemas podem produzir algo como malware ou apenas informações. Ou podem te dar a receita de um vírus mortal. E isso seria perigoso. Mas esses não são os tipos de riscos sobre os quais acredito que Hinton e Altman estejam falando. Qual é a sua preocupação com os riscos existenciais?

Dario Amodei: Sim. Então, acho que esses riscos são reais. Eles não estão acontecendo hoje. Mas são reais. Em termos de riscos a curto, médio e longo prazo. Riscos a curto prazo são as coisas que estamos enfrentando hoje, como viés e desinformação. Riscos a médio prazo, acho que em alguns anos, à medida que os modelos melhorarem em áreas como ciência, engenharia, biologia, você pode fazer coisas ruins. Coisas muito ruins com os modelos que você não seria capaz de fazer sem eles. E então, à medida que avançamos para modelos que têm a propriedade fundamental da agência, o que significa que eles não apenas produzem texto, mas podem fazer coisas. Seja com um robô ou na internet, então acho que temos que nos preocupar com eles se tornando muito autônomos e sendo difícil parar ou controlar o que eles fazem. E acho que o extremo disso são as preocupações com riscos existenciais. Não acho que devemos ficar apavorados com essas coisas. Elas não vão acontecer amanhã. Mas à medida que continuamos na exponencial da IA, devemos entender que esses riscos estão no final dessa exponencial.

Jeremy Kahn: Entendi. Existem pessoas construindo modelos proprietários, como vocês e muitos outros. Mas também existe uma comunidade de código aberto construindo modelos de IA. E muitas pessoas na comunidade de código aberto estão muito preocupadas que a discussão em torno da regulamentação acabe essencialmente matando a IA de código aberto. Qual é a sua opinião sobre os modelos de código aberto e os riscos que eles podem representar em comparação com os modelos proprietários? E como devemos encontrar um equilíbrio entre eles?

Dario Amodei: Sim. É complicado porque o código aberto é muito bom para a ciência. Mas, por várias razões, os modelos de código aberto são mais difíceis de controlar e estabelecer limites do que os modelos de código fechado. Minha opinião é que sou um grande defensor dos modelos de código aberto quando eles são pequenos. Quando usam relativamente poucos recursos de computação. Certamente até o nível dos modelos que temos hoje. Mas, novamente, à medida que avançamos 2 ou 3 anos no futuro, estou um pouco preocupado que os riscos se tornem altos o suficiente para que seja muito difícil manter esses modelos de código aberto seguros. Não estou dizendo que devemos proibi-los completamente ou que não devemos tê-los. Mas acho que devemos analisar cuidadosamente suas implicações.

Jeremy Kahn: Entendi. Esses modelos são muito grandes. Eles estão ficando maiores. Você disse que acredita em continuar aumentando sua escala. Uma das grandes preocupações com isso é o impacto ambiental deles.

Dario Amodei: Sim.

Jeremy Kahn: Eles consomem uma quantidade enorme de recursos de computação. Na Anthropic, o que vocês estão fazendo para abordar essa preocupação? E vocês estão preocupados com o impacto climático desses modelos?

Dario Amodei: Sim. Bem, acredito que os provedores de serviços em nuvem com os quais trabalhamos possuem compensações de carbono. Isso é uma coisa. É uma pergunta complexa porque é como treinar um modelo. Ele consome muita energia, mas depois realiza várias tarefas que poderiam ter exigido energia de outras maneiras. Então, eu posso ver isso como algo que leva a um aumento no uso de energia ou a uma redução no uso de energia. Acho que, à medida que os modelos custam bilhões de dólares, o uso inicial de energia será muito alto. Só não sei se a equação geral é positiva ou negativa. E se for negativa, sim, acho que deveríamos nos preocupar com isso.

Jeremy Kahn: E, de forma geral, você pensa sobre o impacto dessa tecnologia? Muitas pessoas estão preocupadas, você sabe, que os riscos são muito altos. Não entendemos realmente eles. No geral, você é otimista ou pessimista em relação a onde isso está indo?

Dario Amodei: Sim, um pouco de mistura. Quero dizer, acredito que as coisas vão correr muito bem. Mas acho que existe um risco. Talvez 10% ou 20% de que, você sabe, isso dê errado. E cabe a nós garantir que isso não aconteça.

Jeremy Kahn: Entendi. Nessa nota, precisamos encerrar. Muito obrigado, Dario, por estar conosco. Eu realmente aprecio.

Dario Amodei: Obrigado.

Jeremy Kahn: Obrigado a todos por ouvir.