ChatGPT consegue gabaritar o Enem? E pior, se ele conseguir, será que a gente ainda precisa de escola? Calma, calma, calma, não tô falando pra ninguém desistir da escola, fica até o final do vídeo que você vai entender o porquê.
Mais ou menos um ano e meio atrás, quando teve aquele boom do ChatGPT, todo mundo começou a descobrir que existia, começou a usar, a gente colocou o bichinho pra resolver uma prova antiga do Enem. E ele foi relativamente bem, ele foi acima da média dos brasileiros, quer dizer, a máquina... naquela época já conseguia fazer a prova de um jeito que a maior parte das pessoas não conseguem.
Só que muita coisa mudou. Quando a gente fez o teste, o ChatGPT só aceitava texto, você não podia colocar imagem, PDF para ele ler. Então a gente gastou horas e horas e horas, várias pessoas colocando ali as questões. A gente teve que usar a prova para pessoas que não enxergam, para o ChatGPT conseguir entender as imagens. Isso tudo ficou no passado, não só ele aceita um PDF inteiro agora, como você pode colocar imagem para ele ler e o bicho está muito mais inteligente, acerta mesmo.
Mas e se usar o chat GPT para fazer as questões do Enem? Aí ele vai saber. Como esse é um assunto que vai literalmente mudar a vida da gente, todo mundo que está assistindo aqui está sendo impactado ou vai ser impactado por inteligência artificial em algum momento. Eu chamei uma pessoa que entende muito mais do que eu para a gente conversar sobre isso, que é o Guilherme Silveira lá da Alura. Estou aproveitando o cenário do podcast aqui com o Gui, porque é uma conversa que daria umas duas horas.
a gente vai ter que fazer em 5 minutos. A gente está esperando uma nota bem maior agora, Manen. Você acha que... Eu acho que se vocês usarem o All 1, então vai ser bem mais alta.
São 90 questões. Chutam alguma coisa só para a gente ver. Eu vou chutar 90%.
Por que não? Já que a gente falou no 90%, vamos chutar 90%. Eu acho que vai um pouco mais.
Eu chutaria os 95%. Vai errar pouca coisa. É que se eu chutar baixo, eu me garanto que vai.
Mas é só por isso. É só por isso. Mas aí surge uma pulga atrás da orelha. Que é a dúvida cruel dessa história.
Se a gente tem uma máquina que ela sabe, né, ela consegue praticamente gabaritar uma prova da escola, por que que ainda tem que existir escola? Nós, seres humanos, o que que é importante pra gente quando a gente tá aprendendo a lidar com o mundo? É aprender pensamento crítico, lidar com problemas, como é que eu resolvo, estratégias de solução de problemas. Isso que é o importante pra gente.
Uma prova como o Enem, ela tinha antigamente, em pedagogias antigas, esse teste de tipo, será que a pessoa decorou tudo? Decorou as fórmulas. Sabe aplicar as fórmulas? E hoje em dia não. A visão é, ela consegue entender um problema?
Então é muito mais pensamento crítico, análise e compreensão de texto. Você precisa analisar e entender. No momento que você entendeu, você joga na fórmula e acabou. O computador resolver isso é indiferente para a gente.
A gente continua precisando ensinar nossos alunos a fazer esse tipo de atividade. Porque o que o Enem, teoricamente, está testando são essas habilidades. Eu sei que tem muita gente que entrou nesse vídeo só pra saber se o chat GPT vai bem no Enem.
Mas eu também sei que aí do outro lado tem muita gente que gosta de tecnologia, que gosta de entender como as coisas funcionam e que até gostaria de trabalhar na área, mas ainda não teve chance de tentar, de botar a mão na massa ali pra ver se é aquilo mesmo que quer fazer. Então se você é uma dessas pessoas, minha dica aqui é que você participe da imersão dev back-end da Alure do Google. Back-end é aquela parte que fica por trás de um site, que faz ele funcionar como se fosse o motor de um carro, mas você não tá enxergando.
Então nessa imersão você vai fazer um projeto do zé. aprendendo o básico da ferramenta Node.js usando a inteligência artificial do Google Gemini. É uma oportunidade muito legal de conhecer a Alura, os instrutores super especializados que eles têm lá e ainda participar da comunidade deles que dá todo um suporte.
Vão ser cinco dias de imersão, já está para começar e as inscrições são por tempo limitado. Então corre e vê na descrição do vídeo como é que funciona e é de graça. E é lógico que a gente também está deixando aí na descrição do vídeo um link para você poder se matricular na Alura com desconto e aproveitar aquele catálogo.
absurdo de cursos que eles têm, tanto na área de como em praticamente todas as áreas de TI e ainda um pouco mais. Bom, agora eu vou ter que esperar as pessoas terminarem a prova do Enem, porque dessa vez a gente vai fazer de um jeito diferente. As inteligências artificiais estão aprendendo de um jeito muito rápido.
Então, se eu deixar pra testar o Enem quinze dias depois que a prova aconteceu, já vai tá ali na memória, já vai ter aprendido a resposta de todas as perguntas. Então, a ideia é pegar o chat de surpresa. Ele nem sabe quais são essas questões ainda.
A gente vai botar exemplos. no momento em que a prova for publicada, que as pessoas tiverem acesso, que vai acontecer no final de semana e não é hoje, é lá no futuro. Hoje é domingo, acabou de acontecer em Enem, eu tô aqui num hotel em Belo Horizonte porque eu fiz o lançamento do livro Enciclopédia Britânica para Curiosos, acabou de acontecer o lançamento e o pessoal lá no Manual do Mundo colocou o chat GPT para resolver a prova às 7h30 da noite. Isso significa que nenhum cursinho tinha colocado ainda o gabarito da prova na internet. então é impossível que o ChatGPT tenha procurado na internet a resposta dessa prova, porque essas respostas ainda não estavam lá.
E a gente também não tinha o PDF oficial da prova, então a gente pegou uma foto que o G1 tirou da prova, da prova verde, tentou jogar no ChatGPT por imagem mesmo, ele não conseguiu resolver por imagem, a gente passou por um OCR, que é um aplicativo que consegue identificar... ...as letras ali, transformar tudo aquilo em letras de fato e gerar um novo PDF e esse sim a gente colocou de novo pro ChatShop resolver, que também não conseguiu porque era muito grande, ele se confunde quando você coloca um PDF muito grande e aí a gente dividiu em três partes. Olha só.
só a pergunta que a gente fez. Você vai me ajudar a resolver essa prova do Enem. Eu vou pedir as respostas e quero que você resolva a questão, me diga qual é a alternativa correta, dizendo a letra correta e o texto da alternativa correta.
Vamos começar? E aí, olha que interessante. Nas primeiras 30 perguntas... ele foi respondendo meio que de 5 em 5, enroscando. Depois, quando a gente postou a segunda parte, ele deu uma planilha com as respostas.
E da terceira vez, ele já respondeu tudo de uma vez só, colocou lá as alternativas corretas. Mas e aí? Conseguiu acertar tudo ou não?
Essa prova tem 90 questões, 45 são de linguagem, das quais 40 de língua portuguesa e as outras 5 podem ser de espanhol ou de inglês, o aluno que escolhe, tá? E na segunda parte, as outras 45 são de ciências humanas. E aí vem uma das coisas mais interessantes. A gente não tem o gabarito oficial ainda da prova, o MEC ainda não divulgou. Então a gente está acompanhando a correção do objetivo e do ângulo.
O ângulo já corrigiu tudo, o objetivo corrigiu quase toda a prova. Então a gente vai meio que mais ou menos entre esses dois cursinhos aí, vou explicar por quê. Eles mesmos, os professores dos cursinhos, discordam de algumas respostas. Então o ângulo da uma, o objetivo da outra. E sabe o que acontece com o chefe de EPT?
Das 90 questões, aconteceu isso três vezes, os cursinhos discordarem e o chefe de EPT... chatGPT errar. Mas vamos lá, errou ou acertou?
Em inglês, cinco questões, errou duas. Desvergonhoso pra quem fala originalmente inglês, hein, chatGPT? De espanhol, também são cinco questões, ele acertou três, considerando o gabarito do ângulo, acertou quatro, considerando o gabarito do objetivo.
Em português, são quarenta questões, ele acertou trinta e seis. Eu considero uma nota absurdamente boa. Em ciências humanas, objetivo não terminou de corrigir ainda, a gente vai considerar só a correção.
do ângulo de 45, ele acertou 43. No geral, então, nessa primeira prova que tem 90 perguntas, o chefe GPT acertou simplesmente 82. É uma nota muito legal. O aluno, para chegar nisso, tem que ser bom pra caramba. Mas calma que a nota do Enem não é calculada assim. Ela é calculada com base na teoria da resposta ao item.
O que significa isso? Uma pessoa que acerta questões que quase todo mundo errou, ganha mais pontos... Se acerta questões que todo mundo acerta, ganha menos pontos. Aí a gente tem que colocar numa calculadora que faz essa simulação de como seria a nota.
Quando a gente fez o Enem de 2022, um ano e meio atrás, foi um tempo depois da prova, em linguagens ele tinha tirado a nota de 650. Nesse ano tirou a nota 733. Em humanas, um ano e meio atrás, 742. Agora, 794. Pessoal, é uma nota boa pra caramba. Praticamente. praticamente gabaritou em humanas.
Mas calma que ele fez a redação também. A gente pediu para fazer redação, ele faz praticamente num clique e depois mandamos para um professor que corrige redações de vestibular, ele trabalha corrigindo redações de vestibular de verdade. A nota do chat GPT foi de 760 pontos.
Quais são os pontos positivos do chat GPT? Ele faz tudo certinho, tem uma habilidade boa ali de estruturar, de desenvolver argumentos, coesão. textual, tudo bem, então é um português correto, é um português certinho. Mas aí vem os probleminhas de chat GPT, o famoso tal de texto de chat GPT. O vocabulário, ele é um pouco pobre, ele não faz construções complexas, tá tudo certo, mas bastante simples.
Falta repertório sociocultural, ou seja, é uma pessoa meio vazia, o texto não tem personalidade. Olha que interessante que o professor escreveu, a proposta, apesar de apresentar ideias bonitas e com potencial. de impacto, peca pela falta de concretude pela identificação explícita de agentes responsáveis. Ou seja, o chat EBT ele faz um texto meio genérico, meio fugindo ali, tentando agradar todo mundo. Isso prejudica o texto, não dá pra tirar a língua desse jeito.
Resumindo, o candidato apresenta boa capacidade de estruturação e coerência argumentativa, mas precisa melhorar a profundidade das ideias, a originalidade do vocabulário e a presença de um repertório e sociocultural mais sólido e elevar o nível da sua redação e torná-la mais impactante e autoral. É por isso que o ser humano que escreve bem ainda escreve muito melhor que o ChartGPT. Resumindo esse resultado aqui. Primeiro, a gente tem uma ferramenta muito melhor do que um ano e meio atrás. Foi praticamente cinco minutos para o ChartGPT fazer tudo isso.
Segunda coisa, algumas questões que ele errou até os cursinhos discordaram entre si. A prova está difícil e aí ele vai ter dificuldade naturalmente. E o terceiro é que a nota melhorou muito de um ano e meio atrás.
e meio pra cá, ou seja, esse negócio tá a evoluir a passos largos eu acho que dentro de algum tempo a gente vai ter uma máquina que gabarita isso tranquilamente um alerta que talvez seja muito importante para se levar desse vídeo ele não gabaritou e não acertou tudo errou uma parte ainda das questões, mais ou menos 10% das questões está errada. Então quer dizer, se você confia completamente, você está confiando em uma coisa que de 10 tira certo a 9. Bom, vamos continuar acompanhando a evolução de tudo isso, porque a gente quer, no final das contas, que... que essa inteligência artificial, que toda essa evolução da tecnologia seja usada para o bem e para isso a gente tem que ficar de olho nela, fechou?
Um abraço para vocês. Um detalhe importante aqui no final, a gente considerou as respostas dos cursinhos até 9h30 da noite, depois disso, eles continuaram refinando as respostas e tudo mais, teve algumas coisas que mudaram, então pode ter uma questão ou outra que deu diferente do que a gente falou, a gente vai deixar aí na descrição do vídeo, tá? E é importante nesse momento a gente reconhecer o trabalho desses professores de cursinho, meu filho rala muito no dia da prova.
para conseguir trazer as respostas para a gente antes da saída do gabarito oficial e dar um pouquinho de alento aos nossos corações. E aí eu queria agradecer especialmente ao professor Eduardo Marinho, que corrigiu a nossa redação e fez um trabalho brilhante ali, apontando todos os erros ou as incertezas que o chat EPT ainda tem. E uma última coisa, é que a gente estranhou muito ele ter errado as questões em inglês.
Depois a gente foi ver e descobriu que essas questões tinham bastante imagem, então é difícil de ele conseguir ler a imagem relacionada... com a pergunta e tudo mais, isso ainda não está tão bem desenvolvido. E a gente acha que isso vai acontecer bastante em matemática.
Se você acha que vale a gente testar o ChatGPT no Enem de Matemática no domingo que vem, deixa um comentário aí embaixo para a gente saber. Fechou?