OpenAI heeft een innovatief model ontwikkeld genaamd CriticGPT, dat helpt bij het opsporen van fouten in de code-uitvoer van GPT-4. Het artikel onderzoekt hoe CriticGPT de nauwkeurigheid verbetert door trainers te assisteren in hun werk met Reinforcement Learning from Human Feedback (RLHF).
Verbeterde Code Review
CriticGPT werd getraind om fouten in de code-uitvoer van ChatGPT te detecteren. Resultaten tonen aan dat gebruikers die worden ondersteund door CriticGPT 60% beter presteren dan degenen zonder hulp. CriticGPT helpt subtiele fouten te identificeren die anders moeilijk te ontdekken zijn.
Integratie in RLHF-Labeling
OpenAI werkt aan de integratie van CriticGPT-achtige modellen in hun RLHF-labeling pijplijn. Dit zal trainers expliciete AI-assistentie bieden, wat een stap is richting het evalueren van geavanceerde AI-systemen.
Gedetailleerde Analyse
De GPT-4-modellen die ChatGPT aandrijven, zijn ontworpen om behulpzaam te zijn via RLHF. Een centraal onderdeel van RLHF is het verzamelen van vergelijkingen waarbij AI-trainers verschillende ChatGPT-antwoorden tegen elkaar beoordelen. Met vooruitgang in modelgedrag wordt ChatGPT nauwkeuriger en worden fouten subtieler. Dit maakt het moeilijker voor trainers om onnauwkeurigheden te ontdekken, wat het RLHF-proces compliceert.
Training van CriticGPT
CriticGPT werd getraind met behulp van RLHF, waarbij AI-trainers handmatig fouten in door ChatGPT geschreven code invoegden en vervolgens feedback schreven alsof ze de fout hadden ontdekt. CriticGPT moest deze fouten en andere natuurlijk voorkomende fouten identificeren. De kritieken van CriticGPT worden door trainers in 63% van de gevallen geprefereerd, omdat het minder kleine klachten en gehallucineerde problemen produceert.
Methoden en Resultaten
CriticGPT werd ook getraind om langere en meer uitgebreide kritieken te genereren met behulp van een zoekprocedure die de agressiviteit in het foutzoeken in balans brengt. Dit is effectief gebleken bij het produceren van nuttige kritieken voor RLHF.
Beperkingen
CriticGPT is getraind op kortere antwoorden en heeft beperkingen bij het omgaan met complexe taken. Modellen hallucineren nog steeds, en trainers kunnen fouten maken op basis van deze hallucinaties. Toekomstige fouten kunnen verspreid zijn over veel delen van een antwoord, wat meer geavanceerde methoden vereist.
Toekomstige Vooruitzichten
Om AI-systemen die steeds complexer worden aan te passen, hebben we betere hulpmiddelen nodig. Onderzoek toont aan dat het toepassen van RLHF op GPT-4 het potentieel heeft om mensen te helpen betere RLHF-gegevens voor GPT-4 te produceren. Het plan is om dit werk verder uit te breiden en in de praktijk te implementeren.
Conclusie
De integratie van CriticGPT in RLHF-pijplijnen vertegenwoordigt een belangrijke stap voorwaarts in de ontwikkeling van geavanceerde AI-systemen. Door menselijke inzichten te combineren met de capaciteiten van CriticGPT, kunnen nauwkeurigere en effectievere AI-evaluaties worden bereikt.
Delen: