SDPO: hoe AI-taalmodellen stap voor stap leren wat mensen willen

Bijgewerkt: 12 oktober 2026 · 6 min leestijd

Stel je een leerling voor die moet leren schrijven in de stijl die een lezerspubliek waardeert. In plaats van die leerling één keer duizenden voorbeelden van "goed" en "slecht" proza te laten zien en te hopen dat alles blijft hangen, geef je hem de stof in kleine hapjes: een stapel voorbeelden, een toets, feedback, de volgende stapel, weer feedback, enzovoort. Elke ronde bouwt voort op wat er net geleerd is. Dat idee, toegepast op het trainen van AI-taalmodellen, heet SDPO: stepwise Direct Preference Optimization, vaak geschreven als sDPO.

SDPO is geen apart AI-systeem, maar een trainingsmethode: een manier om een taalmodel als ChatGPT of Llama na de eerste, ruwe training bij te schaven zodat het antwoorden geeft die mensen daadwerkelijk prettiger, veiliger of nuttiger vinden. Het is een verbeterde versie van een bekendere techniek, DPO (Direct Preference Optimization), die zelf weer een alternatief is voor het nog bekendere RLHF (Reinforcement Learning from Human Feedback) waarmee bijvoorbeeld ChatGPT is bijgeschaafd. SDPO voert diezelfde afstemming niet in één keer uit, maar in stappen, met als beloofde winst: een stabieler en uiteindelijk beter afgesteld model.

Wat is het precies?

Om SDPO te begrijpen, moet je eerst weten hoe een taalmodel grofweg wordt gemaakt. In de eerste fase, "pretraining", leest het model enorme hoeveelheden tekst van het internet en leert het taalpatronen, feiten en redeneringen. Dat resulteert in een model dat vloeiend tekst produceert, maar nog niet noodzakelijk doet wat mensen willen: het kan bijvoorbeeld onveilige, onbeleefde of nutteloze antwoorden geven.

De tweede fase heet "alignment" of afstemming. Hier krijgt het model voorbeelden van twee antwoorden op dezelfde vraag, waarbij mensen (of een ander AI-model dat als beoordelaar fungeert) aangeven welk antwoord beter is. Bij RLHF wordt op basis van die voorkeuren eerst een los "beloningsmodel" getraind, waarna het taalmodel via reinforcement learning (een trial-and-error-proces) wordt bijgestuurd om hoger te scoren bij dat beloningsmodel. Dat werkt, maar is technisch complex en instabiel: er zijn twee modellen nodig en het RL-proces kan ontsporen.

DPO, voorgesteld in 2023 door onderzoekers van Stanford University, omzeilt die omweg. Het laat zien dat je wiskundig rechtstreeks vanuit de voorkeursparen kunt optimaliseren, zonder los beloningsmodel en zonder reinforcement learning. Het model vergelijkt zijn eigen voorspellingen simpelweg met een "referentiemodel" (meestal de versie van vóór de afstemming) en leert geleidelijk het voorkeurspatroon over te nemen.

SDPO, voorgesteld in 2024 door onderzoekers van het Zuid-Koreaanse AI-bedrijf Upstage, stelt een probleem vast bij gewone DPO: het hele trainingsproces gebruikt van begin tot eind steeds datzelfde, verouderde referentiemodel als ijkpunt. Terwijl het model intussen al beter is geworden, blijft het worden afgemeten aan een "oude versie van zichzelf". SDPO knipt de trainingsdata daarom in stukken en doorloopt de afstemming in meerdere stappen. Na elke stap wordt het zojuist bijgeschaafde model het nieuwe referentiepunt voor de volgende stap. Zo schuift de lat telkens een beetje omhoog, in plaats van één keer een grote, instabiele sprong te maken.

Wat wil men ermee bereiken?

Het grondprobleem waar al deze technieken een antwoord op zoeken, is bekend als het "alignment-probleem": een taalmodel is getraind om waarschijnlijke tekst te produceren, niet om te doen wat mensen echt willen. Zonder bijsturing geeft een model soms technisch correcte maar onbruikbare, onveilige of ongewenste antwoorden. Afstemmingstechnieken zoals RLHF, DPO en SDPO moeten dat gat dichten.

Met SDPO specifiek willen de ontwikkelaars drie dingen bereiken. Ten eerste een stabielere training: door in kleinere stappen te werken, is de kans kleiner dat het model tijdens de afstemming "doorslaat" naar ongewenst gedrag. Ten tweede een beter eindresultaat: omdat het referentiemodel meegroeit, wordt het model in elke stap net iets strenger beoordeeld, wat in de praktijk tot nauwkeurigere afstemming zou moeten leiden. Ten derde, en dat is minstens zo belangrijk voor de bredere sector, willen de onderzoekers dit bereiken zonder extra rekenkosten of een ingewikkelder trainingsopzet dan gewone DPO al heeft: het moet een haalbare verbetering zijn voor onderzoeksgroepen en bedrijven die niet over de rekenkracht van de allergrootste AI-labs beschikken.

Voorbeelden uit de praktijk

SDPO is nog een jong onderzoeksresultaat, maar heeft al concrete toepassingen opgeleverd.

SOLAR-10.7B-Instruct (Upstage, december 2023/begin 2024): het taalmodel waarin Upstage de sDPO-methode voor het eerst grootschalig toepaste en testte, als onderdeel van de Solar-modellenfamilie van het bedrijf.
Het oorspronkelijke sDPO-paper "sDPO: Don't Use Your Data All at Once" (Upstage AI, 2024): hierin vergeleken de auteurs modellen die met gewone DPO waren afgestemd met modellen die met sDPO waren afgestemd, op basis van hetzelfde model (Mistral-7B) en dezelfde voorkeursdata, om aan te tonen dat de stapsgewijze aanpak betere scores oplevert op standaardtesten voor taalmodellen.
Vergelijkingen met Intel's neural-chat-modellen: in onderzoekspublicaties over DPO-varianten worden Intel's met DPO afgestemde "neural-chat"-modellen vaak als referentiepunt gebruikt om te laten zien hoeveel winst stapsgewijze methodes als sDPO opleveren.
Open-source navolging via Hugging Face: omdat Upstage de methode en bijbehorende code publiekelijk deelde, hebben andere onderzoeksgroepen en hobbyisten sDPO toegepast op eigen open-source taalmodellen en de resultaten gedeeld via het Hugging Face-platform, waar modellen en hun testresultaten (zoals de Open LLM Leaderboard) worden bijgehouden.

Het is belangrijk om deze voorbeelden met enige voorzichtigheid te lezen: scores op dit soort testladderijen veranderen voortdurend omdat er vrijwel wekelijks nieuwe modellen bijkomen, en exacte rangschikkingen van een bepaald moment zijn dus snel gedateerd.

Hoe ver is de techniek?

SDPO is onderdeel van een snel bewegend onderzoeksveld rond het afstemmen van taalmodellen na de pretraining. Sinds DPO in 2023 is voorgesteld, zijn er in hoog tempo varianten verschenen: naast sDPO bijvoorbeeld IPO, KTO, ORPO en SimPO, elk met een eigen kleine aanpassing aan de wiskundige formule of trainingsopzet. Dat gebeurt zo snel dat er op het moment van schrijven nog geen brede consensus is over welke variant structureel het beste werkt; de resultaten hangen sterk af van het gebruikte model, de dataset en de precieze testmethode.

Een belangrijke onzekerheid is dat de grote, bekende chatbots van bedrijven als OpenAI, Anthropic en Google niet in detail publiceren welke afstemmingstechniek ze precies gebruiken voor hun nieuwste modellen. Het is dus niet met zekerheid te zeggen of en in welke vorm sDPO of vergelijkbare stapsgewijze methodes binnen die closed-source systemen worden toegepast. Wat wel vaststaat, is dat sDPO als openbaar gepubliceerde, reproduceerbare methode vooral invloed heeft gehad in de open-source AI-gemeenschap, waar onderzoekers en kleinere bedrijven de code en resultaten vrij konden overnemen en testen.

Het obstakel dat in vrijwel alle publicaties over dit soort methodes terugkomt, is de kwaliteit en hoeveelheid van de voorkeursdata: de paren "beter" en "slechter" antwoord die nodig zijn om een model te trainen, zijn arbeidsintensief en duur om te verzamelen, en de manier waarop ze zijn samengesteld beïnvloedt sterk hoe goed elke afstemmingsmethode uiteindelijk werkt.

Wie werken eraan?

De methode is ontwikkeld bij Upstage, een Zuid-Koreaans AI-bedrijf dat vooral bekend is van zijn Solar-serie open taalmodellen en dat sDPO publiceerde als onderdeel van zijn onderzoek naar efficiëntere manieren om kleinere, open modellen competitief te maken met grotere, gesloten systemen.

De onderliggende DPO-techniek waarop sDPO bouwt, komt van onderzoekers verbonden aan Stanford University, onder wie Rafael Rafailov, Chelsea Finn, Christopher Manning en Stefano Ermon, die het concept in 2023 introduceerden als alternatief voor RLHF.

Verder wordt er in dit veld breed samengewerkt via open platforms: Hugging Face speelt een centrale rol als plek waar modellen, code en testresultaten rond DPO-varianten zoals sDPO worden gedeeld en vergeleken door onderzoeksgroepen en individuele ontwikkelaars wereldwijd. Daarnaast houden de grote AI-labs zoals OpenAI, Anthropic, Google DeepMind en Meta zich in algemene zin bezig met verwante technieken voor het afstemmen van modellen op menselijke voorkeuren, al communiceren zij doorgaans niet in detail over hun exacte interne methodes.