Hoe CLIP een AI leert wat 'vrolijk' is | MijnEigenBoekje
Typ “een vrolijk kind in een gele regenjas, klassieke prentenboekstijl” in een AI-beeldgenerator en er verschijnt binnen seconden een illustratie die precies dat toont. Nergens in de code staat een regel die “vrolijk” letterlijk vertaalt naar opgetrokken mondhoeken. Toch werkt het, keer op keer. Edwin, data engineer bij MijnEigenBoekje, legt uit welk model dat mogelijk maakt en waarom dat ook verklaart waarom wij in onze eigen stijlkeuzes bewust geen namen van illustrators gebruiken.
Het model dat taal en beeld aan elkaar knoopt
De sleutel heet CLIP (Contrastive Language-Image Pre-training), ontwikkeld door OpenAI en beschreven in het paper “Learning Transferable Visual Models From Natural Language Supervision” (Radford et al., 2021). CLIP is getraind op ongeveer 400 miljoen afbeelding-bijschrift-paren van het open internet. Tijdens die training leert het model geen woordenboek, maar een geometrische ruimte: elke afbeelding en elke tekst wordt omgezet in een lange rij getallen, een “embedding”. Afbeeldingen en teksten die inhoudelijk bij elkaar horen, komen in die ruimte dicht bij elkaar te liggen.
Edwin: “Het makkelijkste beeld is een landkaart met duizenden dimensies in plaats van twee. ‘Vrolijk kind’ en een foto van een lachend kind liggen in die kaart dicht bij elkaar. ‘Regenachtige dag’ en een foto van een natte straat ook. Het model heeft nooit een definitie van ‘vrolijk’ gekregen - het heeft alleen miljoenen voorbeelden gezien waarin dat woord bij dat soort beelden hoorde.”
Waarom stijlbeschrijvingen werken zonder een naam te noemen
Deze eigenschap van CLIP-achtige modellen verklaart een concrete keuze die wij bij MijnEigenBoekje maken. In onze stijlopties gebruiken we bewust beschrijvingen als “klassieke 19e-eeuwse sprookjesboekillustraties” of “moderne kinderboekillustratie”, en nooit de naam van een specifieke levende illustrator of een bekende animatiestudio.
Dat is deels een veiligheidskeuze: platforms als OpenAI trainen veiligheidsfilters die scherp reageren op de combinatie van een specifieke kunstenaarsnaam met kindercontext. Maar het is ook een technische observatie. Omdat het internet vol staat met teksten die stijlen beschrijven in termen van tijdperk, techniek en traditie (“aquarel”, “negentiende-eeuws”, “handgetekende lijnvoering”), heeft het embedding-model die stijlconcepten net zo scherp leren herkennen als losse eigennamen. Een beschrijvende zin activeert vaak een even sterk, en soms breder toepasbaar, stijlcluster dan één naam zou doen.
Waar embeddings tegen hun grenzen aanlopen
Dit soort modellen is geen magie en zeker geen exacte wetenschap. Embeddings zijn statistische associaties, geen begrip in menselijke zin. Bij zeldzame combinaties - een stijlomschrijving die zelden samen met een bepaald onderwerp voorkomt in de trainingsdata - wordt de uitkomst instabieler en minder voorspelbaar.
Belangrijker nog: als je op zoek bent naar een exacte, pixel-voor-pixel-imitatie van het werk van één specifieke illustrator, zal geen CLIP-gestuurd systeem dat betrouwbaar leveren. Embeddings vangen de sfeer en de stijlfamilie, niet de precieze penseelvoering van een individu. Voor wie echt een replica van één kunstenaar zoekt, is een menselijke illustrator met dat specifieke portfolio de enige betrouwbare route, niet AI.
Het alternatief: finetunen in plaats van beschrijven
Er bestaat een andere technische aanpak dan wat wij doen. In plaats van te vertrouwen op de kennis die een model als CLIP al heeft over stijlen, kun je een klein extra model finetunen (technieken als DreamBooth of LoRA) op een handvol voorbeeldafbeeldingen van precies één gewenste stijl. Dat kan preciezer uitpakken voor die ene, smalle stijl, maar is ook trager, duurder per stijloptie, en minder flexibel als je - zoals wij - tientallen verschillende stijlen naast elkaar wilt aanbieden. Beide aanpakken hebben hun plek; wij kiezen voor beschrijvende prompts omdat we breedte en snelheid belangrijker vinden dan het exact klonen van één specifieke look. Onze uitleg van de volledige gpt-image-2-pipeline laat zien hoe die keuze zich verhoudt tot de rest van het generatieproces, inclusief hoe we karakterconsistentie over meerdere pagina’s bewaken.
Wat dit betekent voor het eindresultaat
Edwin, ook vader van twee: “Mijn kinderen letten niet op de exacte lijndikte van een illustratie. Ze reageren op de sfeer: is het warm, is het herkenbaar, voelt het als een echt prentenboek? Dat is precies het niveau waarop CLIP-achtige embeddings opereren - sfeer en stijlfamilie, niet microscopische precisie. Toevallig is dat ook het niveau waarop een kind een illustratie beoordeelt.”
Dat de foto die je uploadt vervolgens netjes en tijdelijk wordt verwerkt, is een aparte laag van de pipeline. Daarover lees je meer in onze uitleg over wat er met een geüploade foto van je kind gebeurt.
De wiskunde achter een AI-illustratie is onzichtbaar voor wie het boek openslaat. Maar de keuzes die daaruit voortkomen - beschrijvende stijltaal in plaats van een naam, snelheid boven exacte imitatie - bepalen wel degelijk hoe een pagina eruitziet. Techniek en smaak ontmoeten elkaar precies daar.