Steampunk en a.i. hebben niets met elkaar te maken. Maar je kunt het een wel testen met het ander. Want hoe bruikbaar is a.i. nu eigenlijk voor een wereld vol fantasie en waar wil of kun je het voor gebruiken?

Over A.I.

Er is al zoveel over kunstmatige intelligentie (Artificial Intelligence) geschreven dat wij meenden dat het tijd werd voor daden en geen woorden. We wilden een experiment opzetten waarin we met a.i. aan de slag zouden gaan. Een experiment om de grenzen van het hedendaagse a.i. te verkennen.

Het experiment

We wilden het begrip Artificial Intelligence zoals gedefinieerd door experts letterlijk als uitgangspunt van ons onderzoekje nemen: Artificial Intelligence refers to computer systems that can perform tasks commonly associated with human cognitive functions. Zou a.i. echt op ‘mensachtige’ wijze te werk gaan? Ons experiment bestond er dan ook uit om te onderzoeken of Generative Fill in Photoshop zijn werk zou doen zoals wij dat zouden doen.

Voorafgaande aan ons onderzoek waren de meningen hierover binnen Panthera Visual Media verdeeld. Maar na ons onderzoek waren we het allemaal over een aantal belangrijke zaken met elkaar eens. Laten we eens bekijken wat dat was.

We moesten natuurlijk wel een onderwerp hebben waarop we ons onderzoek zouden kunnen baseren. We zochten iets waarvoor je naast techniek ook fantasie nodig had en aanspraak moest doen op de creativiteit. Daarnaast moest er een zekere logica in zitten. Het moest geloofwaardige resultaten opleveren. En zo kwamen we uit op steampunk. Een wereld die niet bestaat maar wel realistische uitgangspunten kent.

Fantaseren op stoom

Steampunk is een onderdeel van de fascinerende wereld van de Fantasy. Zoals Fantasy verhalen meestal gaan over een ander universum waarin bijvoorbeeld een rol speelt, gaat ook voor steampunk op dat het niet over de aarde gaat.

Welke steampunkverhalen je dan ook leest, alles binnen steampunk wordt aangedreven door, zoals de naam al aangeeft, stoom. Binnen een steampunkwereld zijn de inwoners net zo ver met technologie als wij, maar het draait dus allemaal op stoom en niet zoals bij ons op elektriciteit. Je ziet dan ook veel mechanische technologie in steampunk terug.

Wij associëren stoom met vervolgen tijden en daardoor krijgt een steampunkwereld een interessante gecombineerde uitstraling van oud en modern. Ook in de kleding die figuranten dragen op festivals komt dit terug. Vaak herken je in de kleding elementen die geïnspireerd zijn op de Engelse en Franse mode van begin 1900. De outfits worden versierd met allerlei soorten mechanische elementen waarin vooral veel tandwielen worden getoond. Props, zoals wapens of voertuigen zien er ook heel mechanisch uit.

Iemand die fan is van steampunk, maakt daar vaak zelf kleding voor met toebehoren. Dit soort mensen worden ook weleens steamers genoemd. Steampunkkleding is echter ook gewoon te koop. Blijkbaar is daar heel wat vraag naar als je het aantal aanbieders van dit soort kleding op internet als maat neemt.

Steampunk vormt de ideale testcase voor ons experiment met kunstmatige intelligentie. Er bestaat geen echte steampunkwereld, maar we stellen ons er wel iets bij voor. Er is sprake van regels om geloofwaardig steampunk te kunnen zijn. Je moet aan een aantal voorwaarden voldoen. Mensen weten en herkennen dat. Maar zou a.i. dat ook doen?

Moderne technologie

Wij wilden dus experimenteren met kunstmatige intelligentie en onderzoeken of het wel voldoende ‘mensachtig’ kan handelen. Steampunk leek ons daarvoor een geweldig thema omdat dit van een hele andere wereld afkomstig is, veel verschillende elementen kent en we geen echte steampunkwereld kunnen fotograferen maar er toch wel iets geloofswaardigs in zien. Mogelijk kan a.i. ons helpen deze wereld te creëren. Maar zou a.i. dit ook doen zoals een mens dit zou doen? Wij gebruiken immers onze creativiteit en fantasie. Wij kunnen beoordelen of de verschillende elementen in context met elkaar kloppen. Zou a.i. op een vergelijkbaar resultaat kunnen komen met zijn mogelijkheden?

In Photoshop maakt het a.i.-deel (Generative fill) gebruik van heel veel afbeeldingen die het op de achtergrond razendsnel combineert. Om a.i. met onszelf te kunnen vergelijken, nemen we ons voor ook beelden te gebruiken die er al zijn om het werk aan te passen. Dat is een beperking, maar we moeten het spel wel eerlijk spelen.

Een van onze modellen had steampunk outfits en het leek ons leuk om haar daarin te fotograferen en de wereld waarin we haar zouden plaatsen met behulp van A.I. te creëren.

De resultaten

In afb 1 zie je hoe we ons model hebben uitgeknipt en op een groene ondergrond hebben geplaatst. Het idee was haar ergens naar te laten kijken dat langs komt vliegen. Bijvoorbeeld een steampunk zeppelin. We selecteren alles in het beeld behalve ons model (het groene deel dus) en stellen keer op keer vragen aan Photoshop om ons te voorzien van een omgeving waarin ons model zou komen te staan. De vragen lopen uiteen van “a fantasy world of steampunk” tot “steampunk environment”.

Afb 2 laat een van de in onze ogen beste resultaten zien. Met beste resultaat bedoelen we hier: het beste beantwoordend aan de vraag die we hebben gesteld. Maar zelfs hier (na misschien wel veertig afbeeldingen te hebben afgewezen) zien we een aantal storende zaken.

Ten eerste lijkt het alsof ons model in een tekening is geplaatst. Dat doet het niet goed want de steampunkwereld is een reële wereld. We verwachten daarom realistische objecten, geen getekende.

Het Photoshopwerk, zoals wij dat noemen, is daarnaast matig te noemen. Dan zien we ook dat de kleuren (het licht) dat op het model valt en het licht in de achtergrond niet met elkaar overeenkomen. We zien tevens dat er niets gedaan is met wat het model doet. Ze kijkt immers duidelijk ergens naar, maar a.i. heeft dat blijkbaar niet begrepen. Hij begrijpt niet wat er gebeurt en houdt dus geen rekening met de context. Mensen zouden dat wel doen. Met in het achterhoofd houdend dat we veel pogingen hebben ondernomen en dat dit het beste resultaat is, is dit toch een teleurstellend resultaat voor wat we nodig hebben.

Bij andere testen (in een geheel andere context) ging het overigens beter. Ongetwijfeld speelt hier een belangrijke rol bij dat we op zoek zijn naar steampunk-elementen. Oftewel, dingen die niet bestaan maar wel aan allerlei voorwaarden moeten voldoen. Je moet dus creatief te werk gaan. Daarvoor moet je de context begrijpen en snappen wat als realistisch wordt gezien. En blijkbaar heeft a.i. daar moeite mee.

Oke, dan maken we het a.i. gewoon een beetje gemakkelijker. We trekken een ovaal op het groene deel in de linkerbovenhoek waar ons model naar kijkt en vragen Photoshop of hij daar voor ons een ‘flying steampunk object’ wil plaatsen. Ook hier variëren we met onze vragen (‘steampunk zeppeling’, etc.) en geven we Photoshop heel vaak de kans om het nog eens te proberen, maar iets bruikbaars komt er niet uit. Dan weer lijkt het helemaal nergens op, dan is de richting niet goed gekozen, en ga zo maar door. Afb 3 is zeker niet een van de slechtste pogingen die Photoshop onderneemt om aan onze wensen te voldoen. Say no more…

Misschien ligt het wel aan de verhoudingen en het feit dat we de achtergrond hebben weggehaald. Wel iets wat je in Photoshop natuurlijk snel zult doen als je zelf een dergelijke afbeelding zou maken, maar oke, we gaan ervoor!

Afb 4 is onze nieuwe uitgangsfoto. Nu halen we de achtergrond niet weg. We selecteren ons model en stellen aan Photoshop een veel eenvoudigere vraag: “a steampunk forest”. We hebben zelf geen idee wat dat is, en zijn dus extra benieuwd waarmee Photoshop komt.

In afb 5 zien we dat ook hier na een aantal pogingen een getekende omgeving wordt aangeboden. Hoewel er nog wel wat op aan te merken is, zijn we hier toch een stuk contenter mee dan met de eerdere pogingen. Maar als we aan een collega dezelfde foto geven en vragen of hij daar iets mee wil doen uitgaande van bestaande afbeeldingen, dan komt hij met afb 6 terug.

We zullen je niet vermoeien met de redenering die hij opzette om ons uit te leggen waarom hij juist hiervoor gekozen heeft, maar je mag ervan uitgaan dat de afbeelding die hij ons gaf niet door toeval is ontstaan. Hij is bewust gaan zoeken naar bepaalde elementen en heeft die zorgvuldig samengebracht tot een geheel. Iets wat a.i. niet op deze wijze doet.

Dan wordt het tijd voor en heel ander soort vraag. We maken een foto (zie afb 7), selecteren de gehele foto en vragen aan Photoshop “Put her in fog”. Op een steampunkafbeelding zou je immers ook stoom willen zien, dus dat leek ons een heel logische vraag. Maar feitelijk gaat het hier om iets anders. We hebben de gehele foto immers geselecteerd en kijken of A.I. nu zelf begrijpt dat het over de persoon op de foto gaat (er staat nauwelijks iets anders op) en daarmee begrijpt wat de bedoeling is.

Photoshop meende dat hij aan onze vraag voldeed door afbeelding zoals afb 8 voor te stellen. Daar konden we natuurlijk helemaal niets mee. Het is duidelijk dat a.i. dergelijke vragen niet begrijpt en ook niet in staat is de originele foto te 'begrijpen'. Hij heeft stukken van afbeeldingen nodig om iets mee te doen. En 'mee te doen' betekent vooral 'om er iets bij te zoeken'. Hij is daardoor niet in staat om een afbeelding in zijn geheel te bewerken.

En dus gingen we terug naar de fotograaf en vroegen hem hoe hij dat zou doen. “Met een rookmachine”, zei hij. En hij maakte afb 9. Niks a.i., gewoon uit de camera. Thats all.

Om meer foto's te kunnen bekijken die we tijdens deze steampunk shoot hebben gemaakt, click je hier.

De rol van kunstmatige intelligentie

Of a.i. binnen de fotografie bruikbaar is of niet, leidt geen discussie. Ja, dat is het. En wij zien dit niet als bedreiging. Er zijn heel veel voorbeelden te geven waarin a.i. van onschatbare waarde is. Daar zijn wij het binnen Panthera Visual Media in ieder geval allemaal over eens. Maar waar we ook dezelfde mening over zijn toebedeeld is dat goed en authentiek werk geen toeval is. Het is bewust gemaakt werk. Aan a.i. overlaten hoe een foto wordt, past daar in onze ogen niet in.

Als a.i. helpt om gemakkelijker en/of sneller voor elkaar te krijgen wat je wil, dan is het een prachtig stuk gereedschap. Maar als a.i. de foto maakt en je kiest achteraf of je het daar mee eens bent, dan mag je jezelf volgens ons geen creator noemen. Je bent dan hooguit een beoordeler.

De toepasbaarheid

Wij wisten natuurlijk dat we met ons onderwerp de grenzen van de mogelijkheden van a.i. zouden bereiken. Voor een wereld van fantasie is voorstellingsvermogen nodig. Je moet kunnen denken in contexten. Je moet de geloofwaardigheid voor mensen kunnen toetsen en ga zo maar door.

Wellicht zal a.i. dat in de toekomst gewoon kunnen. Op dit moment is dat echter duidelijk nog niet het geval. Dat is ook wel een prettige gedachte: zelf aan het stuur zitten van wat er gemaakt wordt en daarmee uniek werk maken. Jij als uniek mens bent immers een belangrijk onderdeel in de totstandkoming van het werk.