Als je afbeeldingen combineert ziet het er vaak niet heel realistisch uit. Meestal doordat het gebruikte licht niet goed bij elkaar past. De Neural Filter Harmonization moet dat probleem oplossen, maar hoe goed werkt dat?

Afbeeldingen combineren

Soms worden elementen uit verschillende foto’s gecombineerd om een artistiek of surrealistisch beeld te creëren. Ondanks de sterk verbeterde mogelijkheden om onderdelen in een foto te kunnen selecteren en met elkaar samen te voegen, zien samengestelde (of gecombineerde) afbeeldingen er toch nog vaak onrealistisch uit.

Wat maakt een gecombineerde afbeelding eigenlijk realistisch? Daar kunnen we heel wat tijd aan besteden, maar laten we dit terugbrengen tot een eenvoudige omschrijving: een samengestelde afbeelding is realistischer wanneer de kijker gelooft dat de samengestelde afbeelding in een keer is gefotografeerd. Oftewel, wanneer de kijker gelooft dat wat hij ziet in de werkelijkheid bestaat, heeft bestaan of zou kunnen bestaan. Je zou ook kunnen zeggen: wanneer de kijker niet meer ziet dat er sprake is van een combinatie van verschillende beelden.

Beelden samenvoegen

Om te kunnen testen of we goed foto's kunnen combineren nemen we twee foto's die we gemaakt hebben en gaan daarmee aan de slag.

Laten we maar eens kijken naar de combinatie van afb 1 en afb 2. Afb 1 heb ik ergens in een kasteel gemaakt, afb 2 bij ons in de studio. Wanneer ik deze combineer door afb 2 uit te knippen en te leggen op afb 1 dan krijg ik afb 3.

Nu is afb 2 niet heel zorgvuldig van een masker voorzien om ons model van de achtergrond vrij te maken, wat het moeilijker maakt om de samengestelde afbeelding als realistisch te ervaren, maar dit is dan ook slechts een testje, dus “who cares?”.

Het resultaat is matig te noemen. Het is meteen duidelijk dat het meisje niet in deze kamer is gefotografeerd en dat hier sprake is van een samengestelde afbeelding. We zien dit vooral omdat het licht en de kleur van het meisje niet overeenkomt met wat je zou verwachten van wat je zou zien wanneer ze echt in deze kamer zou hebben gestaan.

Een voorwaarde om een samengestelde afbeelding realistisch te maken is in ieder geval om ervoor te zorgen dat de lichtsterkte en de kleur van het licht tussen de afzonderlijke onderdelen overeen moeten komen met elkaar. Er zijn meer voorwaarden. Denk maar eens aan het perspectief van de opname, de richting van het licht en ga zo maar door. Maar in dit artikel focussen we ons vooral op de lichtsterkte en de kleur.

Neural Filters

In Photoshop is een Neural Filter een AI-gestuurde functie. Deze filters vind je onder Filter > Neural Filters. Ze bieden een aantal creatieve en corrigerende mogelijkheden die normaal veel tijd zouden kosten.

Een van deze filters heet Harmonization. Volgens Adobe past dit filter automatisch kleuren, toonwaarden, belichting, schaduwen en reflecties van één laag aan op een andere. Zo lijkt een toegevoegd object of onderwerp alsof het oorspronkelijk in de scène aanwezig was. Exact dat dus wat we nodig hebben om ons probleem op te lossen! Tenminste, als het goed werkt... Dit filter is op moment van schrijven nog alleen als Beta-versie beschikbaar, dus wellicht wordt het nog verder geoptimaliseerd, maar we kunnen natuurlijk al wel ervaren hoe belovend het is voor dit soort situaties.

Het probleem dat we willen oplossen is feitelijk hoe we een afbeelding naadloos in een andere kunnen laten inpassen zodat de kijker gelooft dat de scene echt zo bestond. De kleur en belichting moeten daarvoor net zo goed overeenkomen met de rest van de scène als de schaduwen, toonwaarden en ga zo maar door. We zijn benieuwd wat Harmonization voor ons kan betekenen!

We hebben eerder laten zien hoe dit handmatig kan worden aangepast, dat is best een werkje. Lees hiervoor het artikel "Layers laten kloppen". Maar nu we dit neural filter tot onze beschikking hebben gekregen is dat misschien niet meer nodig. We activeren daarom de Harmonization filter nadat we die gedownload hebben.

We moeten in het filter opgeven welke layer als de dominante laag moet worden beschouwd. In dit geval is dit afb 1 van de kamer. We willen immers dat dit als uitgangspunt wordt gebruikt voor de kleuren en het licht.

Het filter weet hiermee dat het de kleuren van het meisje moet aanpassen zodat ze beter in de kamer gaat passen. We krijgen daarvoor ook nog een aantal schuifregelaars waarmee het mogelijk is om naar eigen smaak de sterkte van de aanpassing door te laten voeren, of bijvoorbeeld zaken als kleurverzadiging en helderheid aan te passen. Deze gebruiken we bewust niet. We willen zien wat dit AI-filter automatisch voor ons kan regelen. Hierdoor hebben we nu afbeelding 4 gekregen.

De kleuren van het meisje zijn inderdaad aangepast naar de warmere tonen die in de kamer voorkomen zodat ze beter past bij de achtergrond. Maar nog steeds hebben we niet echt het gevoel dat het klopt. We kijken nog steeds naar een afbeelding waarvan het duidelijk is dat deze is samengesteld.

Het probleem

In deze achtergrondafbeelding is misschien het probleem dat het deel van het hemelbed dat zich heel dichtbij de camera bevond, met een flitser is verlicht. Dieper de kamer is wordt de kamer verlicht met omgevingslicht. Deze combinatie van lichtsoorten heeft de neural filter mogelijk niet herkend omdat recht achter het meisje de diepte van de kamer te zien is en dat dit waarschijnlijk gebruikt is. Maar het licht op het meisje had meer op dat van het hemelbed moeten lijken.

Laten we daarom als test even een andere achtergrond gebruiken. Een met meer hetzelfde soort licht. Afb 5 bevat als achtergrond het kasteel waarin zich de kamer bevindt. Deze foto is buiten genomen en is overal voorzien van hetzelfde licht.

We gebruiken opnieuw de Harmonization neural filter waardoor afb 6 ontstaat. Opnieuw zijn de kleuren van het meisje aangepast maar ook hier is het toch niet echt wat je zou verwachten. Natuurlijk, de schaduwen op haar lichaam komen vanuit een andere hoek dan die op het gebouw, en daar is niets van aangepast. Dat zou volgens ons ook teveel gevraagd zijn. Maar dat is het niet alleen. De kleuren zijn ook hier niet goed. Als we de foto zwart-wit maken zien we beter dat de sterkte van het licht, het contrast en de toonwaarden echt niet kloppen (zie afb 7).

Laatste poging dan, we gaan het de neural filter nog gemakkelijker maken. We gebruiken een achtergrond die dicht bij de kleuren, het contrast en de toonwaarden van ons model ligt (zie afb 8). We passen Harmonization toe (zie afb 9). Nu begint het inderdaad ergens op te lijken!

De conclusie

Wat de neural filter Harmonization blijkbaar doet is dat het zowel het ingevoegde element als de achtergrond bestudeert en de lichtrichting, kleurtemperatuur en materiaalreflectie probeert te herkennen. Vervolgens genereert het nieuwe beelddata door luminantie, kleur en schaduwen aan te passen.

Hoewel de huidige versie van dit filter je zeker op weg kan helpen, is het nog verre van perfect. Met name wanneer de onderdelen van de samengestelde afbeelding wat verder van elkaar vandaan liggen mag je nog geen heel goed resultaat verwachten. Je hebt al snel andere tools zoals Curves, Color Balance en Masking nodig om de afbeelding realistischer te maken.

Het valt ons op dat verschillende toonaangevende websites aangeven dat Harmonization nu al zorgt voor ‘indrukwekkende’ en ‘professionele’ resultaten, zelfs bij ‘complexe belichtingssituaties’. Met onze test hebben we dat nog niet kunnen bevestigen. Maar we zijn ervan overtuigd dat dit in de toekomst haalbaar moet kunnen zijn, zeker gezien de snelheid van ontwikkeling binnen AI op dit moment. Ook voor de testcases die we in dit artikel hebben gebruikt.