Voice-over: Dit is Leaders in Finance. Een podcast waarin we op zoek gaan naar de mens achter het succes. We praten met leiders van nu en later over hun drijfveren, carrière en privéleven. Waarom? Omdat er meer gesproken moet worden in de financiële sector. We willen onze partners hartelijk bedanken voor hun steun. Dat zijn EY, MeDirect, Zanders, Kayak and Roland Berger. Je host is Jeroen Broekema.
Jeroen: Welkom bij een nieuwe aflevering van Leaders in Finance. Deze week een extra aflevering over de inzet van Gen AI in de financiële sector. Daarvoor heb ik een aantal hele interessante gasten hier bij mij aan tafel. Voordat ik hen zal introduceren wil ik allereerst de partners van Leaders in Finance bedanken voor hun steun. Dat zijn EY, Medirect, Zanders, Kayak en Roland Berger.
Dan nu over naar mijn gasten. Dat zijn Arjan de Ridder, Head Model Risk Management bij ING -welkom, leuk dat je er bent- Daniël Meel, Head of Innovation, Design and Change bij het onderdeel Detecting Financial Crime van ABN AMRO -leuk Daniël dat je er bent- verder Bas Marban, Partner bij Zanders -leuk dat je er ook bent- Cyprian Smits, Chief Global AI Officer bij Rabobank. And last but not least, Thomas Mons, Domain Lead, Gen AI bij Zanders. Yes, dankjewel.
Nou, voordat we in het onderwerp duiken, wil ik natuurlijk wel eerst even goed in kaart brengen wie er nou eigenlijk bij mij aan tafel zit. Ik heb net de introductie gedaan, alleen maar met de titel en de organisatie die jullie representeren maar ik zou het heel leuk vinden om eerst iets meer te horen over wat je precies doet binnen je organisatie, en misschien ook wel, als je dat eraan toe zou willen voegen, hoe je kijkt naar AI -heel algemeen, heel hoog over- Is het echt alles veranderend of is het toch ook wel een deel hype? Maar allereerst over jezelf. Misschien mag ik bij jou beginnen, Daniël. Iets meer achtergrond bij wie jij bent.
Daniël: Ja, natuurlijk kan dat. Ik ben dus hoofd Innovation, Design and Change binnen Detective Financial Crime. Dat is onze afdeling die met de KWC AML sanctierisico’s bezig is. De afgelopen vijf jaar hebben we vooral gekeken naar de risicokant, de processen. En wat je natuurlijk terug ziet in dit vakgebied is dat het om heel veel aantallen gaat. Om heel veel klanten, om heel veel transacties. Dus we zijn al van begin af aan toen met de data science kant druk bezig geweest. Vind ik zelf ook erg leuk. Twente gestudeerd, je kent een beetje zo’n achtergrond. En de andere manier van innoveren is natuurlijk samenwerken. Dus je hebt eigenlijk twee rollen: de ene kant is dat je meer gebruik maakt van nieuwe technologie en de ander meer van de samenwerking. Die rol is door de afgelopen vijf jaar heen natuurlijk flink veranderd. En ook technologie maakt daar een heel verschil. Nou zeker vier jaar geleden zijn we begonnen met dat wat we nu dan de traditionele AI zouden noemen, voor detectie, en in de detectiekant heb je natuurlijk met zoveel data te maken. En je wil -even gericht op medewerker, gericht op klant- je wil dat je daar het meest nuttige mee doet. Nou, dat is eigenlijk onze start geweest om meer gebruik te maken van AI, de traditionele AI. En de laatste tijd zie je natuurlijk met met Gen AI dat daar ook meer mogelijkheden zijn in wat je doet met de gegevens die je hebt en hoe je daar efficiënter mee om kan gaan? Dus ja, ik zie het als je het zo introduceert als een kans, als iets moois, als iets effectiefs, als risicomitigerend. Maar aan de andere kant, we weten dat het echt heel makkelijk is om gebruik te maken van deze algoritmes -ChatGPT heeft natuurlijk een gigantische korte doorlooptijd geweest totdat het geadopteerd werd overal- dat het ook gelijk een bedreiging is.
Jeroen: Wat je zegt over de kans een bedreiging, komen we zeker nog op terug. Maar nog even, zit er ook een hype element? Of zeg je nee, het is echt wel heel veranderend wat hier gaat gebeuren. Misschien samenleving breed of lager: financiële sector?
Daniël: Zeker, ik denk dat het nu overal op een hele korte termijn terugkomt. Dus daarom denk ik, ja, dat deel klinkt als een hype, maar het is ook niet meer weg te denken. Dus het is meer dan een hype. Ik denk dat het echt wel heel veel verandert. Vooral omdat het laagdremmelig toepasbaar is.
Jeroen: Dankjewel. Arjan, een hele korte introductie en ook jouw visie in één of twee zinnen van hype of alles veranderend. Maar eerst even over jouzelf.
Arjan:Nou, ik werk bij ING in Model Risk. Ik zit in de riskfunctie en mijn afdeling beoordeelt of die modellen die gemaakt worden, inclusief AI, zoals in het KYC-domein, of die nou precies doen wat ze horen te doen en of we daar niet per ongeluk fouten in maken, dingen vergeten of omissies hebben. Dat doen wij onder andere door validaties te doen van die modellen. En ik ben nu heel veel bezig om te kijken hoe we dat nou met GenAI moeten gaan doen want het is een volledig nieuw domein. En wat Daniël net al zei, het is af en toe best wel moeilijk. En het is gewoon een nieuwe technologie. Of het een hype is, je gaat eerst een hype in en daarna wordt iedereen enthousiast, maar gaat weer een beetje naar beneden. Maar uiteindelijk denk ik wel dat dit fundamenteel veranderend gaat zijn over hoe we als maatschappij met dingen omgaan. Ik vergelijk het soms met het internet, daar had je ook een dotcom-bubbel. Maar uiteindelijk zijn we met z’n allen van overtuigd dat het de wereld wel veranderd heeft. Ik denk dat Gen AI een vergelijkbare cyclus gaat volgen.
Jeroen:Helder. En nog één ding dat je hiervoor gedaan hebt, noem nog eens één of twee dingen, vind ik wel leuk om te weten.
Arjan: Ik heb heel veel met kredietrisico-modellen gewerkt, waar we analyses doen over de risico’s van onze klanten, of ze hun hypotheek wel of niet kunnen betalen en wat ons dat dan kost. Vanuit veel kapitaalberekeningen, dat is waar ik begonnen ben.
Jeroen: Cyprian, aan jou eigenlijk dezelfde vraag. Korte introductie over jezelf en misschien ook de vraag rondom hype of alles veranderend.
Cyprian: Chief Global AI Officer van Rabobank. Ik ben ervoor verantwoordelijk om AI op de juiste en verantwoordelijke manier te gebruiken binnen de bank. En dat is best een uitdaging, want het terrein groeit hard met vraagstukken over wat is nou verantwoordelijk gebruik van AI in services die we naar klanten hebben en ook binnen de bank gebruiken. Ik loop al even mee als het gaat om data science en alle voorlopers, meer dan twintig jaar. En eigenlijk, ja, mijn vak is sexy geworden in de loop van de tijd. Dus we wisten al heel lang dat we leuke dingen konden doen natuurlijk met data en computers. Maar we hebben en veel meer data en we hebben nu de computing power om die dingen te doen die echt mindblowing zijn, denk ik.
Zit er een hype element in? Zeker. Mijn buurman zei dat ook al even: als dat er weer af is, dan zal het toch blijken dat het een zeer veranderende technologie is met een disruptief karakter. Dat zal blijven. Maar je ziet nu wel een beetje: met een hamer wordt elk probleem een spijker. Oftewel, we hebben een probleem, zullen we het dus gaan oplossen met Gen AI? En dat is niet altijd de oplossing. Je moet je nog steeds afvragen of je data goed is en of dit probleem geschikt is om het generative AI op te pakken, enzovoort, enzovoort. Ik denk dat dat deel er wel afgaat in de komende jaren.
Jeroen: Waarom gaat het of lijkt het allemaal steeds sneller te gaan op dit moment? De afgelopen jaren? Je zegt het is nu sexy geworden maar we zijn er al heel lang mee bezig. Waarom gaat het nu sneller?
Cyprian: Nou, Daniël zei dat volgens mij ook al. Ik heb nog niet meegemaakt in mijn werkende leven dat een technologie zo snel, zo ver in productie kwam. Gen is zo makkelijk om te implementeren in je processen, dat is echt nieuw. Het is ook voor iedereen -ook als je geen achtergrond hebt in technologie of in data- bruikbaar. Dat maakt het denk ik een beetje een love baby onder de AI producten. En daardoor gaat het zo hard, en zo hard heb ik nog niet gezien.
Jeroen: Is er een bepaalde trigger aan te wijzen wat jou betreft waarom? Of komt het gewoon omdat het nu in het publieke domein terecht is? Of omdat de achtergrond eigenlijk altijd al hard ging?
Cyprian: Ik denk omdat het in één keer op je bureau terechtgekomen is. Het maken van een mail, het schrijven van een Sinterklaas gedicht. Het zijn allemaal hele normale, praktische dingen waar je tegenaan loopt, wat in één keer wordt weggenomen. En ik denk dat daardoor de massa heel groot is geworden. Dat is mijn vermoeden, dat het zo zit. En het is heel makkelijk: je klikt een website aan en je hebt het.
Jeroen: We weten wel nu hoe het komt dat jij zo 3, 4 december helemaal perfect voorbereid bent op Sinterklaas. Staat maar mooi op de band. Sebastiaan, aan jou ook de vragen, of Bas moet ik zeggen.
Sebastian: Ja, dus ik heb eigenlijk net als Arjan ook een achtergrond en een kredietrisico in de bancaire sector. Ik ben daar, en je ziet dat, daar was ik ook voornamelijk bezig met het maken van modellen. Op dat moment nog een sterk gereguleerde omgeving. En vervolgens ben ik ook net als Daniël begonnen binnen Financial Economic Crime Detection in dezelfde sector en daar ook bezig geweest met het model risk management. Dus eigenlijk: hoe manage je de risico’s rondom de modellen die je maakt. En daar zag je al dat dat soort modellen, omdat daar ook al veel meer met traditioneel AI gewerkt werd, dat die ontwikkelingen al veel sneller gingen. Waar dat risicomanagement eigenlijk ook al een beetje door onder druk kwam te staan. En ik vond het heel interessant om in dat speelveld eigenlijk bezig te zijn. Zowel het maken van modellen als hoe je dat doet op een gecontroleerde wijze. En nu zie je eigenlijk dat nu met die nieuwe modellen dat dat een hele mooie business case is voor de banken. Dat daar ook rondom, hoe doe je dat op een gecontroleerde wijze, dat dat nog meer onder druk komt te staan door die snelheid die Cyprian ook aangeeft.
En wij nu bij Zanders zijn in al die domeinen, dus kredietrisico, Financial Economic Crime Detection, en ook GenAI heel actief om ook onze klanten te adviseren: je wil die business case en de use case gebruiken, je wil daar het maximale uithalen, maar je wil wel dat wat je bouwt, wat je maakt, dat je dat op een verstandige manier doet, op een gecontroleerde wijze doet. Daar adviseren wij bij banken in.
En als ik dan even terug ga naar de hype, dus ik ben het in die zin volledig -dat is misschien een beetje saai- volledig met iedereen hier eens, dat ik denk dat het zeker meer dan een hype alleen is. Ik denk dat het onze wereld eigenlijk al veranderd heeft en dat ook gaat blijven doen.
Ik denk wel dat als je gaat kijken naar de snelheid waarmee dit gaat, dat we daar wellicht gaan zien dat dat misschien iets minder snel gaat als iedereen gedacht had. Dus dat er ook nog wel een stukje luchtkastelen in zitten. Maar ik verwacht er zeker nog steeds ook richting de toekomst heel veel van.
Jeroen: Helder. En even voor luisteraars die net als ik, nou ja, echt de basis educatie nodig hebben, AI en GenAI, wat is nou precies het verschil?
Sebastian: Met Gen AI wordt heel vaak verwezen naar meer die large language modellen. Dat zijn modellen die getraind zijn op hele grote datasets, dus die in staat zijn om eigenlijk taal heel goed na te bootsen. Het wordt heel vaak gebruikt voor het genereren van tekst. Dus eigenlijk dat Sinterklaas gedicht wat je net zei, dat is een heel goed voorbeeld. Dus als we het generatieve AI hebben, dan hebben we het vaak over de large language modellen, die grote taal modellen. AI wat traditioneler, dat is een beetje een wat bredere vraag, want er valt heel veel onder. Je zou bijna kunnen zeggen, bijna ieder model zou je als artificial intelligence kunnen bestempelen. Dat gaat heel erg inderdaad over het maken van modellen die in een vorm de realiteit nabootsen of een vereenvoudiging van de realiteit zijn, waar vaak ook een statistisch element in zit.
Jeroen: Ja, mooi dat er al meerdere mensen het hebben over traditionele AI, terwijl ik dat allemaal nog heel nieuw vind. Thomas, last but not least, zou jij ook jezelf verder willen introduceren?
Thomas: Yes, dankjewel. Inderdaad ook een achtergrond meer in de traditionele AI, waarin ik als data scientist veel gewerkt heb bij zorginstellingen. Die heel graag met de oude voorlopers van de large language models hun tekst verwerkt wilden hebben. En toen zagen we inderdaad bij Zanders dat dat opeens kon met Genia en dat er een ontzettende behoefte aan was binnen banken om daar op de juiste manier mee om te gaan. En daar ben ik als domeinlead eigenlijk meerdere banken betrokken geweest om daar te helpen met het goed inzetten van de Gen AI modellen binnen verschillende domeinen daar.
Jeroen: Even kijkend naar jou, Sebastian en jullie, wie de mic pakt, maar ik ben wel nieuwsgierig, want we hebben hier drie grote banken aan tafel. Als zij of andere partijen bij jullie komen, –want jullie hebben natuurlijk een heel groot voorrecht, je mag overal kijken wat er allemaal gebeurt in die instellingen- als zij nu met vragen komen, is het altijd duidelijk wat ze precies willen, of is het ook vaak “we willen iets met Gen AI, maar weten we niet wat.”
Thomas: Ik denk dat de use cases eigenlijk heel duidelijk zijn en ook heel evident. Daniël noemde er net al een aantal voorbeelden richting het Financial Economic Crime domein, waar gewoon heel veel tekstverwerking plaatsvindt en daarin gewoon de behoefte is om stukken te automatiseren. Ik denk eigenlijk dat het zoeken naar waar zou je het mooi zou kunnen inzetten, dat is niet zozeer de uitdaging waar men tegenaan loopt. Eerder: hoe kunnen we het ook nu zo goed maken dat we het volledig autonoom of met enige menselijke supervisie durven in te zetten op alle processen.
Jeroen: Ja, briljante brug voor mij. Dank je wel daarvoor, want de use case is precies waar ik naartoe wil, want ik ben vooral heel erg nieuwsgierig waar je dit nou allemaal kunt gaan inzetten. Je noemde er al een aantal, ik weet niet wie de mic pakt, die neemt het woord, maar kunnen we eens een rondje maken met plekken waar het al ingezet wordt of waar men aan denkt om het te gaan inzetten.
Daniël: Ik wil best wel even beginnen hier, ik maakte natuurlijk een beetje het onderscheid tussen traditionele AI en de Gen AI, want traditionele AI leent zich heel erg voor de detectiekant. Daar hebben we natuurlijk nu een aantal jaar ervaring in, dus dat is uit patronen halen. Dan heb je het over de balans tussen detectie, privacy, efficiency, dus de medewerker zoveel mogelijk nuttig werk kunnen laten doendoen, dat is uiteindelijk de clue daarvan. Vanuit risico dingen detecteren, vanuit efficiency ervoor zorgen dat je het meest nuttige werk doet.
Gen AI voegt daar eigenlijk een dimensie aan toe. Als je kijkt naar de use cases, zijn dat veel meer die large language modellen, het gaat veel meer over tekstgeneratie. Dus dat is vooral op het moment dat je met een dossier bezig bent, met vragen die je hebt aan een klant, met vragen die je beantwoord wil hebben uit documentatie die er is. Daar kun je, of uit de documentatie zelf, of uit transcripten, daar samenvattingen genereren, dan wel de vraag al laten beantwoorden.
Dat noemen ze vaak summarization, dus het samenvatten en daaruit de informatie halen, dat maakt het redelijk consistent, het zorgt ervoor dat het vrij snel kan, het verkleint ook het aantal hapmatige acties die je doet, maar een hele belangrijke, zeker in deze tijd nog met het risico wat er nog aan het gen AI natuurlijk zit -in de onbekendheid, transparantie, de data die je er zelf eigenlijk in stopt- dus dan is het wel belangrijk dat je die oplossingen wel met een human in the loop doet.
Jeroen: Ja precies, we komen straks nog even op die risico’s hoor, dat vind ik heel leuk om ook van je te horen, maar even nog die use case een klein beetje gestructureerd, je noemt detectie, dat is meer de traditionele kant, summarization is een belangrijke, nog een andere?
Daniël: Ja, nou ik denk dat summarization heel veel omvat, er zijn er veel meer, we zijn ook met best wel een aantal experimenten hier bezig, -wel leuk hoe dat binnen de bank georganiseerd is, maar daar komen we denk ik ook nog wel even op- maar als je kijkt naar waar het voor nuttig voor is in het domein waar ik zit, is het vooral het summarization stuk en het dus beantwoorden van de vragen die je beantwoord wil hebben. Heel vaak hebben wij een vraag, een verduidelingsvraag aan de klant, informatievraag of hebben we iets uit de documentatie nodig en dan kun je dat heel goed structureren op basis van al die informatie, zonder dat je daar zelf als mens aan het zoeken bent.
Jeroen: Ik ben wel nieuwsgierig naar, dan gaat het dus over alle informatie die je van één klant hebt of pakt die nou ook andere informatiebronnen?
Daniël: Nou ja, dat gaat natuurlijk over welke data gebruik je daarvoor en dat is wel een hele belangrijke, zeker in dit vakgebied, dat dat data is die, voornamelijk vanwege het doel, dus beschikbaar gesteld wordt en waar je dan vervolgens je informatie uithaalt, dat het betrouwbare data is die jou iets toevertrouwt.
Jeroen: Ja, maar dus zowel klantdata, maar ook andere databronnen die betrouwbaar zijn, maar niet alleen summarization op alles van één klant?
Daniël: Je gebruikt wat breder, maar wel binnen de lijntjes.
Jeroen: Helder, andere use cases en voorbeelden waar GenAI wordt ingezet, Arjan?
Arjan: Nou, ook bij ING zijn we nog veel aan het experimenteren en ik gebruik het woord doelbewust, omdat we nog met z’n allen echt aan het leren zijn, wat is nou goed genoeg? Los van het voorbeeld wat door Daniël genoemd wordt, zijn we ook echt wel in veel andere domeinen aan het kijken, met onder andere chatbots, hoe we interacteren met onze klanten. Er zijn heel veel mensen bij banken die klanten te woord staan, maar een chatbot met GenAI kan dat in principe ook heel goed en heel veel klanten vinden dat veel fijner dan in de wachtlijn te staan en een persoon te spreken. Sommige mensen vinden een persoon fijner, maar zelf doe ik dit het liefst om twaalf uur s’avonds.
Jeroen: En weten klanten het altijd, dat hij niet met een medewerker van jou spreekt?
Arjan: Op dit moment doen we dat nog wel, maar we zitten nog wel in de experimentele fase. Andere voorbeelden zijn in de kredietanalyse, het is een vergelijkbaar voorbeeld als in transaction monitoring of customer due diligence. Als je een grote klant gaat analyseren, ga je naar jaarafslagen kijken van honderden pagina’s en krantenartikels. Je hebt zo ontzettend veel informatie te verwerken, large language modellen zijn super goed om die informatie te verzamelen, zodat een persoon dat niet zelf hoeft te doen, maar het kan sneller, gecontroleerder, en mogelijk ook beter. Dus dat is een ander voorbeeld, maar we hebben best wel veel use cases waar we mee aan het experimenteren zijn. Ik was het niet helemaal eens met mijn collega daar, die zei dat het vooral goede use cases zijn, er zijn ook best wel veel mensen die met briljante ideeën komen, die gewoon helemaal niet gaan werken.
Jeroen: Heb je daar een voorbeeld van toevallig? Nu wordt het leuk. Of kan je die niet delen?
Arjan: Er zijn een paar voorbeelden van mensen die het een keertje experimenteel in ChatGPT hebben gedaan en dat was heel goed, en denken dat kan ik vaker gaan doen, maar dan kan je het niet op schaal doen. Uiteindelijk is het gewoon statistiek, je moet veel input hebben en je moet het vaker gaan gebruiken, dan is het nuttig. Als je dat voor een afdeling van twee personen wil gaan doen, en daar heb ik inderdaad een voorbeeld van, die wouden dus een dedicated use case gaan bouwen om van twee personen een halve FTE te gaan besparen. Mijn inschatting is dat het ongeveer 10 FTE kost om het te bouwen. Dat vind ik niet een hele zinvolle use case. Het kan wel, maar het is niet een hele goede business case.
Jeroen: En uit welke hoeken binnen de banken komen de meeste verzoeken om iets met de Gen AI te gaan doen? Heb je daar een beetje gevoel bij? Zit het inderdaad aan die kreditaanalyse kant of juist aan die financial crime kant?
Arjan: Als je het slim doet, gaat het voornamelijk om onderwerpen waar je veel tekst hebt, heel veel iets doet, dus frequentie. Want dan wordt het te moeite waard. Als je iets af en toe doet, is het niet te moeite waard.
Jeroen: Veel tekst en vaak doen, dat zijn de twee kernparameters?
Arjan: Dan zie je echt naar belangrijke processen van de bank, zoals kreditaanalyse, maar ook, we zijn aan het kijken naar financial markets, hoe je investeringen moet gaan doen, is het ook de markten, heel veel tekst uit de markten analyseren.
Jeroen: Ik kan me voorstellen dat het betalingsverkeer aan zich ook heel interessant is, omdat er zo onvoorstelbaar veel data doorheen gaat.
Arjan: Ja, daar zijn we niet heel actief mee bezig op dit moment, maar dat is ook veel meer getallen. En getallen is meer traditionele AI, transaction monitoring. Dus zeg maar traditioneel AI heb je het over getallen, Gen AI hebben het over tekst. Dat is overversimpeld, maar…
Jeroen: Nee, maar dat is heel fijn, daar hou ik wel van, dankjewel. Cyprian, wat zie jij allemaal voor use cases binnen jouw organisatie of breder?
Cyprian: Ja, nog even op de vorige spreker, ik denk dat traditionele machine learning of AI goed is in het vinden van een speld in een hooiberg. Daar zijn ze extreem goed in, en zeker als het gaat om getallen, dus transaction monitoring klinkt voor mij in de eerste aanleging als wel dominant van traditionele AI blijven. Generative AI, het woord generative bestaat eigenlijk uit, er wordt iets gecreëerd, er wordt tekst gemaakt, er wordt een plaatje gemaakt. Dat is ook anders dan in traditionele AI, waar je vooral duiding geeft aan wat er ligt. Ik zie ook wel veel use cases voor de medewerkers van de bank: het creëren van een powerpoint of een e-mail of andere efficiëntieslagen die je kan doen, daar wordt veel gedaan.
Maar ook het maken van software code, daar zie je grote use cases als het gaat om je laten helpen om eigenlijk een heel mooi gestandardiseerde taa, software code, om die te laten maken of je te laten helpen. Daar zijn veel use cases. En inderdaad, chatbots, naar buiten, naar klanten, daar komen we vast nog wel even op met de risico’s die daaraan vastkleven, maar ook naar binnen, een nieuwe wet of een nieuwe regelgeving waar je aan moet voldoen van 831 pagina’s en waar je vraag is, waar gaat het eigenlijk over en waar moet ik kijken om te weten? En dat soort advanced search, summarization, ik denk dat jij dat ook bedoelde, Daniël, dat komt heel vaak bij elkaar. En daar zie je dat toch wel veel gebeuren en dan bespaart het heel veel. Consistentie, dat gaf je al even aan, het kan zelfs beter zijn dan met de hand, dat klopt. Ik denk dat de variatie inderdaad wat lager ligt, dus het is wat voorspelbaarder wat voor kwaliteit daar dan uitkomt. Het is wel opletten geblazen en vooral op het gebied van de data die erin gaat.
Jeroen: Wat bedoel je precies met de variatie die lager ligt?
Cyprian: Het is niet helemaal zo dat Generative AI altijd hetzelfde antwoord geeft op dezelfde vraag, maar als we allebei hetzelfde document uploaden en zeggen, maak een samenvatting in het Engels van twee pagina’s, dan zit daar niet een hele grote variatie in. Terwijl als ik het vraag aan twee medewerkers, dan is de variatie groter.
Jeroen: Er zit een zekere mate van reproduceerbaarheid in.
Cyprian: Ja, en consistentie, daarmee wordt het controleerbaarder en dan kom je ook op schaal.
Jeroen: Ik kan me voorstellen dat toezichthouders dat ook prettig vinden?
Cyprian: Daar kun je het lang over hebben.
Jeroen: Dat komen we straks nog even op.
Voice-over: Dit is Leaders in Finance met Jeroen Broekema.
Jeroen: Ik ben wel benieuwd, jullie zien allerlei organisaties, Zanders, maar ook bij jullie zelf. Gebruiken jullie zelf eigenlijk internal Gen AI of mag ik daar niet naar vragen?
Sebastian: Daar mag je zeker naar vragen en daar zijn wij inderdaad ook heel erg druk mee. Om inderdaad eigenlijk, net als Cyprian al zei, zelf ook, -dus wij werken ook met heel veel documenten, wij maken heel veel powerpoints voor onze klanten- om daar inderdaad ook al gebruik te maken van deze technieken, om dat te versnellen en ook interne efficiëntieslagen te maken. Dat zit hem inderdaad zowel richting, ‘je moet steeds een CV maken die weer ook wat meer geënt is op de rol waar je bijvoorbeeld mensen aanbiedt’, tot ‘je wil een powerpoint maken en die moet je voor verschillende klanten, het gaat steeds om hetzelfde onderwerp, maar die moet je opnieuw maken met steeds weer een net iets nieuwere inslag,’ tot ook, ‘we hebben heel veel interne documenten, dus heel veel kennis beschikbaar, maar ga het maar eens vinden.’
Jeroen: En ook bij welke persoon misschien wel?
Sebastian: Ja, dus een wat geavanceerdere zoekfunctie, daar zijn wij ook intern heel erg druk mee, om dat inderdaad te gebruiken, in te zetten, en ook daar zelf onze eigen efficiëntieslag mee te behalen.
Jeroen: En als je zo, ik heb zitten meeschrijven met de heren hiervoor, wat er allemaal voor mogelijkheden zijn, mis je nog dingen? Zien jullie twee nog dingen waar je zegt, dat zien we ook nog wel?
Thomas: Een van de use cases die niet genoemd is hierin, is het automatisch labelen klassificeren van tekst. Dus ondanks dat dat eigenlijk meer een rol is voor traditionele AI, want je hebt een hele kleine input en je wil gewoon A of B weten, zijn die modellen op zoveel data getraind, dat ze daar eigenlijk heel laagdrempelig alsnog in kunnen generaliseren. Dus een use case die ik meer zie en nog niet heel veel terug zie komen, is inderdaad het bijvoorbeeld transacties klassificeren, is dit huur, is dit salaris, wat is het? Ook daarin zitten nog best wel kansen voor GenAI om daar op een hele laagdrempelige manier modellen op te kunnen bouwen.
Jeroen: Zou je daar een voorbeeld bij kunnen geven ook of niet? Hoe je dat concreet zou kunnen inzetten binnen een bank, wat je daar precies mee kan?
Thomas: Met transactie klassificatie kun je ook weer die kredietprofielen bouwen, kun je ook weer kijken naar, ook in de know your customer proces kun je daar gewoon best wel dingen mee. We hebben dit zelf in een project gedaan, maar dan niet binnen de financiële sector. Dus dit hebben we op reviews gedaan, dus online teksten, en dan wil je weten wat is de tendens van een klant over mij en dan wil je eigenlijk een paar onderwerpen eruit kunnen halen. Twee jaar terug kostte dat nog een pak aan data scientist en moest je een heel nieuw model trainen om specifiek een paar onderwerpen eruit te halen en daarop te leren. Nu is het met een weekje promptengineering ben je klaar en heb je een zeer solide model dat eigenlijk al 90% er is.
Jeroen: Mooi voorbeeld. Als ik dit zo allemaal aanhoor, het is super interessant. Bij elk punt zou ik wel tien follow-up vragen willen doen, maar ik wil eerst even hoog over aan jullie vragen: Is nou het grootste deel hiervan efficiëntie? Jij gebruikt het woord al eerder, Daniël. Of zit er ook echt veel nieuw businessmogelijkheden in? Het klinkt, even suggestief zijn, toch meer aan de efficiëntie kant nog te zitten: hoe kunnen we besparen, hoe kunnen we dingen sneller doen, makkelijker doen? Of zien jullie ook echt al nieuw business kansen?
Arjan: Er is nog een andere use case waar wij ook mee aan het experimenteren zijn, wat meer richting de marketing gaat. En dan creëer je een nieuwe manier om te interacteren met je klanten. Dus als wij bijvoorbeeld de marketing doen in het verleden, dan is de manier waarop je met een klant interacteert bij bijna alle Nederlandse klanten hetzelfde. Of je creëert een paar segmenten van zelfstandige klanten, bijvoorbeeled alleenstaande ouders. Nu kan het nu met hiermee volledig gaan personaliseren. Dus op basis van de informatie die wij over jou hebben, het profiel waar je woont, kan het veel persoonlijker, veel getargeter, veel meer gericht op wat je eigenlijk echt wil.
En al die spam, we hebben allemaal die nee-nee-stickers op de deur. Met de spam heb je dat ook. Het wordt gewoon persoonlijk. Dus het wordt gewoon gericht op wat jij eigenlijk echt behoefte aan zou kunnen hebben. Dat creëert wel echt hele nieuwe kansen en nieuwe businessmodellen voor banken, maar ook voor andere partijen.
Jeroen: Ja, het is een beetje dat ik me soms afvraag dat het volgens mij evident is aan de informatie die ik bij mijn bank aanlever, dat ik denk, waarom krijg ik niet een uitnodiging om een hypotheekgesprek te hebben of een AOV-gesprek of you name it. Bedoel je dat dat je veel getargeter kan?
Arjan: Dat is een goed voorbeeld inderdaad. Het is wel een hele lastige, want je moet ook heel oppassen welke informatie je voor welke doelleiden gebruikt.
Jeroen: De risico’s komen straks. Dit is puur wat allemaal zou kunnen.
Arjan: Het is niet heel makkelijk om te doen, maar dat is denk ik inderdaad, voor jouw voorbeelden. Daar heb je wat aan. Als ik met jouw voorbeeld kom: je hebt geen rijbewijs, wil je een autoleiding hebben? Ja, dat schiet niet zo op.
Jeroen: Dat is niet handig, nee.
Cyprian: Misschien om daar toch wel een beetje op aan te vullen, als ik mag. Het zal dominant op efficiëntie zitten, maar efficiëntie is ook korter in je proces naar de klant. Dat is ook efficiënt.
Dus het is niet alleen dat een bank daar, zegt: efficiëntie, mooi makkelijk, want dan wordt het goedkoper. Maar als je in plaats van in 10 dagen in 10 minuten een antwoord kan geven aan je klant, dan leidt dat ook tot heel veel klantvredenheid, in ieder geval klantwaardering. Dus het gaat altijd wel hand in hand. Maar het zal wel dominant zitten aan efficiënter en handiger en sneller. Ik denk dat traditionele AI zit over het algemeen wat meer op de duiding van informatie. Leidt dat op het nieuwe business? Dat is toch een interessante vraag. Ik weet niet of het echt verandert, want in wezen het voorbeeld wat je geeft is nog slimmere marketing. In die zin blijft een bank wel traditioneel een bank is mijn verwachting.
Jeroen: Ik vraag het natuurlijk ook een beetje vanuit meer disruptive partijen. Als er echt nieuwe dingen te doen zijn versus efficiëntie, is het misschien minder snel dat er concurrenten komen. Maar als het echt een nieuw business kan genereren, zouden er mogelijkerwijs ook disruptors komen voor de banken.
Daniël: Je komt hier denk ik heel snel richting de risico’s en de gezonde terughoudendheid, nu waarvoor je iets inzet. Ik denk dat er echt nog best wel een aantal fases komen. Ik denk dat we nu allemaal in eerste instantie vooral kijken naar de veilige use cases, om maar even zo tussen aanleidingstekens te zeggen. En dat zijn toch met name het doen wat we nu doen, maar dan efficiënter. Daardoor kun je inderdaad doorlooptijden verkorten. Daardoor kun je consistenter zijn. Daardoor kun je informatie beter extraheren vanuit de documentatie die je al hebt. Dat is allemaal in het belang van de klant. Dat wil ik toch even blijven benadrukken. Dat is allemaal in het belang van de klant. In het belang van ook de afwegingen rondom privacy en ethiek. De vervolgstappen als dit verder gaat.
En we weten, we zijn wat comfortabeler -en dan moet ik niet zeggen als bank, maar misschien als maatschappij- wat comfortabeler bij de inzet van dit soort algoritmes. En we zijn er wat meer aan gewend. En dat is niet alleen een gewenning. Dat is ook die risicomitigatie waar we het over gaan hebben.
Jeroen: Laten we nu maar die kant op gaan. No way back.
Daniël: Nee, ik denk het niet. Want het ligt inderdaad heel erg in elkaars verlengde. Maar dan kom je naar ander type use cases op een gegeven moment. En ik denk dat dat een hele belangrijke is. Om ook eerst die ervaring op te doen. Dat comfort, die human in the loop houden. Het is een menselijke aangelegenheid. Bankieren is ook mensenwerk in de kern. Vervolgens ga je toe naar die meer personificatie, en dan ga je waarschijnlijk ook ander type algoritmes, of misschien niet ander type algoritmes. Maar je gaat veel meer kijken naar andere type use cases. En dan kom je misschien in de use cases die net genoemd werden. en misschien kunnen we dan nog wel verder. En dan krijg je meer disruptieve partijen.
Jeroen: Ja, want krijg jij intern ook voorstellen op jouw bord waarvan je denkt, ja, maar dit gaat echt veel te ver. Dit kunnen we gewoon nog niet doen, om welke reden dan ook. Of omdat je zelf vindt dat het niet kan, of door toezichthouder, of andere redenen.
Daniël: Als je kijkt bij in elk geval onze bank, maar ik denk ook bij de anderen, mijn collega’s zullen daar wel op reageren. Dat is, we hebben een mooie innovatie club binnen de bank. Die natuurlijk heel graag laat zien wat het allemaal kan. We zijn in de IT kant ook bezig om te kijken hoe kunnen we het goed in productie brengen. En ondertussen zijn we bezig op veel plekken met het wat Arjan noemde ‘experimenteren.’ Ik vind dat een mooi woord hiervoor. Want dat is het eigenlijk nog vooral. En op het moment dat je met die experimenten bezig bent dan ga je zien wat er uitkomt. wat de valkuilen zijn. En ik denk dat we ook heel erg nog in die fase verkeren op dit moment. En dan is jouw vraag mooi, want dan wordt dus de oproep gedaan naar ‘Wat zijn use cases?’ Nou dan krijg je use cases inderdaad die gewoon te klein zijn, waar de investering eigenlijk groter is dan de benefits. Nou dat is meer op efficiëntie. Maar je krijgt ook use cases waarvan ik denk ‘Oja dat is nog te ver.’ En als je mij persoonlijk vraagt dan is die human in the loop voor mij op dit moment wel echt een voorwaarde.
Jeroen: Ja en kan je dat concreter maken, wat human in the loop betekent. Want je maakt een model, hoe hou je de human in the loop?
Daniël: Ja dus dat betekent dus op het moment dat wij prefillen, van dit zouden de antwoorden zijn op basis van de documentatie, het transcript, beleid, of wat dan ook. Dat er altijd een mens. dat en liever zelfs nog, en dat klinkt misschien een beetje ouderwets, copy pasten naar het systeem toe. Omdat je dan zelf echt geconcentreerd nog bent op: is dit mijn vraag antwoord? Is dit mijn beoordeling hiervan. Omdat ik nog wel wil dat we daar echt nog heel bewust over nadenken. En zeker omdat de gebruiker het systeem ook traint. Dus die moet ook teruggeven. Wat het verschil is met de output van het, in dit geval LNM model. En zo gaan we er comfortabeler bij worden. Van leren en weten waar de valkenhuiden zitten. Om het daarna misschien toch iets autonomer te gaan doen. Maar daar zijn we nog niet.
Jeroen: Maar stel je hebt een heel complex aan bedrijven. Je moet daar de hele KYC beoordeling op doen, en misschien ook nog wat transactiemonitoring, als de klant er al langer zit. En al die data wordt in die modellen gegooid, en er komen wat dingen uit, en wil je eigenlijk nog steeds alles kunnen checken. Of het allemaal klopt. Je gebruikt het meer als een soort van basismateriaal. Moet ik het zo zien.
Daniël: Op dit moment zie ik dat echt zo. Zoals jij het nu schetst. Dus het is basismateriaal op dit moment. En natuurlijk is het daarmee efficiency, want je hoeft een aantal dingen niet meer te doen. Maar ik wil nog wel dat de interpretatie ervan nog door een mens gebeurt. Ook omdat het systeem ook lerend is. En je wil ook die inputs. Want output input combinatie zijn nu ook interessant. Die inputs moeten ook echt nog wel beter worden.
Jeroen: Als je er echt maar één mag kiezen. Wat is nu op dit moment het grootste risico. Vanuit jouw perspectief. Met de inzet van GenAI binnen jouw bank.
Daniël: Je kunt de technische kant op gaan.
Jeroen: Je mag er maar één kiezen Daniël.
Daniël: Ik mag er maar één kiezen ja. Ik denk dat het grootste risico van mij betreft. Volgens mij noemen we dat. Maar ik kijk ook even naar de heren hier. Maar meer promptingstuk: welke vraag stel je, hoe stel je je vraag om ervoor te zorgen dat je het antwoord krijgt. Wat je hoopt dat je krijgt.
Jeroen: Omdat je anders verkeerde antwoorden krijgt.
Daniël: Omdat je waarschijnlijk de andere antwoorden krijgt die niet matchen met de vraag die je gesteld hebt. Dat vind ik op dit moment als we het even hebben over alle inkaderingen van dien. Stellen we de juiste vraag voor het antwoord dat je verwacht.
Jeroen: Dat is onvermijdelijk. We gingen de risicokant op. Een ontzettend belangrijk onderwerp. Arjan, wat zie jij als de grootste risico’s bij de inzet van GenAI.
Arjan: Ik maak me op de korte termijn het meeste zorgen over het kennisniveau van het gemiddelde mensen die ermee gaan werken. Zowel degene die het bouwen, implementeren, aar ook zeker de gebruikers. Want je moet zoals Daniëls zegt, inderdaad nog die human in the loop hebben die het beoordeelt. Ik ben iets sceptischer over de copy-paste oplossing want ik denk dat op een gegeven moment als het 9 keer goed is, dat ze de 10e keer het niet meer lezen. Maar daar maak ik het meeste zorgen over.Mensen moeten kritisch blijven nadenken voorlopig. En ik maak me het meeste zorgen dat veel mensen dat heel snel gaan laten varen. Omdat ze niet genoeg de risico’s snappen.
Jeroen: Is het dan het kennisniveau of de bereidheid om het te challengen.
Arjan: Het zal een combinatie zijn. Want je moet het kennisniveau hebben om te begrijpen waar het fout kan gaan, en daar ervaring mee hebben. Hoe die dynamiek van het large language model werkt wat er fout überhaupt kan gaan.
Jeroen: En is het kennisniveau dan toch trainingen doen of moeten mensen juist zelf ermee gaan werken.
Arjan: Het is alle twee. Met alleen trainingen kom je er niet en als je mensen gewoon laat hobbyisten en ermee laat werken is het niet genoeg. Het gaat vaak over de outlier gevallen, de rare gevallen waar het echt fout gaat. In zo’n chatbot gaat het honderdduizend keer goed. Maar die ene keer geeft die chatbot een productadvies wat je niet wil hebben. Het is een op de honderdduizend en dan geeft die productadvies richting een klant die dan een investeringsbeslissing gaat maken. Dan word je als bank toch wel op aangesproken.
Jeroen: De chatbot kan ook wel dingen zoals dit afgeven. Waarvan je denkt ‘is dit waar we echt voor staan.’
Arjan: Maar die klant moet dus ook blijven nadenken. If something sounds too good to be true, it usually is. Daar maak ik het meeste zorgen over. Los van alle voor de hand liggende risico’s.
Jeroen: Wat doen jullie er allemaal aan om het kennisniveau omhoog te krijgen?
Arjan: We zijn veel met trainingen bezig. Experimenteren inderdaad. Kleinschalig, stapje voor stapje voor stapje voor stapje. Niet gewoon Big Bang. Wat heel veel andere bedrijven wel eens hebben gedaan, zoals ook Google zelf, die ook wel eens de fout in gegaan is. Dat willen wij gewoon voorkomen, dat we grootschalig te fout in gaan. Dus veel trainingen. Veel experimenteren.Veel proberen. En gewoon terugkijken: wat ging er nou goed, wat ging er nou niet goed.
Jeroen: Dus jullie zorgen ook met tegenwoordig hele grote organisaties dat er wat mensen zijn die er toch wel heel veel vanaf weten. En ook gewoon private tools gaan gebruiken, zonder dat jullie het weten, om maar data in te gooien. Het is natuurlijk wel leuk om even te testen.
Arjan: Ja dat is zeker een zorg.
Jeroen: Fijn dat hij bij jou komt. De anderen zijn heel blij dat die vraag bij jou ligt. Ik kan het aan iedereen stellen hoor.
Arjan: Ja dat is zeker een zorg. Ik denk dat alle banken dat wel gedaan hebben. Een aantal van die varianten dicht gegooid dat je daar niet makkelijk toegang tot hebt. Maar als je het echt wil, ja dan kan het wel. Dat is wel heel moeilijk. We hebben wel een aantal detectie mechanismes om te zien of mensen dat niet stiekem toch doen. Maar het is heel duidelijk.
Jeroen: Dit is een no go.
Arjan: Het is heel ontzettend gecommuniceerd. Die websites kan je echt niet bij. Maar als je het echt toch wil doen is het bijna niet dicht te timmeren. Dat mensen rare dingen doen, en je ziet gewoon dat er mensen zijn die hele leuke ideeën hebben maar dan vervolgens toch nog steeds hele domme dingen doen en persoonlijke informatie in die chatbot gooien. Je moet ook geen persoonlijke klantinformatie in Google Translate zetten. Dat is ook al tien jaar het geval. Maar ja, er zijn nog steeds mensen die dat wel doen.
Jeroen: Nee en de verleiding is begrijpelijk. Verus het allemaal gaan zitten vertalen en overtypen en weet ik veel.
Cyprian: Het gaat misschien niet alleen om de verleiding, het gaat er dus ook om dat het heel lastig is om dit soort logische dinge als van geen klantdata naar buiten. Dat mensen, medewerkers, soms gewoon niet doorhebben dat dat betekent dat wat ze nu doe dat dat dus die klantdata naar buiten gaat. En dat moet je dan dus dicht zetten. Maar je kan moeilijk zeggen ‘er mag niet meer vertaald worden in de bank.’ Zo werkt het dus ook niet. En dat is die educatie kant, dus die maturity levels, het opleidingsniveau, of de kennis hiervan. Dat is uiteindelijk je enige middel om dit goed in te dammen. Technisch kan je een hoop doen, maar niet helemaal dicht zetten.
Jeroen: Maar ik kan me wel voorstellen. Dat jullie raden van bestuur wel heel erg hierachter staan om die kennisniveau zo hoog te zetten. Dat jullie niet veel hoeven te doen om budgetten hiervoor te krijgen. Of valt dat tegen?
Cyprian: Er wordt enorm geïnvesteerd. In het kennisniveau van medewerkers, van management. Dat klopt. Maar ook als je enorm investeert. Zal dat een tijd nodig hebben voordat dat op niveau is. Dat is gewoon wel een feit. Ik denk wel dat in de risico’s. Je hebt heel veel oorzaak van risico’s. Maar uiteindelijk is het risico -ik denk dat dat ook al gememoreerd is- dat je komt met een verkeerd antwoord, om het maar zo maar te zeggen. Of dat nou een advies of een beslissing is. En eigenlijk doe je alles om dat te voorkomen. Ik weet niet of de oorzaak, dat zit soms in de technologie die je gebruikt of de data die je erin voert. De data vind ik wel heel bijzonder. Want we zijn als bank, al heel lang gaan we om met gestructureerde data. Dat is gewoon echt klantdossiers en getallen, ook transactiedata, is heel erg gestructureerd. Maar generatieve AI slikt ongestructureerde data in, een document van duizend pagina’s. En we weten eigenlijk. Dan ga je denken; hoe controleer ik nou of die bron goed is? Dat wordt een heel ingewikkelde vraag. Ik denk dat daar voor ons nog een heel nieuw terrein ligt.
Jeroen: Is dat een van jouw grootste risico’s? Wat voor data gaat erin?
Cyprian: Ik zag, dat was buiten de financiële sector, maar op nu.nl. Een Duitse journalist, ik weet niet of jullie het gelezen hebben, die al tien jaar lang schreef over kindermisbruik, en dat soort zaken. Die vroeg een ChatGPT: Zeg wat over mijzelf als journalist. En ChatGPT kwam met: u bent de veroordeelde misdadiger op het gebied van kindermisbruik, etcetera. Wat natuurlijk niet waar was. Maar hier zie je wat statistisch gebeurt. Die naam van de journalist. Is onder honderden artikelen verschenen die hierover gingen. En dat werd door de machine aan elkaar gekoppeld, fout. Dat soort dingen, dat maakt mij dan heel bezorgd. Je moet wel snappen dat het zo werkt om te kunnen voorkomen dat je de verkeerde dingen gaat doen.
Jeroen: Hoe manage je dat binnen een bank? Werken bij jou ook gewoon 40, 50 duizend mensen?
Cyprian: Gelukkig zijn we gewend risico’s te managen. Als banken. Dat merk je ook wel aan mijn collega’s. Zodra het over risico’s gaat dan zijn we super scherp. Een bank is het management van risico, zeker. Dus gelukkig zijn we daar ook goed op ingericht. Dus ik ben daar niet negatief over. Maar dat betekent wel dat je je ogen hier heel goed voor open moet houden. Oké. Dus ongestructureerde data is voortaan ook data die op dezelfde manier kwalitatief gemanagd moet worden als gestructureerde data. Gelukkig weten we hoe dat moet.
Sebastian: Dat linkt misschien wel een beetje aan wat ook al eerder werd gezegd, die vraag rondom de efficiëntie, en zijn er misschien wat radicalere business case of use cases. Ik denk dat de banken bewust een keuze maken om ook wel intern eerst die modellen te gebruiken, te bouwen. Omdat je daar iets meer controle hebt, ook over de risico’s. En je wil inderdaad ten opzichte van alle tijden voorkomen dat het je klanten raakt, dat het daarom draait. En ik denk dat naast het goed meten en testen van die modellen dat je ook bepaalde controle mechanismes op zijn plek gaat zetten. Zoals die human in the loop. Bijvoorbeeld die gewoon voorkomt, in die zin, dat als er iets geks gebeurt, dat dat direct je klanten raakt of je in een positie brengt waardoor je niet meer compliant bent met de regelgeving. En ik denk dat dat ten alle tijden, dus het is enerzijds denk ik inderdaad controle mechanismes, anderzijds ook de use cases, in die zin beperken op het intern gebruik, of veelal intern gebruik, om gewoon te leren die modellen te maken. En ook dat risicomanagement daar omheen verder op te bouwen. En ook daarvan te leren. Want wat je ziet is ook daar weer. Als je naar wat traditionele risicomanagement kijkt. Er werden modellen gemaakt die soms 2, 3 jaar, en dan had je 2, 3 jaar de tijd om een model te maken: wat grotere modellen. Dus je had ook op zich maanden de tijd om die modellen goed te testen voordat ze ook echt actief gebruikt werden. En tegenwoordig zie je dat dat veel sneller gaat waardoor je ook slimmer moet nadenken van hoe beheersen we die risico’s? Vaak dus met controle mechanismes, met pilot cases, die je langzaam gaat uitbreiden. En langzaam dan pas op het moment dat je je comfortabel voelt naar klanten toe gaat brengen.
Jeroen: En je moet je dus comfortabel voelen zelf. De klanten moeten er comfortabel mee zijn. Wat eerder ook al werd beschreven. En dan hebben we natuurlijk ook nog met toezicht te maken. Wat vanuit allerlei hoeken komt. Want vanuit waar jij zit, Daniël heb je natuurlijk de WWFT waar allerlei zaken spelen. Je hebt de AI Act vanuit Europa. Je hebt natuurlijk allemaal privacy regels. Dat is ook echt een mijnenveld. Of zeg ik dat niet goed?
Daniël: Ik weet niet of het een mijnenveld is. Maar de AI Act op zichzelf is natuurlijk nog wel ontwikkeld in een tijd dat met name traditional AI bezig was. Gen AI kan er ook prima op toegepast worden. Alleen dan kom je in die, je hebt vier buckets, dan kom je met name in die beperkt no-risico, die twee en drie ongeveer terecht. Maar de vraag is dan: de uitgangspunten zijn denk ik hetzelfde, je wil transparant zijn, goed databeheer doen, maar de invulling daarvan verandert behoorlijk. En ik denk ook wel dat dat is, wat je hierdoor steeds meer gaat zien. Het is nu nog wat, soms een beetje ongebreideld. Van hoe werkt dit nou precies. Maar als je de stap maakt, dat is denk ik ook wat we zien binnen het data science stuk, de technische component had altijd enorm de overhand. Maar je ziet door die gen AI kant dat het steeds meer de niet technische kant wordt waarover gesproken wordt en ik denk dat dat nu ook meer bewogen wordt. Dat gaat om de ethische kant. De mogelijke vormen van ongewenste discriminatie. De privacy kant. Super belangrijk. Dat we dat stuk dus ook steeds meer gaan begrijpen in het gen AI stuk. Omdat dus wat net genoemd wordt natuurlijk, die ontwikkeling van het gemak waarin je de AI modellen kan gebruiken voor verschillende toepassingen die ontwikkeltijd, die trainingstijd. Daar had je de technische skills vooral voor nodig. Ging je een model trainen, ging je kijken met backtesting wat er gebeurde. Met gen AI is die doorlooptijd inderdaad fors verkleind. En zit iedereen in vooral ook eigen omgeving, ABN AMRO. Chat GPT, dat zijn allemaal topontwikkelingen. Maar het kan dus zo laagdrempelig, zo snel. Dat de meeste vragen veel meer gaan over: wat is dan de use case, Hoe zorg je ervoor dat dat transparant, veilig, netjes enzovoort gebeurt. Dus die expertise wordt steeds belangrijker. En ik denk dat we daar ook in organisaties gaan zien dat de beweging van technisch naar niet technisch steeds meer wordt.
Thomas: Daarnaast denk ik ook dat naast dat de ontwikkeltijd veel korter is, is het wel heel moeilijk om te evalueren hoe het werkt. Je noemt het net al een TM-model backtestje. En dan kijk je hoe deed hij het op mijn oude signalen en doet hij het net zo goed. En als data scientist ben je inderdaad gewend om gewoon getallen eruit te krijgen en daar kun je een mooi rapport over maken. En daar inderdaad dan ook een toezichthouder vindt daar wat van en is tevreden of niet. En dat is met gegenereerde tekst gewoon heel veel moeilijker. Daarin moet nog een soort extra vertaalslag gemaakt worden.We hadden het net over als we twee mensen een samenvatting laten schrijven. Dan krijg je twee totaal verschillende samenvattingen. En dan heeft de AI een derde soort samenvatting gemaakt. En wat is juist? En wat is compleet? Wat is goed? En daarin inderdaad dan op een goede manier de mogelijke biases en andere discriminatie risico’s bijvoorbeeld ook vatten van zo’n gegenereerde tekst is denk ik zowel op toezicht een heel moeilijk risico, als ook gewoon in het geheel. Heel moeilijk om daarin zekerheid te creëren over je modellen.
Voice-over: Je luistert naar Leaders in Finance met Jeroen Broekema.
Jeroen: En dan nog even terug op specifieke toezichten. Want ik ben zo nieuwsgierig. Ik heb ook bij een groot bank gewerkt en dat ging om veel minder complexe dingen. Maar als we iets nieuws wilden dan moest het even langs de legal afdeling. Hoe gaat het dit? Als er een nieuw model gebouwd wordt, gaat dat ook even langs de legal afdeling?
Arjan: Onze legal afdeling is wel vrij intensief betrokken bij een aantal van deze aspecten inderdaad. Zowel bij de selectie van de vendor, gebruik je Microsoft, Google of iets anders. En alle contractuele aspecten die erin zitten, vanuit regelgeving.
Jeroen: Maar dan krijgt u uw lijst met risico’s terug. Want er zitten ongetwijfeld heel veel legal risico’s. En waar komt dan die decision making tot stand? Is het dan bij jou of komt het nog veel hoger in de organisatie?
Arjan: Tegenwoordig hebben wij daar een Genitive AI committee voor. Die hebben we een half jaar geleden denk ik opgezet. Daar zit ik inderdaad ook in. Daar proberen we dit soort dingen te bespreken. Om dat bij elkaar te brengen. Maar het is ook niet alleen legal. Het is inderdaad ook persoonsgegevens. Er zijn gewoon meerdere partijen betrokken. En het zijn gewoon nieuwe aspecten, nieuwe risico’s die je moet gaan beoordelen.Je gebruikt heel veel third party software. Wij hebben niet zelf een nieuwe large language model gebouwd vanaf scratch. Je koopt ook een Google Gemini, een OpenAI of weet ik wat je zou willen kiezen. Maar je bent wel ineens helemaal afhankelijk van een derde partij. Daar moet je ook wel over nadenken. Wat voor risico’s daarbij zitten. Hoe zij met jouw informatie omgaan. En hoe kunnen wij nou beoordelen dat ChatGPT überhaupt wel goed werkt.
Jeroen: En hoe afhankelijk word je van ze? Want op een bepaald moment kan ik me voorstellen als jij de basis van je huis gebouwd hebt met één partij, ga dan maar eens overstappen. Dat geldt heel veel dingen in de privé sfeer ook, v oordat je alles gaat omgooien.Recent bij ons bedrijf hebben we alles van de ene cloud provider naar de andere gebracht. Dat was minischaal, dat was al een mega gedoe. Laat staan als je het op een bankair niveau gaat doen. Dat is een gigantische operatie. En dat doe je niet zo. Maar er zit een redelijke… Ik geloof dat de term vendorlock dan graag gebruikt wordt. Maar dat krijg je wel of niet?
Arjan: Ja, maar op zich is dat natuurlijk ook niks nieuws. We gebruiken natuurlijk ook al onze cloud software. We gebruiken een heleboel andere systemen. Dus het is niet een nieuw risico. Het is alleen een nieuwe manifestatie en een nieuw voorbeeld. En op dit moment is Gen AI eigenlijk nog niet zo grootschalig dat het ons grootste zorg is.
Jeroen: Maar je investeert er nog wel meer in misschien met zo’n partij als basis.
Arjan: Ja, ik denk dat het het slimste zou zijn om met twee van die partijen te werken. Maar dan zit de uitdaging weer dat je ook die hele 2IT infrastructuur in de lucht moet houden.
Jeroen: Dan wordt het niet efficiënte.
Arjan: Daar wordt het niet efficiënter van.
Jeroen: Bas, jij wilde iets zeggen volgens mij of niet?
Sebastian: Inderdaad, met die vendorpartijen, dat is gewoon ook weer onderdeel van het risicomanagement, het controle raamwerk, daar goede afspraken mee maken. En inderdaad voorkomen dat je in zo’n vendorlock terecht komt, maar ook wel met zo’n partij het gesprek voeren, van wat is nou de kwaliteitsstandaard die we van jullie verwachten? Hoe testen jullie dat zelf? Dat begrijpen ook, ik denk dat dat ook is. We hadden het net over de toezichthouder. Wat gewoon in die zin van toezichthouder altijd belangrijk is. Heb je zelf controle over je processen en wat je aan het doen bent? En dat geldt zowel intern over je modellen en hoe die gebruikt worden, daar speelt educatie een hele belangrijke rol in. Maar dat geldt ook richting die grotere afhankelijkheid van de grote Microsoft’s en Google’s van deze wereld. Die eigenlijk het foundation raamwerk van die GenAI modellen bouwen.
Jeroen: Je kan niet zonder ze toch?
Sebastian: Je kan niet zonder ze, nee.
Jeroen: Of kan je niet helemaal zelf proprietary spullen gaan maken?
Sebastian: Nee, nee, nee. Dus er zijn wel open oversource pakketten beschikbaar. Die zou je kunnen gebruiken. Die komen langzaam ook op het niveau van de Microsoft’s gelukkig. Dus daar zit wel ruimte en daar zit die afhankelijkheid minder. Maar dan nog steeds moet je inderdaad kiezen welke gaat het worden. Er zijn er meerdere in de markt. Maar uiteindelijk draait het allemaal om het gecontroleerd gebruiken. Het begrijpen wat je aan het doen bent. En ik denk dat dat ook richting een toezichthouder het allerbelangrijkste is.
Cyprian: Misschien nog om aan te vullen. Kijk, we zijn ook als banken gewend om modellen uit en terna te valideren. Er gaat echt niks naar productie van enig risico wat niet enorm bestudeerd is en getest en nagebouwd en noem het maar op. Large language models zijn zo groot dat ik me afvraag hoe die controle nou eigenlijk moet plaatsvinden. Want dat kan eigenlijk niet op de traditionele manier, niet eigenlijk niet, dat kan niet op de traditionele manier. Het is zo groot. We weten niet hoe je het zou moeten testen. En het gevaar zit in precies wat jij ook al schetste. Dat 1 op de 100.000 of 1 op de 1 miljoen een keer verkeerd gaat. Dus steekproeven helpt dan ook niet meer, dat gaat ook niet vliegen. Dus hoe ga je testen? Nou dan test je eigenlijk doordat het overal wordt gebruikt, en zie je persberichten en dingen tevoorschijn zoals ik net al even noemde van dingen die niet goed gaan. Daardoor word je weer even… Zo werkt het, ik denk nu. Wat je wel zal zien, hoop ik, dat de leveranciers als die doorkrijgen dat hun spullen misschien niet goed zijn. Ja dat is het ergste wat er kan gebeuren. Dus je ziet ook wel in de versies die we hebben gezien van de large language model steeds meer bewakingsmechanismes krijgen. Dat ze niet uit de bocht vliegen en dat neemt best wel hard toe. Maar als bank denk ik dat je ook met elkaar, want we hebben allemaal hetzelfde belang in die zin, en dat is geen competitievraagstuk, samen ook moeten optrekken om te kijken van hoe kunnen we bepaalde versies van die last language model… …op een gegeven moment zeggen, nou dat is in voldoende mate getest. Daar hebben we vertrouwen in.
Jeroen: En uiteindelijk, ik heb het woord een keer eerder aangehaald in deze podcast, maar ik ben eigenlijk benieuwd om aan jou te vragen, Cyprian. De reproductie van de decision making: stel bijvoorbeeld kredietverlening. Mooi voorbeeld denk ik. Moet het altijd reproducerbaar zijn waarom een klant wordt afgewezen of waarom het krediet wel wordt verstrekt? Lijkt me zo’n ingewikkelde vraag. Kan je daar iets mee?
Cyprian: Ik denk dat mijn buurman beter weet of het altijd reproducerbaar moet zijn. Ik denk van wel. Ik weet niet wat daar is regelgeving over.Maar het is natuurlijk heel lastig om een large language model exact hetzelfde te laten zeggen. Zes maanden later of twee jaar later, als je een audit krijgt.Dan moet je eigenlijk drie versies terugrollen. Dezelfde inputdata hebben. Ga zo maar door. Ik denk dat dat niet kan.
Jeroen: Maar dat wordt het heel interessant. Want het kan dus ontzettend goed werken. Maar niet reproducerbaar zijn. Dat vindt de toezichthouder lastig, dat vinden mensen lastig
Cyprian: Dat limiteert je dus ook automatisch in wat voor zaken je met deze technologie kan doen. En wat je niet kan doen.
Daniël: Ik denk dat daar ook de crux een beetje in zit. Waar we het net over hebben. Kun je het technisch reproduceren? Dat kun je met heel veel modellen wel doen. Met Gen AI kun je kijken naar de inputs die je geeft, je kunt enige vorm van selectie toepassen, en naar de outputs. En je kunt de outputs gaan beoordelen. En dat is waarom ik nog wel de stelling heb: overal waar je iets doet met een assessment, een beoordeling of wat dan ook. Dat is wel het moment denk ik dat er nog een mens bij moet, die ook de vastlegging doet om wel te kunnen reproduceren op dit moment. Omdat we ook gewoon nog niet met z’n allen zo comfortabel zijn hiermee. Omdat je wat je zegt, ik doe het even in m’n hoofd. Maar volgens mij GPT-3 had geloof ik 175 miljard variabelen. Dat kunnen wij niet bedenken. Hoe we daar om moeten gaan.
Cyprian: Het zit nu op 800 miljard geloof ik.
Daniël: Dat kunnen wij niet bedenken. Hoe we daar om moeten gaan.
Met de vierde versie denk ik, dat zijn bizarre aantallen om te bedenken. Daar kun je niet meer een normale traditionele validatie op loslaten.
Cyprian: Nee, want de eerste regel in de traditionele validatie is maak even een boxplot van alle variabelen.
Daniël: Precies, succes daarmee.
Cyprian: Ja toch, dan druk je op print. Dan wacht je een paar mensenlevens. En dan heb je ze in ieder geval uitgeprint of zoiets. Maar dat gaat natuurlijk niet meer.
Daniël: Nee, dat gaat niet meer. Dan is de volgende versie ook alive.
Cyprian: Het is eigenlijk volledige inductie wat je dan krijgt.
Jeroen: Ik ga richting afrondingen heren. Ik heb nog twee dingen die ik met jullie wil bespreken. In de eerste plaats is een hele algemene. Heb je nog iets waarvan je zegt, dat wil ik hier echt genoemd hebben. Dat rondje maak ik zo.
En de andere is, dan kan je er vast over nadenken. Stel je luistert naar deze podcast en je denkt. Ja, dit vind ik ontzettend interessant. Dat is waarschijnlijk zo, hoop ik. Maar heb je dan een tip voor een boek, een YouTube filmpje, een artikel, of wat dan ook. Dan kunnen we dat mooi opnemen in de show notes. Waar je zegt, ga daar eens naar kijken om verder je educatie te pakken, of het enthousiasme ervoor te krijgen, of een beeld te krijgen van de risico’s, of wat dan ook. Dus dat zijn mijn twee laatste dingen. Eerst even die algemene vraag. Is er nog iets waarvan je zegt: nou, dat had ik hier wel graag even benoemd willen hebben. We hebben heel veel dingen kunnen aanstippen. Maar er zijn natuurlijk ook nog honderd onderwerpen die niet aan bod zijn gekomen. Maar heb je er eentje waarvan je denkt. Ik praat extra lang, zodat jullie kunnen nadenken. Dus iemand die zegt, ik wil iets op tafel gooien.
Daniël: Algemene vraag, algemeen antwoord misschien voor een deel. Maar ik denk dat de betrouwbaarheid van data nog een level belangrijker is geworden. Met de introductie van Gen AI. En met name met meningen, feiten. Het voorbeeld wat eerder in de podcast werd genoemd. De kans dat je dus met het gebruik van dit type modellen. Dat je ook gegevens meeneemt, zeker als je publieke domein gebruikt, die niet waarheidsgetrouw zijn. Dat vind ik toch steeds belangrijker worden want het geeft ook, want dat is de dark side van AI, het geeft dus ook de mogelijkheden tot beïnvloeding. Ik denk dat we daar toch echt alert op moeten zijn. Dat op alle fronten dat kan zijn. Dus die manipulatie van data, wat vervolgens dus overgenomen wordt, dat is ontzettend belangrijk, om daar alert op te blijven.
Jeroen: Mooie toevoeging.
Arjan: Ga ik dan gelijk een beetje op voorpoort duren. Ook over de data, maar een ander perspectief. Jij hebt het over data die fout is. Ik heb het over data die inherent ook mogelijk biased is. Bijvoorbeeld open AI is voor een groot deel getraind op het internet. Wat toch iets meer gebiased richting de westelijke samenlevingen. Dus als je daar iemand bent uit Afrika of uit China, herken je je helemaal niet in wat ChatGPT gaat creëren. Dus dat is niet per se foute data. Maar het is niet per se representatieve data. En daar krijg je dus grote risico’s over discriminatie, andere vormen van ethics. En dat is er ook eentje die ontzettend moeilijk te corrigeren is. Zoals Google heeft gemerkt met laten we iets meer mensen van kleur in onze foto’s brengen, dat werkt ook niet altijd heel goed. Dus de correctie met het mechanisme om de inherent bias van je data eruit te halen is verschrikkelijk moeilijk.
Jeroen: Ja, ook mooie toevoegingen.
Cyprian: Allereerst, it’s here to stay. Dus we hebben niet de keus om de risico’s zo zwaar te laten wegen dat we er niks mee gaan doen. Want ook onze klanten, onze omgeving, onze concurrenten, en ga zo maar door, die gaan hiermee aan de gang. En dat zal ook gevraagd en verwacht worden. Ik denk dat de uitdaging is om de risico’s die erbij aankleven, om die heel goed te snappen. En ook te zorgen dat je dus op het veilige terrein blijft. Banken houden van veilig. Dus dat zal best goed komen.
Maar ik denk dat we niet moeten denken dat de risico’s zodanig zwaar wegen. Dat daarmee met de hype cycle nog verder naar beneden wordt gedrukt en dat het klaar is. En dat geloof ik eerlijk gezegd niet. Dus de sport is om heel snel wel een bias testing framework te ontwikkelen. Wat inderdaad super lastig is.
Jeroen: Here to stay. Dankjewel, mooie toevoeging.
Sebastian: Ik denk wat je ziet is dat ook eigenlijk de risico’s veel breder zijn. Dus het is niet alleen meer dat model risico, maar het is ook een reputatie risico. Je ziet dat veel meer verschillende onderdelen van een bank eigenlijk betrokken zijn bij deze modellen, dit type modellen. En dat eigenlijk dus ook een heel groot belang is om een manier te vinden binnen iedere bank, en iedere bank zal daar zijn manieren moeten vinden, in hoe doe je het samen. Dus ik denk dat wat voor mij een hele belangrijke is. Als je hier succes uit wil halen, zul je het samen moeten doen. Samen ontwikkelen. Samen in de markt zetten. Samen de risico’s managen. Omdat het zoveel zaken raakt. Taal wordt overal gebruikt. Taal komt overal terug in ons werk. In wat we doen. In wat we produceren. En het raakt zo’n breed aspect. Dus de key to succes gaat zijn in welke partijen gaan in staat zijn om dat samen te doen en daar een goede samenwerking in te vinden. Dus ik denk dat dat een belangrijke is. En misschien ook wel nog even voortbouwend op het stukje efficiëntie waar we het eerder over gehad hebben. Ik denk ook wel leuk. Ik denk ook daar. Tuurlijk heeft dat de primaire focus maar ik hoop en ik denk dat een hele mooie uitkomst daarvan gaat zijn is juist als je heel veel tijd gaat besparen. Om bijvoorbeeld dossiers of repetitief werk niet meer te hoeven doen of daar in ieder geval niet meer zoveel tijd aan te hoeven besteden. Dat je juist de tijd gaat krijgen om je mensen, je goede mensen, zich te laten richten op misschien meer dat creatievere werk. Op meer dat klantbelang. Op ideeën om de klant beter te helpen. Ik denk en ik hoop dat dat ook een hele mooie uitkomst gaat zijn van deze technologie.
Jeroen: Mooi.
Thomas: Ja ik denk dat we echt al heel veel inderdaad besproken hebben hier. Maar ik denk dat een van de uitdagingen waar we wel een paar keer aan geraakt hebben maar niet expliciet genoemd is die snelheid van ontwikkelingen die erin zit. Inderdaad de Chat GPT 3 tot 4 tig keer zoveel parameters. Maar ook de kwaliteiten van en de manier waarop het werkt. En de manier ook waarop die verkopers van die modellen om de maand nieuwe veiligheidsmaatregelen toevoegen waar je inderdaad niet zoveel invloed over hebt toch binnen de bank die gewend is om veranderingen in een jaar te doen in plaats van in een week tot een maand. Dat is toch wel echt een uitdaging op meerdere fronten. Om daar up to date te blijven. En bij te blijven met het geheel. En te voorkomen dat je helemaal vast zit op één systeem wat vervolgens achter gaat lopen. En waarin je dan vast zit.
Jeroen: Mooie toevoeging ja. Spannend die snelheid. Ik denk dat sommige mensen er best zenuwachtig van kunnen worden.
Een heel kort rondje. Tips die we kunnen opnemen? Heeft iemand iets? Je mag ook later aan mij mailen dan voegen we ze later toe. Maar heeft iemand zo een boek of een YouTube filmpje, of iets anders uit zijn hoofd?
Arjan: Ik heb een podcast.
Jeroen: Daar ga ik heel goed op. Ik laat me maken voor een andere podcast. Zeker doen.
Arjan: Van The Guardian. Dat heet Black Box. Dat is een serie podcast. Acht afleveringen over AI. Een paar hele leuke voorbeelden van waar AI leuk is, goede toegevoegde waarde aan de maatschappij heeft. Maar ook een paar waar je echt denkt. Oh, this is scary shit.
Jeroen: Mooi. Die ga ik zeker opnemen. Leuk. Dankjewel. Anderen?
Daniël: Ik gebruik vaak -ik weet de titel niet -maar een filmpje dat heel erg laat zien: wat kun je al met artificial intelligence. En dat is ook een beetje om preventief. Wat deel je nou van jezelf?
Jeroen: Die gaan we later hopelijk nog van jou krijgen. Dat ik hem aan de show notes kan toevoegen.
Thomas: In het thema van ontwikkelsnelheden. Denk ik inderdaad zodra je klaar bent met een boek schrijven over generatieve AI, dan is het verouderd.
Jeroen: Behalve als je met Gen AI hebt geschreven.
Thomas: Dan kun je hem inderdaad sneller schrijven.
Jeroen: Dan wachten we op de volgende versie.
Thomas: Ik hou zelf inderdaad flink wat nieuwsbrieven bij die ik inderdaad ook nog wel kan delen. Die alle updates wekelijks sturen. Want soms zie je ook gewoon dat als je niet wekelijks leest dat je technisch al achter kan raken.
Jeroen: Moet je nagaan hoe snel het gaat. Je kan niet meer op vakantie. Het is een beetje een jammer einde van deze podcast.
Maar het is here to stay. Laten we die vasthouden. Ik wil jullie heel hartelijk danken voor jullie tijd die jullie gestoken hebben in het maken van deze podcast met mij. Ik wijs nu naar, ik heb een heel ouderwets bedankje voor jullie meegenomen. Om die dank die ik heb voor het feit dat jullie zoveel tijd hebben genomen ook wat kracht bij te zetten. Dus dankjewel.
Voice Over: Dit was Leaders in Finance. We hopen dat je deze aflevering met veel plezier hebt beluisterd. Bestel je feedback erg op prijs. Wat houd je bezig en over wie wil je meer horen? Laat het weten via een Apple of Google review. Dat kan ook via de sociale mediacanalen of direct via een e-mail. We kunnen het enorm waarderen als je dat doet. Tot slot danken we onze partners voor hun steun. Dat zijn EY, MeDirect, RiskQuest, Kayak and Roland Berger. Tot de volgende Leaders in Finance. En bedankt voor het luis