Introduction
Welkom terug bij onze serie Generatieve AI (GenAI) projecten. In deze serie doorlopen we zes belangrijke aspecten bij het implementeren van Generatieve AI in jouw organisatie, zoals het selecteren van een sterke use case, het creëren van een solide technisch fundament, het werken met AI-modellen en het mensgericht toepassen van AI. In dit zesde blog richten we ons op een ander essentieel aspect: het valideren van de haalbaarheid, waarde en impact van AI-oplossingen.
Bewijzen of juist ontkrachten van aannames
Met “valideren” bedoelen we het bewijzen of juist ontkrachten van aannames die we hebben over de voorgenomen (Gen)AI-oplossing. Denk hierbij aan de wensen die gebruikers hebben, de wijze waarop technische elementen (samen)werken of de impact die de AI-oplossing heeft voor de organisatie, de mens of zelfs de maatschappij. Deze aannames kan je meestal onderbrengen in de volgende categorieën:
The proof is in the pudding!
Al heb je zoveel gebruikers of (potentiële) klanten over hun intenties besproken en zoveel (technische) kennis verzameld als je kon: in welke mate en op welke wijze je AI-oplossing echt werkt, ervaar je pas wanneer deze in het echt wordt gebruikt. En hier wringt ook de schoen: Erkennen dat je te maken hebt met onzekerheden in je project voelt ongemakkelijk en gaat soms ook tegen de manier hoe binnen je organisatie naar projecten wordt gekeken. Tegelijkertijd kan het negeren ervan je in een latere fase duur komen te staan. Ons advies is om zo snel mogelijk eindgebruikers te laten werken met je (voorgenomen) AI-oplossing.
Valideren met de Data Discovery Sprint
Onze Data Discovery Sprint is een bewezen methodiek die helpt de onzekerheid in AI-projecten te omarmen en overbruggen. Het helpt de benodigde flexibiliteit te bereiken in je organisatie en legt de basis voor een solide AI-project.
Fase 1: Launch
In onze unieke ‘Data Discovery Sprint’, die we in ons tweede blog hebben geïntroduceerd, starten we met de ‘Launch’-fase. Hierin duiken we met volle vaart in het definiëren van de scope van een AI-project. We voeren snelle interviews, brainstormsessies en technisch onderzoek uit, en gebruiken een aangepast waardepropositiecanvas. Dit hulpmiddel, uniek voor JoinSeven, voegt aan het klantprofiel en de oplossing de essentiële technische randvoorwaarden toe, waardoor we een gedetailleerd en toch flexibel overzicht krijgen van de projectvereisten.
Fase 2: Validate
De ‘Validate’-fase staat in het teken van het valideren van aannames over haalbaarheid, wenselijkheid en toekomstbestendigheid. We benaderen dit proces actief en praktisch: in plaats van uitgebreid onderzoek verrichten we doelgerichte experimenten. Bij haalbaarheid toetsen we de technische en data-aspecten met een initiële ‘proof of concept’. Voor wenselijkheid ontwikkelen we prototypes en voeren ‘wizard of Oz’-tests uit om gebruikersinteracties te observeren. Tot slot evalueren we in de toekomstbestendigheid de marktacceptatie en economische levensvatbaarheid van de oplossing.
Fases 3 en 4: Awaken en Deliver
In ‘Awaken’ en ‘Deliver’, de vervolgfases, richten we ons op de fijnere details en de daadwerkelijke implementatie van de AI-oplossing. Hier passen we vergelijkbare experimentele benaderingen toe als in de ‘Validate’-fase, nu gericht op incrementele verbeteringen en optimalisaties.
Deze methodische en evenwichtige aanpak stelt ons in staat om zowel de exploitatieve als exploratieve uitdagingen van AI-projecten aan te gaan, volledig in lijn met de principes van ambidexteriteit. Volg ons voor meer inzichten en diepgaande discussies over GenAI-projecten en ontdek hoe we bij JoinSeven het innovatiedilemma navigeren en overwinnen.
Experiment designs
Zoals we eerder benoemden, plotten we aannames hoofdzakelijk in drie categorieën: haalbaarheid, wenselijkheid en toekomstbestendigheid. Hieronder volgt een lijst van experiment designs voor elk van deze categorieën, met een korte uitleg over hoe ze kunnen worden toegepast in jouw (Gen)AI projecten:
Valideren van de haalbaarheid
- Proof of Concept (PoC): Test de technische haalbaarheid van de AI-oplossing door een basisversie te ontwikkelen die de kernfunctionaliteit demonstreert. In GenAI projecten kan dit betekenen dat een klein, werkend model wordt gecreëerd om te bewijzen dat het concept technisch uitvoerbaar is.
- Dataverificatietest: Beoordeel de beschikbaarheid, kwaliteit en toepasbaarheid van de data die nodig is voor de AI-oplossing. Dit kan inhouden dat je werkt met een subset van data om te bevestigen of de data geschikt is voor het beoogde gebruik.
- Technische haalbaarheidstest: Onderzoek of de bestaande infrastructuur en technologische middelen voldoende zijn om de AI-oplossing te ondersteunen. Dit kan een evaluatie van hardware, software en algoritmen omvatten.
Valideren van de wenselijkheid
- Gebruikerstesten: Ontwikkel prototypen of mock-ups van de oplossing en observeer hoe gebruikers ermee omgaan. Dit helpt om te begrijpen of de AI-oplossing aansluit bij de behoeften en verwachtingen van de gebruiker.
- Wizard of Oz test: Simuleer de AI-oplossing in een gecontroleerde omgeving zonder dat de gebruiker weet dat het nog niet volledig functioneel is. Dit helpt om inzicht te krijgen in hoe gebruikers omgaan met de uiteindelijke oplossing.
- A/B Testen: Bied verschillende versies van een functie of product aan een groep gebruikers aan om te bepalen welke versie beter presteert in termen van gebruikersengagement en -tevredenheid.
Valideren van de toekomstbestendigheid
- Marktanalyse: Onderzoek de marktvraag en concurrentie voor de AI-oplossing. Dit kan marktonderzoek omvatten om de potentiële acceptatie en prijsgevoeligheid te beoordelen.
- Business Model Testing: Evalueer verschillende bedrijfsmodellen en prijsstrategieën voor de AI-oplossing. Dit kan het testen van verschillende prijspunten of verdienmodellen omvatten om de levensvatbaarheid op lange termijn te beoordelen.
- Regulatory Compliance Test: Voer tijdens de ontwikkeling assessments uit, zoals een DPIA of IAMA.
Conclusie
In dit blog hebben we je meegenomen in het valideren van aannames voor jouw AI-project. We namen je mee in hoe je onzekerheid in je AI-project omarmt en gaven met onze Data Discovery Sprint en effectieve experiment designs concrete handvatten om hiermee in jouw project aan de slag te gaan.
Een aantal hoofdpunten:
- Het erkennen van onzekerheid en het hebben van aannames is cruciaal voor een succesvol AI-project
- De “sweet spot of innovation” zit in het midden van de haalbaarheid, wenselijkheid en toekomstbestendigheid van je AI-oplossing
- De Data Discovery Sprint ondersteunt in het experimenteren en leren in jouw AI-project
- Iedere (type) aanname kan je valideren met verschillende experiment designs
Vooruitblik
In de volgende blogs nemen we je mee door alle stappen en overwegingen voor een succesvolle implementatie van GenAI in jouw organisatie. We voorzien je van de benodigde kennis en tools om in jouw organisatie een succesvol AI-project op te zetten. Dus blijf ons volgen en schrijf je in voor de volgende blogs via het formulier hieronder!
Originally published at https://joinseven.nl on December 18, 2023.
