Hoe houd je grip op AI-agents?

Christian Owusu onderzoekt AgentOps:

Hoe zorg je ervoor dat een AI-agent ook op langere termijn betrouwbaar blijft, wanneer je instructies, tools, het onderliggende model of de gebruikte data aanpast? Stagiair Christian Owusu onderzoekt dit bij AMIS Conclusion. Zijn opdracht draait om AgentOps: een werkwijze om AI-agents beheerst te ontwikkelen, te testen en uit te rollen.

Een AI-agent die je voor jezelf gebruikt, kun je tijdens het werken bijsturen. Zodra je die agent met collega’s deelt en onderdeel maakt van hun werkproces, introduceer je in feite bedrijfssoftware. Dan moet duidelijk zijn wie verantwoordelijk is, wanneer de agent beschikbaar is en hoe de kwaliteit en kosten worden bewaakt.

Christians onderzoek richt zich op de aanpak die daarvoor nodig is. Hoe leg je versies vast? Wie beoordeelt wijzigingen? En hoe controleer je of een nieuwe versie goed genoeg is om in gebruik te nemen?

Het gedrag van een AI-agent hangt af van code, instructies, instellingen, modelkeuzes, tools en gebruikte data. Christian onderzoekt welke onderdelen onder versiebeheer moeten vallen en welke algemeen beschikbare tools daarvoor geschikt zijn.

Dat sluit aan bij de doelen van AMIS Conclusion: hoogwaardige software ontwikkelen voor vitale systemen, waar betrouwbaarheid en continuïteit essentieel zijn. Met diezelfde zorgvuldigheid willen we AI inzetten in onze eigen processen en bij klanten. Verbeteringen worden in kleine stappen ontwikkeld, getest en gecontroleerd ingevoerd, met duidelijke afspraken over eigenaarschap, wijzigingsbeheer en kostenbeheer. Onze professionals blijven verantwoordelijk voor de toepassing en de resultaten.

Een AI-agent kan op dezelfde vraag verschillende antwoorden geven. Daarom onderzoekt Christian automatische evaluaties, ook wel evals genoemd. Die beoordelen bijvoorbeeld of de taak is voltooid, de juiste bronnen en tools zijn gebruikt en de uitkomst aan veiligheidscriteria voldoet.

Door meerdere uitvoeringen te vergelijken, onderzoekt hij hoe stabiel de kwaliteit is en of wijzigingen tot achteruitgang leiden. De beoogde opbrengst is een praktisch AgentOps-framework, ondersteund door een werkende proefopstelling en advies voor toepassing binnen AMIS en klantprojecten.