Karina van Dalen-Oskam, Marijn Koolen, Julia Neugarten en Joris van Zundert van het Huygens Instituut voor Nederlandse Geschiedenis (Huygens ING) geven vandaag een genuanceerde blik op de rol van artificiële intelligentie in het boekenvak. Het instituut doet daar al jarenlang zelf onderzoek naar. Menselijke recensenten hebben hun eigen gebreken:

Die zevenhonderd mensen vormen welbeschouwd een beangstigend kleine doorsnee van het lezerspubliek dat zij zeggen te bedienen. Als het voorbeeld in Tzum als doorsnee mag gelden, dan valt er over de kwaliteit van de menselijke black box nog wel wat te discussiëren. Die review getuigt van nogal wat zelfverzekerdheid. “Meesterwerk” is het oordeel. Maar wie bepaalt dat dan? En op grond waarvan?

Terechte opmerkingen, maar dat betekent niet dat de onderzoekers direct staan te juichen bij de vervanging door computergestuurde recensies.

Omdat Biblion de software van Bookarang gebruikt, is zowel het primaire machine learning-proces als het evaluatie-proces onbekend. Uit bedrijfsbelang hield Bookarang de werking en de bron van zijn software namelijk altijd zorgvuldig geheim. Met betrekking tot die transparantie hebben wij dan ook wel vraagtekens en twijfels, bijvoorbeeld ook omdat de metadata die Bookarang gebruikt, afkomstig is van uitgevers. En we weten dat uitgevers sommige metadata met het oog op de verkoop ‘pragmatisch’ toekennen.

Het gebrek aan transparantie is naast de gebrekkige communicatie een groot probleem bij NBD Biblion. Voor het eerste probleem hebben de onderzoekers een oplossing:

Wij zouden graag zien dat NBD Biblion een audit (formele software-inspectie) van de Bookarang-technologie door onafhankelijke externe experts laat uitvoeren. Die experts kunnen dan inventariseren hoe het proces er nu uitziet en welke data er worden gebruikt om de beschrijvingen te genereren.

En welk instituut bevelen de onderzoekers van het Huygens Instituut vervolgens aan om die audit te doen? Juist.

Lees het hele stuk hier.