Is toezicht op algoritmen nodig?

AI in de zorg draagt bij aan de verbetering van de kwaliteit, maar op de ontwikkeling van algoritmen is weinig toezicht. Dat is de kern van een waarschuwend artikel in Science. Geldt dat ook voor Nederland? Data-onderzoeker Egge van der Poel denkt van niet.

Artikel bewaren

U heeft een account nodig om artikelen in uw profiel op te slaan

Login of Maak een account aan
Egge van der Poel
adam121 / stock.adobe.com

De toegenomen rekenkracht van computers leidt tot een steeds verder verfijnde toepassing van AI. Dat levert onmiskenbaar een bijdrage aan de kwaliteit van de zorg, maar er zijn ook vragen over de ontwikkeling van de betreffende algoritmen. Dat schrijven drie Amerikaanse arts-onderzoekers in Science.

Volgens Ravi Parikh, Ziad Obermeyer en Amol Navatheen is met de voorspellende analyses van AI in de geneeskunde de overgang van hype naar realiteit ingezet. Dat is een goede zaak, maar het brengt ook gevaren met zich mee. Steeds meer algoritmen moeten dan immers door de Amerikaanse toezichthouder FDA worden goedgekeurd voor klinische toepassing.

Lage drempel

De drempel voor deze goedkeuring ligt echter laag, in elk geval in de Verenigde Staten. Volgens de onderzoekers is het voor de veiligheid van de patiënt van belang dat er van hogerhand wordt toegezien op de ontwikkeling van deze algoritmen. Net zoals dat nu al gebeurt bij de ontwikkeling van behandelingen en medicijnen.

Daarom stellen Parikh, Obermeyer en Navatheen vijf standaarden voor bij ‘het ontwikkelen en valideren van multivariabele voorspellingsmodellen in de geneeskunde’. Volgens hen vormen deze vijf standaarden de basis voor wettelijke richtlijnen voor de ontwikkeling van algoritmen.

Vijf standaarden

De eerste standaard betreft het vaststellen van ‘een gewenst einddoel’ ofwel bruikbare inzichten voor toepassing. De tweede standaard omvat het vaststellen van benchmarks. De derde standaard houdt in het vaststellen van duidelijke specificaties. De vierde standaard omvat mogelijke interventies. De vijfde standaard ten slotte behelst de implementatie van regelmatige audits.

Het artikel van Parikh cs is een uiting van de toenemende bezorgdheid over een algemeen gebrek aan wettelijke en klinische normen voor AI. De ontwikkelingen op dit vlak gaan zo snel dat ze door artsen lang niet altijd ten volle worden begrepen. Ook de FDA zelf heeft hier al zijn zorgen over uitgesproken.

Egge van der Poel: zinvol

‘Ik begrijp die zorgen goed en de standaarden die de auteurs van het Science-artikel hebben geformuleerd zijn in principe zinvol,’ aldus Egge van der Poel, data-onderzoeker bij het Erasmusmc. ‘Er moet wat mij betreft veel meer duidelijkheid komen over de ontwikkeling van AI. Welke algoritmen werken in welke context? Het is goed dat daarover wordt nagedacht. Het grote gevaar is dat je eigen vooroordelen en aannames zichzelf tijdens de ontwikkeling versterken.’

Continu leren en verbeteren is daarbij volgens Egge van der Poel het streven. Maar anders dan de auteurs van het artikel in Science gelooft hij er niet in dat een toezichthouder dit in de gaten moet houden. ‘Het is niet verstandig om een heel controlesysteem op te tuigen, met alle inspanningen en kosten die daarmee gepaard gaan. De ontwikkelingen gaan zo snel, je loopt bijna per definitie achter de feiten aan.

Transparantie en discussie

‘Ik geloof zelf veel meer in een systeem van transparantie en onderlinge discussie en controle. Wetenschappers en zorgverleners die met elkaar in gesprek gaan over waar het heen moet met een algoritme en wat daarbij de kansen en de valkuilen zijn. Als je er met z’n allen naar streeft om zo’n algoritme zich optimaal te laten ontwikkelen, dan kom je naar mijn idee het verst. Ten slotte heb je dan alle kennis, ervaring en inzicht direct bij de hand.’

 

 

 

1 REACTIE

  1. De inzet van algoritmes als therapeutische interventie verschilt weinig van het gebruik van geneesmiddelen. Bij beide is er sprake van een balans tussen te behalen voordeel en de mogelijke risico’s. Het besef dat geneesmiddelen ook schadelijke bijwerkingen hebben is sterk gegroeid na enkele rampzalige introducties, zoals Softenon en DES in de jaren 60, van de vorige eeuw. Die ongelukken hebben geleid tot de oprichting van toezichthouders zoals het College ter Beoordeling van Geneesmiddelen. De belangrijkste taken van toezichthouders als het CBG, de FDA en de EMA zijn het bepalen van werkzaamheid en veiligheid voor marktintroductie en het blijvend monitoren van de veiligheid na marktintroductie. Weinig voorkomende bijwerkingen vind je immers pas bij veelvuldig en langdurig gebruik.
    Bij algoritmes zal dit niet anders zijn. Net als geneesmiddelen kunnen zij hoogcomplex zijn. Die complexiteit is echter geen reden om af te zien van adequate controlemechanismes. Wetenschappers en zorgverleners die met elkaar in gesprek gaan over waar het heen moet met een algoritme en wat daarbij de kansen en de valkuilen zijn vormen slechts de start van die controlemechanismen. Enkel streven om zo’n algoritme zich optimaal te laten ontwikkelen is veel te vrijblijvend en zet de deur open voor een digitale Softenon affaire. Dat is niet alleen gevaarlijk voor patiënten maar kan ook leiden tot het vermijden van technologie die in potentie een zeer grote bijdrage kan leveren aan het verbeteren van de zorg.

Geef je reactie

Om te kunnen reageren moet u ingelogd zijn. Heeft u nog geen account, maak dan hieronder een account aan. Lees ook de spelregels.