Op maandag 1 juli tussen 15:15 uur en 17:20 uur en op dinsdag 2 juli tussen 08:40 uur en 14:08 uur heeft er een verstoring plaatsgevonden waardoor documenten in Blue10 bleven hangen in de status ‘Tekstherkenning toepassen’. In deze update delen we meer informatie over het incident, de uitgevoerde acties en vervolgacties om herhaling in de toekomst te voorkomen.

Toelichting van het incident
De verstoring werd getriggerd door een hoge load van te verwerken documenten. Op de eerste werkdagen van het kwartaal zien we altijd een piek in het aantal geïmporteerde documenten. Zo zijn er maandag 1 juli en dinsdag 2 juli in totaal ca. 150.000 documenten binnengekomen. We voeren continue verbeteringen door om de steeds hogere load van documenten te kunnen verwerken, maar lopen daarbij op bepaalde momenten tegen nieuwe bottlenecks aan, die pas aan het licht komen als we tegen een niet vooraf te definiëren grens aan zijn gelopen. 

Als vervolgactie op een eerdere verstoring (maandag 4 december 2023) hebben we een achtergrondproces ingevoerd die de hoge load op drukke werkdagen verdeeld over meerdere services. Door deze maatregel kan het voorkomen dat een document niet direct, maar na een paar minuten beschikbaar is in het valideerscherm. Door de load te verdelen voorkomen we algehele verstoringen. 

Bij het uitvoeren van een upgrade van de onderliggende Azure Functions is het gedrag van de Azure Function binnen de vastgestelde configuratie gewijzigd. Vanwege de wijziging in het gedrag naar aanleiding van de versie upgrade, konden we niet de load aan documenten verwerken die we normaal gesproken wel kunnen verwerken.  

Uitgevoerde acties
Op het moment dat de vertraging in het importproces in onze monitoring zichtbaar was, hebben we de focus gelegd op het herstellen van het importproces door de load terug te brengen tot onder de grenswaarde van het maximaal aantal documenten wat per minuut verwerkt kan worden. Hierdoor konden nieuw geïmporteerde documenten weer succesvol worden verwerkt.  

De documenten welke in de status ‘Tekstherkenning toepassen’ bleven hangen, zouden geleidelijk aan weer verwerkt worden. Echter was het gevolg hiervan dat de grenswaarde opnieuw werd bereikt. 

Nadat de oorzaak was gevonden, is er een update uitgevoerd met een aangepaste configuratie in de betreffende Azure Functions. Deze update zorgde ervoor dat de documenten weer verwerkt konden worden zonder dat de grenswaarde werd bereikt. Hierdoor draaide het importproces weer stabiel en konden zowel nieuw geïmporteerde documenten als de documenten welke in de status ‘Tekstherkenning toepassen’ bleven hangen, succesvol worden verwerkt.

Vervolgacties
Met aanpassen van de configuratie in de betreffende Azure Functions werkt het importproces weer stabiel. Daarnaast gaan we werken aan verdere uitbreiding van de monitoring op het importproces, zodat we eerder kunnen ingrijpen als het automatische opschalingsproces faalt.