„Man glaubt, man teste … bis man wirklich testen muss“
Von Excel zu echter Kontrolle über Tests – im Gespräch mit Kevin Regts
Testen. Das macht jeder. Aber nur wenige Unternehmen haben es wirklich gut organisiert. In vielen Unternehmen fängt es klein an: eine Excel-Datei, eine kleine Checkliste, ein paar Leute, die „mal kurz mitschauen“.
Bis es spannend wird. Eine große Neuerscheinung. Ein ERP-Upgrade. Oder ein System, das geschäftskritisch geworden ist. Und plötzlich stellt sich heraus:
- Du hast keinen Überblick;
- Man weiß nicht, was getestet wurde;
- und du hast keinen Halt.
Kommt Ihnen das bekannt vor? In dieser Ausgabe von „Let’s talk about test“ sprechen wir mit Kevin Regts, Testmanager bei BMN. Ohne Test-Hintergrund arbeitete er sich zum Testmanager hoch – und stand vor der Herausforderung, den Testprozess im Rahmen eines komplexen ERP-Upgrades zu professionalisieren:
- Von Excel zur Struktur;
- Von vereinzelten Kontrollen hin zu einer umfassenden Überwachung;
- Von der Intuition zur Erkenntnis.
BMN ist einer der größten Baustoffgroßhändler der Niederlande mit einer Vielzahl von Niederlassungen und Kunden. Daher hat ein ERP-Upgrade unmittelbare Auswirkungen auf den täglichen Betrieb.
Wer ist Kevin?
Fangen wir ganz von vorne an. Wer ist Kevin Regts?
„Ich bin Kevin, 30 Jahre alt, wohne in Heerenveen und arbeite nun seit etwa sechs Jahren bei BMN. Ich habe im kaufmännischen Bereich angefangen und mich später zum Regionalmentor weiterentwickelt – als Bindeglied zwischen Wirtschaft und IT.“
Und außerhalb der Arbeit?
„Ich spiele Fußball und fahre viel Fahrrad. Radfahren macht mir wirklich Spaß, vor allem im Sommer.“
War es eine bewusste Entscheidung, Testmanager zu werden?
„Nein, überhaupt nicht. Ich habe Betriebswirtschaft studiert, daher kam das Thema in meinem Studium nicht zur Sprache. Und auch zu Beginn meiner beruflichen Laufbahn nicht. Man arbeitet natürlich mit Systemen, aber wie das Testen funktioniert? Mit dieser Frage habe ich mich eigentlich nicht so sehr beschäftigt.“
„Eigentlich hatte ich mir noch nie bewusst Gedanken über das Testen von Software gemacht. Erst wenn man mittendrin steckt, wird einem klar, was alles dazu gehört.“
Ein ERP-Upgrade: Warum das Testen entscheidend wurde
Was war der Moment, in dem das Testen für dich bei BMN plötzlich ernst wurde?
„Das war beim Upgrade unseres ERP-Systems. Wir arbeiten mit Microsoft Dynamics Business Central, nutzten jedoch eine veraltete Version, die nicht mehr unterstützt wurde.“
Es gab also keine Wahl?
„Nein. Wir mussten ein Upgrade durchführen. Das bedeutete aber, dass sich unter der Haube alles verändert hat.“
Und somit auch testen?
„Ja. Dann reicht es nicht mehr aus, nur ‚mal kurz nachzuschauen‘. Man muss sich absolut sicher sein, dass alles funktioniert – von Anfang bis Ende.“
Was machte das so komplex?
„Unsere Prozesse sind miteinander verflochten. Was man in einem Prozess ändert, wirkt sich auf den anderen aus. Man muss also ganze Abläufe testen, nicht nur einzelne Schritte.“
Testen ohne Struktur: Warum Excel bei ERP-Systemen nicht mehr funktioniert
Inwieweit war Ihre Organisation auf Testprojekt solches Testprojekt vorbereitet?
„Ehrlich? Nicht wirklich.“
Was meinst du damit?
„Das Wissen war zwar vorhanden. Die Leute wussten, wie die Prozesse abliefen. Aber es war nirgendwo zentral festgehalten.“
Also kein standardmäßiges Testverfahren?
„Nein. Jeder hat es auf seine eigene Art gemacht. Mit Excel, mit Word, ein bisschen aus dem Kopf heraus. Jeder wusste, wie es funktionierte. Aber niemand hatte es wirklich festgehalten. Das wurde erst dann zum Problem, als wir alles neu testen mussten.“
Wenn Excel nicht mehr ausreicht
Worauf bist du konkret gestoßen?
„Mangelnder Überblick. Vor allem, wenn man mehrere Testrunden durchführt und viele Beteiligte hat.“
Welche Art von Prüfungen hattet ihr?
„Denken Sie daran:
- Anwenderakzeptanztests (UAT);
- Kettentests über mehrere Abteilungen hinweg;
- Regressionstests bei neuen Iterationen;
- „und später auch Tests in der Hypercare-Phase.“
Das passte nicht mehr in Excel?
„Nein. Dann verliert man den Überblick und weiß nicht mehr, wo man steht. Das macht es auch schwierig, dem Management Bericht zu erstatten.“
„Als klar wurde, dass wir das mit Excel nicht schaffen würden. Wir brauchten eine Struktur.“
Die Entscheidung für Struktur
Wann kam der Moment, in dem ihr beschlossen habt, es anders zu machen?
„Als klar wurde, dass wir das mit Excel nicht schaffen würden. Wir brauchten eine Struktur.“
Und dann kam Testersuite?
„Ja. Damit hatten wir eine zentrale Anlaufstelle für alles, was mit Tests zu tun hat.“
Wie BMN Testersuite für UAT, End-to-End-Tests und Regressionstests Testersuite
Wofür setzt ihr Testersuite ein?
„Für den gesamten Testprozess im Zusammenhang mit dem ERP-Upgrade. Dabei geht es um:
- Festlegung von Prozessen;
- Erstellen von Testfälle;
- Durchführung der UAT;
- Kettentests;
- Regressionstests pro Testrunde;
- „und später auch auf der Hypercare-Station, um Fehler überwachen.“
„Also von Anfang bis Ende. Das verschafft uns Klarheit: Das sind meine Prozesse, das muss ich testen und das ist der Stand der Dinge. Diese Einsicht hatten wir vorher nicht.“
Testen mit über 150 Testern
Wie hast du das in der Praxis organisiert?
„Wir haben bewusst klein angefangen. Erst die Strukturen richtig aufbauen, dann expandieren. Zu Spitzenzeiten hatten wir etwa 150 bis 200 Tester.“
Sind das Testexperten?
„Nein, vor allem Schlüsselanwender und Prozessverantwortliche.“
Warum hat das funktioniert?
„Weil es konkret war. Die Nutzer mussten sich nicht überlegen, was sie tun sollten. Das war in Testersuite einfach klar dargelegt. Die Einstiegshürde muss so niedrig wie möglich sein. Die Nutzer müssen das Tool nicht verstehen – sie müssen wissen, was sie testen sollen. Genau so funktioniert es in Testersuite
„Trotz der Komplexität und der Hektik im Geschäftsleben haben wir es geschafft. Das ist für mich der wichtigste Meilenstein.“
Ergebnis: Erfolgreicher Go-Live mit Business Central dank strukturierter Tests
Wenn ihr zurückblickt, was war der wichtigste Meilenstein, den ihr erreicht habt?
„Dass wir innerhalb der vorgegebenen Zeit mit einem einwandfrei funktionierenden System live gegangen sind.“
Das klingt logisch, aber was macht es so besonders?
„Die Kombination. Das Geschäft lief einfach weiter. Die Leute haben das nebenbei gemacht. Und trotzdem hatten wir alles im Griff.“
Also kein Chaos vor dem Live-Start?
„Nein. Wir hatten den Überblick, konnten die Entwicklung steuern und wussten, wo die Risiken lagen. Trotz der Komplexität und der Hektik im Geschäft haben wir es geschafft. Das ist für mich der wichtigste Meilenstein.“
Und als Bonus hast du nun die Abläufe im Blick
„Das stimmt. Das Schöne daran ist, dass die Prozesse rund um das Testen nun festgehalten sind. Und zwar strukturiert und leicht auffindbar in einem praktischen Tool. Jeder Testersuite kann nun eine klare und präzise Beschreibung der Prozesse einsehen.“
Erkenntnisse aus ERP-Tests: Vom „Happy Flow“ zur vollständigen Abdeckung
Was sind deine wichtigsten Erkenntnisse?
„Dass das Testen viel komplexer ist, als man denkt.“
Das hört man öfter – aber was meinst du konkret damit?
„Dass man nicht nur den Happy Flow testen sollte. Gerade die Ausnahmen sind wichtig. Es geht auch um:
- dass man die Grundlagen im Griff haben muss;
- dass man Prozesse festhalten muss;
- dass man Fehler strukturieren Fehler ;
- „und dass Regressionstests unverzichtbar sind.“
Warum sind Regressionstests für Sie unverzichtbar?
„Weil jede Änderung Auswirkungen auf etwas anderes haben kann. Das merkt man oft erst im Nachhinein. Man glaubt, alles getestet zu haben. Bis sich etwas ändert und an anderer Stelle etwas nicht mehr funktioniert. Dann wird einem klar: Das Testen hört nie auf.“
Vom Fehler Erkenntnis
Was hat sich daran geändert, wie ihr mit Fehler umgeht?
„Das wurde plötzlich zu einem strukturierten Prozess. Nicht nur erfassen, sondern auch:“
- kategorisieren;
- Prioritäten setzen;
- analysieren."
„Da dies deutlich an Bedeutung gewann, konnten wir der Geschäftsleitung viel besser und fundierter darlegen, wo wir standen. Das hat uns viel Ruhe gegeben.“
Vom Testen in der Projektphase zum Testen in der Betriebsphase.
Wurde Testersuite für Projekte verwendet?
„Nein. Genau danach wird es erst interessant.“
Was meinst du damit?
„In der Betriebsphase nutzen wir Testersuite für Releases und Regressionstests. Die Projektphase hat uns einen umfangreichen Testsatz geliefert. Und diesen Testsatz nutzen und erweitern wir auch in der Betriebsphase weiter.“
Das heißt also, es wird eigentlich immer wertvoller?
„Ja. Weil man immer mehr Wissen ansammelt.“
„Das Lustige daran ist, dass ich mich irgendwann in Testersuite besser Testersuite als in unserem ERP-System.“
Welchen Nutzen hat Testersuite BMN?
Was hat Testersuite konkret gebracht?
„Zeit, Überblick und Kontrolle.“
Kannst du das genauer erklären?
„Während man mit Excel vielleicht eine Woche braucht, um alles vorzubereiten, haben wir das jetzt in einem halben Tag geschafft – für 150 Tester. Was ohne Struktur eine Woche dauert, ist jetzt in einem halben Tag erledigt. Das macht den Unterschied.“
„Das Lustige daran ist, dass ich mich irgendwann in Testersuite besser Testersuite als in unserem ERP-System, hahaha.“
Optimierungen für Testersuite
Wenn man sich Testersuite einmal kritisch ansieht Testersuite wo können wir uns noch verbessern?
„Vor allem die kleinen Details, die den Bedienkomfort ausmachen.“
Wie zum Beispiel?
„Zum Beispiel schneller zwischen Fehler Testfälle navigieren. So etwas in der Art.“
Also keine grundlegenden Veränderungen?
„Nein. Die Grundlagen stimmen. Es geht eher um die Optimierung.“
Was würdest du mit dem Wissen, das du heute hast, anders machen?
Wenn du dieses Projekt noch einmal von vorne beginnen müsstest, was würdest du mit deinem derzeitigen Wissen und deiner Erfahrung anders machen?
„Mehr Fokus auf unglückliche Abläufe.“
Warum gerade dort?
„Denn genau dort liegen die wirklichen Risiken. Dinge, die zwar selten vorkommen, aber große Auswirkungen haben.“
Tipp von Kevin: So baust du einen soliden Testprozess auf
Zum Schluss: Was ist dein wichtigster Rat an angehende Testmanager?
„Achte darauf, dass deine Grundlagen stimmen.“
Und was bedeutet das?
„Damit das klar ist:
- was du testest;
- wann du den Test machst;
- wie man testet;
- und wie man Fehler ."
Das klingt einfach.
„Das stimmt. Aber das wird oft übersehen. Ohne eine solide Grundlage hat man keinen Halt – ganz gleich, welche Werkzeuge man einsetzt.“
