Qualtitätssicherung & Testing für Devices

Mit mehr als 30.000 Geräte- und Betriebssystem-Kombinationen ist Android ein Albtraum für jeden QS-Manager. Apple hat hier mit nur knapp 1.000 Kombinationen die Nase vorn, aber auch hier können nicht alle Betriebssystemversionen und Endgeräte vorgehalten werden. Damit stellt sich sehr schnell die Frage: Wie können Apps und andere Software effizient und kostengünstig auf realen Devices getestet werden?

In diesem Eintrag geht es um Projekte, die eine erhöhte Anforderung an Kosten/Nutzen haben. Es geht nicht um Produkte oder Kernsysteme, die sich ständig weiterentwickeln sollen. Diese Abgrenzung ist wichtig, da Produkte und langfristig angelegte Software anders getestet und geprüft werden müssen als typische Marketing-Websites oder Apps, bei denen es um schnelle Produktion und geringe Kosten geht.

Grundsätzlich stellt sich im Bereich der Qualitätssicherung immer die Frage, was das Ziel sein soll, also wie der Begriff “Qualität” für das Projekt definiert und priorisiert wird. Bereits bei einer mittelgroßen App können nicht mehr alle Funktionen in allen Varianten und auf allen Betriebssystemversionen und Geräten sinnvoll testbar sein. Theoretisch könnten Sie dies natürlich versuchen – aber der Kosten-Nutzen-Aspekt verbietet ein solches Vorgehen eigentlich komplett, insbesondere da Sie die Fehlerfreiheit trotzdem nicht beweisbar erreichen werden.

Bereits frühzeitig sollten Testcases zu den wichtigsten Prozessen und Funktionen geschrieben werden und bei jedem Release entsprechende Tests inklusive Testprotokoll erstellt werden. Unsere Testcases für ein klassisches App-Projekt umfassen häufig Schritt-für-Schritt-Anleitungen, die es einem neuen Tester ermöglichen, den kompletten Test durchzuführen und zu erfassen.

Zusätzlich zu den definierten Testcases sollte das Projekt regelmäßig von neuen Nutzern (z. B. in Zusammenarbeit mit Crowdtesting-Anbietern) im Rahmen von Usertests unter kontrollierter Umgebung genutzt werden. Hier finden sich zum einen schnell Usability-Probleme und zum anderen auch neue Fehlverhalten, die dann als neuer Testcase Eingang in die jeweiligen Releasetests finden sollte.

Ebenfalls empfiehlt es sich, Bewertungen, Social Media-Kommentare und sonstige Rückmeldungen jeweils zu verifizieren und dann als Testcase für alle weiteren Releasetests zu erfassen.

Unabhängig vom Projektumfang oder dem Website- bzw. App-Thema gibt es 3 zentrale Punkte, die in jedem Fall bedacht werden müssen: