Die Suche nach dem Fehler

18 Oktober 2015,   By ,   0 Comments

Mit mehr als 30.000 Geräte/Betriebssystem Kombinationen ist Android sicherlich ein Albtraum für jeden QS Manager, Apple hat hier mit nur knapp 1.000 Kombinationen sicherlich die Nase vorn aber auch hier können nicht alle Betriebssystemversionen und Endgeräte vorgehalten werden.
Damit stellt sich sehr schnell die Frage wie Apps und andere Software effizient und kostengünstig auf realen Devices getestet werden?

In diesem Eintrag geht es Projekte die eine erhöhte Anforderung an Kosten/Nutzen haben und keine Produkte oder Kernsysteme die sich ständig weiterentwickeln sollen darstellen. Diese Abgrenzung ist wichtig, da Produkte und Langfristig angelegte Software komplett anders getestet und geprüft werden muss als typische Marketing Websites oder Apps bei denen es sehr um schnelle Produktion und geringe Kosten geht.

Grundsätzlich stellt sich im Bereich Qualitätssicherung immer die Frage, was das Ziel sein soll, daher wie der Begriff Qualität für das Projekt definiert und priorisiert wird. Bereits bei einer mittelgroßen App können nicht mehr alle Funktionen in allen Varianten und auf allen Betriebssystemversionen und Geräten sinnvoll Testbar sein. Theoretisch könnten Sie dies natürlich versuchen aber der Kosten Nutzen Aspekt verbietet ein solches Vorgehen eigentlich komplett insbesondere da Sie die Fehlerfreiheit trotzdem nicht beweisbar erreichen werden.

Bereits frühzeitig sollten Testcases zu den wichtigsten Prozessen und Funktionen geschrieben werden und bei jedem Release entsprechende Tests inklusive Testprotokoll erstellt werden. Unsere Testcases für ein klassisches App-Projekt umfassen häufig Schritt für Schritt Anleitungen die es einem neuen Tester ermöglicht den kompletten Test durchzuführen und zu erfassen.

Zusätzlich zu den definierten Testcases sollte das Projekt regelmäßig von neuen Nutzern (z.B. in Zusammenarbeit mit Crowdtesting Anbietern) im Rahmen von Usertests unter kontrollierter Umgebung genutzt werden. Hier finden Sie zum einem schnell Usability Probleme und zum anderen auch neue Fehlverhalten die dann als neuer Testcase Eingang in die jeweiligen Releasetests finden sollte.

Ebenfalls empfiehlt es sich Bewertungen, Social Media Kommentare und sonstige Rückmeldungen jeweils zu verifizieren und dann als Testcase für alle weiteren Releasetests zu erfassen.

Zurück zur Ausgangsfrage: Wie können Apps und andere Software effizient und kostengünstig auf realen Devices getestet werden?

  1. Testcases sauber und ausreichend umfangreich dokumentieren z.B. mit Testrail http://www.gurock.com/testrail/ oder www.ranorex.com
  2. Die wichtigsten Testdevices mit dem Kunden klären auf Basis von bestehenden Kundendaten oder Annahmen aufgrund der Marktverteilung
  3. Für Devices die nicht in Hardware vorliegen, nutzen wir http://xamarin.com/test-cloud bei Websites nutzen wir unter anderem https://www.equafy.com
    Keiner der Dienste ersetzt die Tests auf eigenen Devices stellen aber eine sehr gute Ergänzung da

In zukünftigen Einträgen gehen wir dann etwas mehr in die Tiefe und stellen unter anderem den Umgang mit der Software, sinnvolle Testverfahren wie automatisiertes Testing und auch das wunderbare Thema Lasttests vor

    Leave a Reply







    Bleiben Sie auf dem Laufenden