Studie untersucht Fehlermeldungen bei Softwareproblemen

Was macht einen guten Bug-Report aus?

Studenten der Universität des Saarlandes haben 466 Softwareentwickler und Benutzer befragt, was einen guten Fehlerbericht ausmacht. Für ihre Studie haben sie nun einen Preis erhalten.

Populäre Programme wie Firefox haben im Laufe der Zeit mehrere Hunderttausend Fehlermeldungen angesammelt, die alle gelesen und bearbeitet werden wollen. Worauf achten Entwickler bei diesen Fehlermeldungen? Und was können Anwender tun, um ihre Fehlermeldungen möglichst aussagekräftig und wirkungsvoll zu gestalten? Dieser Frage sind Wissenschaftler und Studenten der Uni Saarland in einer Befragung nachgegangen.

Aus den Antworten wurde schnell klar, welche Punkte den Entwicklern am wichtigsten waren: Die Schritte, die zum Fehler führen, das erwartete und erlebte Programmverhalten, und – sofern möglich – ein automatischer Test, der den Fehler reproduziert. Als größte Probleme der üblichen Fehlermeldungen ergaben sich vage Problembeschreibungen, und dass häufig Informationen fehlen. Das betrifft etwa die Angabe der Umstände, unter denen der Fehler auftritt.

Auf Basis ihrer Ergebnisse entwickelten die Studenten ein Werkzeug, das vollautomatisch die Güte von Fehlerberichten einschätzt. "Cuezilla" kann sogar von sich aus Verbesserungsvorschläge machen. Auf der ACM-Spitzenkonferenz "Foundations of Software Engineering" in Atlanta wurde die Untersuchung der Studenten mit einem "Distinguished Paper Award" als bester von 152 Beiträgen ausgezeichnet. (dsc)