271 Pages
English

Model-based testing of real-time embedded systems in the automotive domain [Elektronische Ressource] / vorgelegt von Justyna Zander-Nowicka

Gain access to the library to view online
Learn more

Description

Model-based Testing of Real-Time Embedded Systems in the Automotive Domain vorgelegt von Dipl. Inform., Dipl. Ing. Justyna Zander-Nowicka von der Fakultät IV – Elektrotechnik und Informatik der Technischen Universität Berlin zur Erlangung des akademischen Grades der Doktorin der Ingenieurwissenschaften – Dr.-Ing. – Genehmigte Dissertation Promotionsausschuss: Vorsitzender: Prof. Dr. –Ing. Clemens Gühmann Berichter: Prof. Dr. –Ing. Ina Schieferdecker Berichter: Prof. Dr. rer. nat. Ingolf Heiko Krüger Tag der wissenschaftlichen Aussprache: 19.12.2008 Berlin, 2009 D 83 Model-based Testing of Real-Time Embedded Systems in the Automotive Domain by M. Sc. Justyna Zander-Nowicka Faculty IV – Electrical Engineering and Computer Science Technical University Berlin A dissertation submitted in partial fulfillment of the requirements for the degree of Doctor of Engineering Science – Eng. Sc. D. – Accredited Dissertation Examination Board: Chairman: Prof. Eng. Sc. D. Clemens Gühmann Supervisor: Prof. Eng. Sc. D. Ina Schieferdecker Technical University Berlin, Faculty of Electrical Engineering and Computer Science Supervisor: Prof. Dr.

Subjects

Informations

Published by
Published 01 January 2008
Reads 8
Language English
Document size 8 MB


Model-based Testing
of Real-Time Embedded Systems
in the Automotive Domain


vorgelegt von

Dipl. Inform., Dipl. Ing.
Justyna Zander-Nowicka


von der Fakultät IV – Elektrotechnik und Informatik
der Technischen Universität Berlin
zur Erlangung des akademischen Grades der

Doktorin der Ingenieurwissenschaften

– Dr.-Ing. –


Genehmigte Dissertation





Promotionsausschuss:
Vorsitzender: Prof. Dr. –Ing. Clemens Gühmann
Berichter: Prof. Dr. –Ing. Ina Schieferdecker
Berichter: Prof. Dr. rer. nat. Ingolf Heiko Krüger

Tag der wissenschaftlichen Aussprache: 19.12.2008

Berlin, 2009
D 83
Model-based Testing
of Real-Time Embedded Systems
in the Automotive Domain


by

M. Sc.
Justyna Zander-Nowicka



Faculty IV – Electrical Engineering and Computer Science
Technical University Berlin
A dissertation submitted in partial fulfillment
of the requirements for the degree of

Doctor of Engineering Science

– Eng. Sc. D. –

Accredited Dissertation



Examination Board:
Chairman: Prof. Eng. Sc. D. Clemens Gühmann

Supervisor: Prof. Eng. Sc. D. Ina Schieferdecker
Technical University Berlin, Faculty of Electrical Engineering and Computer Science
Supervisor: Prof. Dr. Ingolf Heiko Krüger
University of California, San Diego, Department of Computer Science and Engineering

Day of the Defense: December 19th, 2008



Berlin, 2009
D 83















































To my parents Ewa and Georg Zander.
iiii
































Technical University Berlin
Faculty IV – Electrical Engineering and Computer Science
Department for Design and Testing of Telecommunications Systems
Franklinstraße 28-29
10587 Berlin, Germany
http://www.iv.tu-berlin.de/

University of California, San Diego
Department of Computer Science and Engineering
UCSD CSE Building
9500 Gilman Drive, Dept. 0404
La Jolla, CA 92093-0404, U.S.A.
https://sosa.ucsd.edu/ iii


Abstract

Software aspects of embedded systems are expected to have the greatest impact on industry,
market and everyday life in the near future. This motivates the investigation of this field. Fur-
thermore, the creation of consistent, reusable, and well-documented models becomes an impor-
tant stage in the development of embedded systems. Design decisions that used to be made at
the code level are increasingly made at a higher level of abstraction. The relevance of models
and the efficiency of model-based development have been demonstrated for software engineer-
ing. A comparable approach is applicable to quality-assurance activities including testing. The
concept of model-based testing is emerging in its application for embedded systems.

Nowadays, 44% of embedded system designs meet only 20% of functionality and performance
+expectations [Enc03, Hel 05]. This is partially attributed to the lack of an appropriate test ap-
proach for functional validation and verification. Hence, the problem addressed by this innova-
tion relates to quality-assurance processes at model level, when neither code nor hardware ex-
ists. A systematic, structured, and abstract test specification is in the primary focus of the inno-
vation. In addition, automation of the test process is targeted as it can considerably cut the ef-
forts and cost of development.

The main contribution of this thesis applies to the software built into embedded systems. In par-
ticular, it refers to the software models from which systems are built. An approach to functional
black-box testing based on the system models by providing a test model is developed. It is con-
trasted with the currently applied test methods that form dedicated solutions, usually specialized
in a concrete testing context. The test framework proposed herewith, is realized in the MAT-
LAB®/Simulink®/Stateflow® [MathML, MathSL, MathSF] environment and is called Model-
in-the-Loop for Embedded System Test (MiLEST).

The developed signal-feature – oriented paradigm allows the abstract description of signals
and their properties. It addresses the problem of missing reference signal flows as well as the
issue of systematic test data selection. Numerous signal features are identified. Furthermore,
predefined test patterns help build hierarchical test specifications, which enables a construc-
tion of the test specification along modular divide-and-conquer principles. The processing of
both discrete and continuous signals is possible, so that the hybrid behavior of embedded sys-
tems can be addressed.
The testing with MiLEST starts in the requirements phase and goes down to the test execution
level. The essential steps in this test process are automated, such as the test data generation and
test evaluation to name the most important.

Three case studies based on adaptive cruise control are presented. These examples correspond
to component, component-in-the-loop, and integration level tests. Moreover, the quality of the
test specification process, the test model, and the resulting test cases is investigated in depth.
The resulting test quality metrics are applied during the test design and test execution phases so
as to assess whether and how the proposed method is more effective than established tech-
niques. A quality gain of at least 20% has been estimated.

iv iv
Zusammenfassung

Die Forschung im Bereich Software-Aspekte von eingebetteten Systemen wird in naher Zu-
kunft entscheidenden Einfluss auf Industrie-, Markt- und Alltagsleben haben. Das regt die Un-
tersuchung dieses Anwendungsgebietes an. Weiterhin wird die Erstellung eines konsistenten,
wiederverwendbaren und gut dokumentierten Modells die wichtigste Aufgabe bei der Entwick-
lung von eingebetteten Systemen. Designentscheidungen, die früher auf der Kodeebene be-
schlossen wurden, werden heute zunehmend auf einer höheren Abstraktionsebene getroffen.
Außerdem, wenn die Debatte über die Relevanz von Modellen und modellbasierter Entwick-
lung für die Softwaretechnik zutreffend ist, dann besitzt sie auch Gültigkeit für Aktivitäten der
Qualitätssicherung einschließlich Testen. Hiermit wird das Konzept des modellbasierten Tes-
tens entwickelt.
Heutzutage erfüllen 44% der eingebetteten Systemdesigns 20% der Erwartungen an Funktiona-
+lität und Leistung [Enc03, Hel 05]. Das liegt zum Teil daran, dass ein passender Testansatz für
funktionale Validierung und Verifikation fehlt. Folglich bezieht sich das in dieser Dissertation
besprochene Problem auf den Qualitätssicherungsprozess auf Modellebene, wenn weder Kode
noch Hardware existiert. Eine systematische, strukturierte, wiederholbare und möglichst abs-
trakte Testspezifikation ist der Hauptschwerpunkt dieser Arbeit. Ein weiteres Ziel ist eine Au-
tomatisierung des Testprozesses, da diese den Arbeitsaufwand und die Kosten der Entwicklung
beträchtlich senken kann.

Der Hauptbeitrag dieser Dissertation gilt für Software der eingebetteten Systemen und bezieht
sich die eigentliche Breite dieser Arbeit auf Modelle des Softwares, auf deren Grundlage folg-
lich die Systeme gebaut werden. Ein Ansatz für funktionale Black-Box Tests, die auf den Mo-
dellen basieren und die selbst auch ein Testmodell darstellen, wurde entwickelt. Dem stehen
derzeit verwendete Testmethoden gegenüber, die zweckbestimmte Lösungen für in der Regel
spezialisierte Testzusammenhänge darstellen. Die hier vorgeschlagene Testframework wurde in
einer MATLAB®/Simulink®/Stateflow®-Umgebung realisiert und trägt den Namen Model-in-
the-Loop for Embedded System Test (MiLEST).

Das Signalsmerkmals-orientierte Paradigma erlaubt eine abstrakte Beschreibung eines Signals
und spricht sowohl die Probleme des fehlenden Verlaufes von Referenzsignalen als auch der
systematischen Testdatenauswahl an. Zahlreiche Signalsmerkmale werden identifiziert und
klassifiziert, vordefinierte Testmuster helfen, hierarchische Testspezifikationen zu bilden. Da-
durch wird die Verarbeitung von diskreten und kontinuierlichen Signalen möglich, so dass das
hybride Verhalten des Systems adressiert wird.
Das Testen mittels MiLEST beginnt in der Anforderungsphase und geht hinunter auf das Test-
durchführungsniveau. Einige Prozessschritte sind automatisiert, wobei die Testdatengenerie-
rung und die Testauswertung zu den wichtigsten zählen.

Drei Fallstudien, die auf der Funktionalität des Tempomats basieren, werden vorgestellt. Diese
Beispiele entsprechen den Komponententests, Component-in-the-Loop-Tests und Integrations-
niveautests. Außerdem, werden die Qualität des Testspezifikationsprozesses, des Testmodells
und der resultierenden Testfälle genauer untersucht. Die Testqualitätsmetriken werden dann
während der Testkonstruktion und der Testdurchführung angewendet, um einzuschätzen, ob
und in welchem Maße sich die vorgeschlagene Methode von bekannten Techniken unterschei-
det. Qualitätsgewinn von mindestens 20% wird abgeschätzt.
v


Declaration

The work presented in this thesis is original work undertaken between September 2005 and
August 2008 at the Fraunhofer Institute for Open Communication Systems, Competence Center
– Modeling and Testing for System and Service Solutions, the Technical University of Berlin,
Faculty of Electrical Engineering and Computer Science, and the University of California, San
Diego, Department of Computer Science and Engineering. It has been financed by several
research grants and the doctoral fellowship awarded to the author by Studienstiftung des
1deutschen Volkes . Portions of this work have been already presented elsewhere due to a num-
ber of research travel scholarships received from the IFIP, IEEE, Siemens, and Métodos y Tec-
nología. They resulted in the following publications:

− ZANDER-NOWICKA, J., SCHIEFERDECKER, I., MARRERO PÉREZ, A.: Automotive Valida-
tion Functions for On-line Test Evaluation of Hybrid Real-time Systems, In Proceed-
ings of the IEEE 41st Anniversary of the Systems Readiness Technology Conference
(AutoTestCon 2006), Pages: 799-805, IEEE Catalog Number: 06CH37750C, ISBN: 1-
4244-0052-X, ISSN: 1088-7725, Anaheim, CA, U.S.A. 2006.

− ZANDER-NOWICKA, J., SCHIEFERDECKER, I., FARKAS, T.: Derivation of Executable
Test Models From Embedded System Models using Model Driven Architecture Arte-
facts - Automotive Domain, In Proceedings of the Model Based Engineering of Em-
bedded Systems II (MBEES II), Editors: Giese, H., Rumpe, B., Schätz, B., TU Braun-
schweig Report TUBS-SSE 2006-01, Dagstuhl, Germany. 2006.

− ZANDER-NOWICKA, J., MARRERO PÉREZ, A., SCHIEFERDECKER, I.: From Functional
Requirements through Test Evaluation Design to Automatic Test Data Retrieval – a
Concept for Testing of Software Dedicated for Hybrid Embedded Systems, In Pro-
ceedings of the IEEE 2007 World Congress in Computer Science, Computer Engineer-
ing, & Applied Computing; The 2007 International Conference on Software Engineer-
ing Research and Practice (SERP 2007), Editors: Arabnia, H. R., Reza, H., Volume II,
Pages: 347-353, ISBN: 1-60132-019-1, Las Vegas, NV, U.S.A. CSREA Press, 2007.

− ZANDER-NOWICKA, J., MARRERO PÉREZ, A., SCHIEFERDECKER, I., DAI, Z. R.: Test De-
sign Patterns for Embedded Systems, In Business Process Engineering. Conquest-
Tagungsband 2007 – Proceedings of the 10th International Conference on Quality En-
gineering in Software Technology (CONQUEST 2007), Editors: Schieferdecker, I.,
Goericke, S., ISBN: 3898644898, Potsdam, Germany. Dpunkt.Verlag GmbH, 2007.

− ZANDER-NOWICKA, J.: Reactive Testing and Test Control of Hybrid Embedded Soft-
ware, In Proceedings of the 5th Workshop on System Testing and Validation (STV
2007), in conjunction with ICSSEA 2007, Editors: Garbajosa, J., Boegh, J., Rodriguez-
Dapena, P., Rennoch, A., Pages: 45-62, ISBN: 978-3-8167-7475-4, Paris, France.
Fraunhofer IRB Verlag, 2007.



1 Studienstiftung des deutschen Volkes – http://www.studienstiftung.de [04/09/2008].
vi vi
− ZANDER-NOWICKA, J., XIONG, X., SCHIEFERDECKER, I.: Systematic Test Data Genera-
tion for Embedded Software, In Proceedings of the IEEE 2008 World Congress in
Computer Science, Computer Engineering, & Applied Computing; The 2008 Interna-
tional Conference on Software Engineering Research and Practice (SERP 2008), Edi-
tors: Arabnia, H. R., Reza, H., Volume I, Pages: 164-170, ISBN: 1-60132-086-8, Las
Vegas, NV, U.S.A. CSREA Press, 2008.

− ZANDER-NOWICKA, J.: Model-Based Testing of Real-Time Embedded Systems for
Automotive Domain, In Proceedings of the International Symposium on Quality Engi-
neering for Embedded Systems (QEES 2008); in conjunction with 4th European Con-
ference on Model Driven Architecture – Foundations and Applications, Pages: 55-58,
ISBN: 978-3-8167-7623-9, Berlin. Fraunhofer IRB Verlag, 2008.

− ZANDER-NOWICKA, J., MOSTERMAN, J. P., SCHIEFERDECKER, I.: Quality of Test Speci-
fication by Application of Patterns, In Proceedings of the 2nd International Workshop
on Software Patterns and Quality (SPAQu 2008); in conjunction with 15th Conference
on Pattern Languages of Programs (PLoP 2008), co-located with OOPSLA 2008,
Nashville, TN, U.S.A. 2008.

− ZANDER-NOWICKA, J., SCHIEFERDECKER, I.: Model-based Testing. In Behavioral
Modeling for Embedded Systems and Technologies: Applications for Design and Im-
plementation, Editors: Gomes, L., Fernandes, J. M., to appear. IGI Global, 2009.


The authors tend to protect their invention in the market. Hence, the proposed algorithms for
software quality assurance, the corresponding test methodology, and the resulting test execution
framework, called MiLEST have been submitted to the United States Patent and Trademark
thOffice (USPTO) on June 20 , 2008 as a patent application.