Securing the Internet by analysing and controlling DNS traffic: email worm detection and mitigation [Elektronische Ressource] / vorgelegt von Nikolaos Chatzis

-

English
191 Pages
Read an excerpt
Gain access to the library to view online
Learn more

Description

Securing the Internet byAnalysing and Controlling DNSTra c: Email Worm Detectionand Mitigationvorgelegt vonDiplom-IngenieurNikolaos Chatzisvon der Fakult at IV - Elektrotechnik und Informatikder Technischen Universit at Berlinzur Erlangung des akademischen GradesDoktor der Ingenieurwissenschaften{ Dr.-Ing. {genehmigte DissertationPromotionsausschuss:Vorsitzender: Prof. Dr. Hans-Ulrich Hei Berichter: Prof. Dr. Radu Popescu-ZeletinBerichter: Prof. Dr. Jean-Pierre SeifertBerichter: Prof. Dr. Dimitrios SerpanosTag der wissenschaftlichen Aussprache: 17. November 2010Berlin 2010D 83iiiiiAbstractThe Domain Name System (DNS) is a critical infrastructure of the Internet becausealmost all applications that run on Internet-connected machines depend on the nameresolution service it provides to work. The DNS consists of three components: the domainname space, the name servers, and the clients, formally referred to as resolvers. Due to itscritical nature, the domain name space and the name servers have been for many yearsvery attractive targets for attackers seeking to in ict widespread damage. To deal with thisstate of a airs, substantial attention and investment have been directed at enhancing thesecurity of and protecting the DNS to ensure its continuous, reliable and e cient operation.This, in conjunction with a notable shift in the motivation and pro le of attackers haveled in recent years to a considerable change in the Internet attack landscape.

Subjects

Informations

Published by
Published 01 January 2010
Reads 6
Language English
Document size 13 MB
Report a problem

Securing the Internet by
Analysing and Controlling DNS
Tra c: Email Worm Detection
and Mitigation
vorgelegt von
Diplom-Ingenieur
Nikolaos Chatzis
von der Fakult at IV - Elektrotechnik und Informatik
der Technischen Universit at Berlin
zur Erlangung des akademischen Grades
Doktor der Ingenieurwissenschaften
{ Dr.-Ing. {
genehmigte Dissertation
Promotionsausschuss:
Vorsitzender: Prof. Dr. Hans-Ulrich Hei
Berichter: Prof. Dr. Radu Popescu-Zeletin
Berichter: Prof. Dr. Jean-Pierre Seifert
Berichter: Prof. Dr. Dimitrios Serpanos
Tag der wissenschaftlichen Aussprache: 17. November 2010
Berlin 2010
D 83iiiii
Abstract
The Domain Name System (DNS) is a critical infrastructure of the Internet because
almost all applications that run on Internet-connected machines depend on the name
resolution service it provides to work. The DNS consists of three components: the domain
name space, the name servers, and the clients, formally referred to as resolvers. Due to its
critical nature, the domain name space and the name servers have been for many years
very attractive targets for attackers seeking to in ict widespread damage. To deal with this
state of a airs, substantial attention and investment have been directed at enhancing the
security of and protecting the DNS to ensure its continuous, reliable and e cient operation.
This, in conjunction with a notable shift in the motivation and pro le of attackers have
led in recent years to a considerable change in the Internet attack landscape. Attacks have
gradually become more sophisticated and focused, and nancial gain has evolved into the
major driving force behind them. In this new era, attackers have realised that misusing
the name servers or exploiting the name resolution service comes with greater damage or
economic pro t than directly attacking the components of the DNS or disrupting the name
resolution service. As an immediate consequence, the vast majority of Internet attacks
nowadays produce an observable e ect on the DNS tra c that traverses the Internet, the
operation of the name servers, or in some cases on both. In the present study, it is shown
that this observation opens a new and very promising perspective for e ectively detecting
and mitigating a wide variety of Internet attacks.
To demonstrate the value of this perspective, the present study is devoted to detecting
and mitigating Internet worms that along with bot software are the two major Internet
threats network operators and end users face. The focus is particularly on email worms,
which have been, and remain, a very popular medium for attackers to achieve their ends
and, therefore, the most prevalent type of Internet worms and malicious software in general.
The attackers’ ends include installing bot software designed to distribute unsolicited
emails or launch targeted distributed denial of service attacks, stealing private information
and destroying key data. In this thesis, a method for detecting user machines that are
compromised by email worms on the local name servers is introduced. The method uses
clustering and similarity search over time series derived from the DNS query streams
of user machines. It is demonstrated that the method overcomes the limitations of the
existing methods, exhibits remarkable accuracy and negligible false alarm rate, and can be
e ective in the long run. In addition, a method for containing email worms is introduced.
The method uses a tra c control mechanism to regulate the DNS response streams that
the local name servers return to user machines and, thereby, limit the rate at which
compromised user machines spread email worms further. It is shown that the method has
the potential to slow down the epidemics of email worms and contribute to reducing the
illegitimate email and DNS tra c compromised user machines send to the Internet with
minimally, if at all, a ecting their legitimate tra c.ivv
Zusammenfassung
Das Domain Name System (DNS) ist eine fur das Internet unentbehrliche Infrastruk-
tur, weil fast alle Anwendungen, die auf mit dem Internet verbundenen Maschinen laufen,
von der Namensau osung, die es zur Verfugung stellt, abhangen. Das DNS besteht aus
drei Komponenten: dem Domain-Namensraum, den Nameservern und den Klienten, formal
Resolver genannt. Wegen seiner kritischen Natur waren der Domain-Namensraum und die
Nameserver jahrelang sehr attraktive Ziele fur Angreifer, die versuchen, weit verbreiteten
Schaden zuzufugen. Um diesen Stand der Dinge zu uberwinden, wurde gro e Aufmerk-
samkeit auf die Verbesserung der Sicherheit sowie den Schutz des DNS gerichtet, und
bedeutende Investitionen getatigt, um seinen durchgehenden, zuverlassigen und e zienten
Betrieb sicherzustellen. In Verbindung mit einer bemerkenswerten Verschiebung in der
Motivation und im Pro l der Angreifer hat dies in den letzten Jahren zu einer betr achtlichen
Anderung in der Internet-Angrislandschaft gefuhrt. Die Angri e wurden schrittweise
verfeinert und fokussiert, und nanzieller Gewinn hat sich zur ihrer treibenden Hauptkraft
entwickelt. In dieser neuen Ara haben die Angreifer festgestellt, dass der Missbrauch der
Nameserver oder die Ausnutzung des Namensau osungdienstes gro eren wirtschaftlichen
Schaden verspricht, als direkte Angri e auf die DNS-Komponenten oder das St oren des
Namensau osungdienstes. Als direkte Konsequenz hat heutzutage die ub erwiegende Mehr-
heit von Internet-Angri en einen sichtbaren E ekt auf den DNS-Verkehr, der das Internet
durchquert, auf den Betrieb der Nameserver, oder in einigen Fallen auf beides. In dieser
Studie wird demonstriert, dass diese Beobachtung eine neue und sehr viel versprechende
Perspektive bietet, um viele Internet-Angri e e ektiv zu erkennen und abzuschw achen.
Um den Wert dieser Perspektive zu demonstrieren, behandelt die vorliegende Studie
die Erkennung und Abschwac hung von Internet-Wurmern, die zusammen mit Bot-Software
die zwei Hauptbedrohungen fur die Netzwerk-Betreiber und Endbenutzer im Internet
sind. Der Fokus liegt besonders auf Email-Wurmern, die ein sehr populares Mittel sind,
damit Angreifer ihre Zwecke erreichen, und deshalb die ub erwiegende Auspragung der
Internet-Wurmer und Schadprogramme im Allgemeinen gewesen sind und bleiben. Diese
Zwecke umfassen die Installation von Bot-Software, entworfen um unaufgefordert Emails
zu verteilen und gezielte verteilte Leistungsverweigerungsangri zu starten, den Diebstahl
von privaten Informationen und das Zerstoren von sensitiven Daten. In dieser Arbeit
wird eine Methode fur die Erkennung von Benutzermaschinen, die mit Email-Wurmern
angesteckt sind, auf dem lokalen Nameserver vorgestellt. Die Methode benutzt Clustering
und Ahnlichkeitssuche ub er Zeitreihen, abgeleitet aus DNS-Anfragestromen, die Benut-
zermaschinen erzeugen. Es wird gezeigt, dass sie die Beschrankungen der vorhandenen
Methoden ub erwindet, bemerkenswerte Genauigkeit und eine unwesentliche Rate von
Falsch-Positiv-Meldungen erreicht und langfristig wirkungsvoll sein kann. Zusatzlic h wird
eine Methode fur die Eingrenzung von Email-Wurmern eingefuhrt. Die Methode benutzt
einen Verkehrssteuerungsmechanismus, um die DNS-Antwortstrome zu regulieren, die
lokale Nameserver zu den Benutzermaschinen zuruc kschicken und dadurch die Rate, mit
der in zierte Benutzermaschinen Email-W urmer weiter verbreiten. Es wird gezeigt, dass sie
das Potenzial hat, Email-Wurmepidemien zu verlangsamen und zur Verringerung von ille-
gitimem Email-und DNS-Verkehr, den angesteckte Benutzermaschinen ins Internet senden,
zu beitragen, mit keinem bis minimalem Ein uss auf den legitimen Benutzerverkehr.vivii
Acknowledgements
Working toward a PhD is a lonely and di cult task, yet one that cannot be
successfully completed without the assistance of others. My own experience was no
di erent, and there are some people to whom I owe a great debt of gratitude.
First, I would like to express my profound and most sincere gratitude to my
adviser, Professor Radu Popescu-Zeletin, for his time, guidance and for o ering me
the opportunity to carry out my PhD research work at the Fraunhofer Institute
FOKUS as well as the freedom to pursue a research topic of my own interest.
I am also very thankful to Professors Jean-Pierre Seifert and Dimitrios Serpanos
for their critical review and valuable suggestions on earlier versions of this thesis. I
owe my deepest thanks to Associate Professor Nevil Brownlee for believing in my
ideas, accepting to co-author my papers and providing constructive feedback.
During my time at the Fraunhofer Institute FOKUS, I have had the pleasure
and privilege to closely interact with two great students, Enric Pujol and Silke Peters.
I would like to thank them for all the stimulating discussions, invaluable input and
their companionship, patience and understanding in the course of this work.
My appreciation and respect go to three current and former colleagues at the
Fraunhofer Institute FOKUS, Ranganai Chaparadza, Thomas Hirsch and Mikhail
Smirnov. Without their invaluable advice, encouragement and support in various
ways and times, it would have taken me much longer to complete this work.
Finally, this work would never have been possible without the unconditional
love and support of my friends and family. I am particularly indebted to Ilias, Enric,
Angelos, Evgenia and last, but not least, to Eleni for always being there for me as a
constant source of inspiration, motivation and strength over the past years.viiiContents
I Introduction, Background and Motivation 1
1 Introduction 3
1.1 Research Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Key Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Thesis Organisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2 Background and Motivation 7
2.1 DNS Role, Components and Operation . . . . . . . . . . . . . . . . . 7
2.2 Internet Threats from the DNS Viewpoint . . . . . . . . . . . . . . . 9
2.2.1 Exploitation of DNS Design Vulnerabilities . . . . . . . . . . . 11
2.2.2 Ex of DNS Implementation Vulnerabilities . . . . . . 17
2.2.3 Exploitation of the Name Resolution Service . . . . . . . . . . 19
2.3 Research Topic Selection . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.3.1 Trends in Internet Worms . . . . . . . . . . . . . . . . . . . . 26
2.3.2 Email Worm Life Cycle . . . . . . . . . . . . . . . . . . . . . . 28
2.3.3 Email Worms vs. Botnets . . . . . . . . . . . . . . . . . . . . 32
2.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
II Detection of Internet Worms 35
3 Literature Review 37
3.1 General Detection Methods . . . . . . . . . . . . . . . . . . . . . . . 37
3.2 Behaviour-Based Detection Methods . . . . . . . . . . . . . . . . . . 41
3.2.1 Methods for Scanning Worms . . . . . . . . . . . . . . . . . . 42
3.2.2 Methods for IM Worms . . . . . . . . . . . . . . . . . . . . . . 45
3.2.3 Methods for P2P Worms . . . . . . . . . . . . . . . . . . . . . 46
3.2.4 Methods for Email Worms . . . . . . . . . . . . . . . . . . . . 48
3.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
ixx Contents
4 Proposed Detection Method 57
4.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.2 Time Series Similarity Search . . . . . . . . . . . . . . . . . . . . . . 62
4.2.1 Discrete Fourier Transform . . . . . . . . . . . . . . . . . . . . 66
4.2.2 Discrete Wavelet T . . . . . . . . . . . . . . . . . . . 67
4.2.3 Piecewise Approximations . . . . . . . . . . . . . . . . . . . . 69
4.2.4 Chebyshev Approximation . . . . . . . . . . . . . . . . . . . . 70
4.2.5 Singular Value Decomposition . . . . . . . . . . . . . . . . . . 72
4.3 Feature Vectors Clustering . . . . . . . . . . . . . . . . . . . . . . . . 73
4.3.1 Algorithm Selection . . . . . . . . . . . . . . . . . . . . . . . . 74
4.3.2 Results Validation . . . . . . . . . . . . . . . . . . . . . . . . 76
4.4 Experimental Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.4.1 Experimental Setup . . . . . . . . . . . . . . . . . . . . . . . . 78
4.4.2 Overall E cacy . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.4.3 Per Worm E cacy . . . . . . . . . . . . . . . . . . . . . . . . 86
4.5 Evasion of Proposed Method . . . . . . . . . . . . . . . . . . . . . . . 97
4.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
III Mitigation of Internet Worms 101
5 Literature Review 103
5.1 Mitigation Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . 103
5.2 Containment Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.2.1 Methods for Scanning Worms . . . . . . . . . . . . . . . . . . 105
5.2.2ds for IM Worms . . . . . . . . . . . . . . . . . . . . . . 108
5.2.3 Methods for P2P Worms . . . . . . . . . . . . . . . . . . . . . 109
5.2.4ds for Email Worms . . . . . . . . . . . . . . . . . . . . 110
5.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
6 Proposed Mitigation Method 113
6.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.2 Tra c Control Mechanisms . . . . . . . . . . . . . . . . . . . . . . . 115
6.3 Simulation Model Design . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.3.1 Email Network . . . . . . . . . . . . . . . . . . . . . . . . . . 121
6.3.2 Legitimate Tra c . . . . . . . . . . . . . . . . . . . . . . . . . 123
6.3.3 Illegitimate Tra c . . . . . . . . . . . . . . . . . . . . . . . . 125
6.4 Simulation Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 127
6.4.1 Simulation Setup . . . . . . . . . . . . . . . . . . . . . . . . . 127
6.4.2 Containment Strategy . . . . . . . . . . . . . . . . . . . . . . 130
6.4.3 Reaction Time . . . . . . . . . . . . . . . . . . . . . . . . . . 134
6.5 Evasion of Proposed Method . . . . . . . . . . . . . . . . . . . . . . . 138