Kanaan, Mhd Esmail (2025) Entwicklung effizienter Zugriffsstrukturen auf großen Messdatenfiles. Other thesis, Universität Rostock.
![[img]](https://eprints.dbis.informatik.uni-rostock.de/style/images/fileicons/text.png) |
Text
REAL_AbschlussArbeit Final.pdf Download (2MB) |
Abstract
Die vorliegende Arbeit beschäftigt sich mit der Entwicklung effizienter Zugriffsstrukturen auf große Messdatenfiles am Beispiel von LIDAR-Daten, die im HDF5-Format vorliegen. Motiviert durch die stetig wachsenden Datenmengen am Leibniz-Institut für Atmosphärenphysik wurde untersucht, wie Abfragen auf Petabyte-großen Datensätzen beschleunigt und gleichzeitig die Speicherorganisation konsistent gehalten werden können. Zu diesem Zweck wurden verschiedene Indexstrukturen untersucht, miteinander verglichen und im Hinblick auf die Anforderungen dieser Arbeit bewertet. Anschließend wurde diskutiert, wie die ausgewählte Struktur in den bestehenden Datenworkflow integriert und für die effiziente Durchführung von Abfragen auf den Messdaten eingesetzt werden kann. Die durchgeführten Experimente zeigen, dass externe Indexierung konsistent die besten Laufzeiten erzielt. Interne Indexierung bietet zwar Vorteile in Bezug auf die direkte Integration, verursacht jedoch deutlich höhere Laufzeiten aufgrund der Restriktionen des HDF5-Formats. Bei der Variante ohne Indexierung, wobei einfache Pythonskripte genutzt sind, bleiben die Zugriffszeiten wegen der linearen Suche stabil. Insgesamt verdeutlichen die Ergebnisse, dass eine Kombination aus HDF5 als primärem Datenspeicher und einer ergänzenden externen Indexierung den vielversprechendsten Ansatz darstellt, um auch künftig wachsende Datenmengen effizient verwalten und wissenschaftliche Abfragen performant unterstützen zu können.
| Item Type: | Thesis (Other) |
|---|---|
| Subjects: | Autorenart > Studentische Arbeiten > Bachelorarbeit Forschungsthemen > Anfrageoptimierung Forschungsthemen > Forschungsdatenmanagement Autorenart > Studentische Arbeiten |
| Depositing User: | Dbis Admin |
| Date Deposited: | 10 Nov 2025 14:48 |
| Last Modified: | 10 Nov 2025 14:48 |
| URI: | https://eprints.dbis.informatik.uni-rostock.de/id/eprint/1135 |
Actions (login required)
 |
View Item |
