Ordering transactions on distributed persistent objects

Abstract

Resilient and consistent data storage is critical for applications and services across all industries. As such, various persistent storage layers, such as database storage systems, have been developed. These either require complex data translations, commonly tackled through Object-Relational Mapping (ORM), or force the application to use data types specifically developed for persistent storage (e. g., Intel PMDK). Persistent objects describe a novel storage system that is able to persist and transactionally modify application-defined objects. With persistent objects, applications transactionally execute arbitrary functions on their existing data objects. However, they only allow local transactional modifications on individual objects, as there are no consistency guarantees across sequences of transactions. In this work, we present a novel distributed transaction coordination algorithm called Two-Phase Ordering (2PO) that provides isolation between concurrently executing clients. The algorithm uses application-specific knowledge, which becomes available through the use of application-native objects in the local persistent storage layer. Moreover, the distributed transaction execution order of 2PO depends entirely on the user’s desired semantics. Thus, the system accomodates both linearizable consistency as well as arbitrary interleavings of non-transactional interactions at the same time. By proving the consistency guarantees of 2PO in the general case, we show that our work is applicable to traditional transactional storage systems (e. g., databases) as well. Our evaluations show that 2PO supports linearizability as well as highly available transaction consistency models, such as Monotonic Atomic View (MAV), both with high commit rates (above 97 % under high contention), all while scaling linearly with the number of nodes.

Resilienter und konsistenter Datenspeicher ist wichtig für Applikationen und Services in jedem Anwendungsbereich. Daher wurden viele verschiedenen Speicherschichten, zum Beispiel Datenkbanksysteme entwickelt. Diese benötigen jedoch entweder komplexes Übersetzen von Daten, was üblicherweise durch Object-Relational Mapping (ORM) realisiert wird, oder zwingen die Anwendung dazu, besondere Datentypen zu benutzen, die speziell für persistenten Speicher entwickelt wurden (z.B. Intel PMDK). Persistent Objects beschreiben ein neuartiges Speichersystem das applicationsspezifische Objekte persistieren und transaktionell modifizieren kann. Mit Persistent Objects können Applikationen beliebige Funktionen auf ihren bestehenden Objekten transaktionell ausführen. Allerdings ermöglichen Persistent Objects nur lokale transaktionelle Modifikationen von einzelnen Objekten; es gibt keine Konsistenzgarantien über Sequenzen von Transaktionen. Mit dieser Arbeit präsentieren wir einen neuartigen verteilten Transaktionskoordinationsalgorithmus den wir Two-Phase Ordering (2PO) nennen. Dieser ermöglicht die Isolation zwischen gleichzeitig ausführenden Clients. Der Algorithmus verwendet dafür Wissen über die Anwendung, welches durch die Verwendung von Applikations-spezifischen Objekten in persistentem Speicher verfügbar wird. Außerdem hängt die Ausführungsreihenfolge der Transaktionen nur von Semantiken ab, die durch den Nutzer angegeben werden. Daher unterstützt das System sowohl Linearisierbarkeit als auch beliebige Verschachtelungen von nicht-transaktionellen Interaktionen gleichzeitig. Wir beweisen die Konsistenzgarantien von 2PO im allgemeinen Fall und zeigen so, dass unsere Arbeit auch für traditionelle transaktionelle Speichersysteme (z.B. Datenbanken) anwendbar ist. Unsere Evaluierungen zeigen, dass 2PO sowohl Linearisierbarkeit als auch Konsistenzmodelle von sogenannten highly available transactions, wie zum Beispiel Monotonic Atomic View (MAV) unterstützt. Beide Konsistenzmodelle haben hohe Commitraten (über 97 % bei hoher Contention), und skalieren linear mit der Anzahl teilnehmender Knoten.