Optimizing Stateful Serverless Computing

Abstract

Stateful serverless computing is a new paradigm within cloud computing. It successfully incorporates state management with serverless computing. Serverless computing is a form of cloud computing where the servers necessary for performing computation have been abstracted away, leaving the choice of where and how to perform a computation solely in the hands of the cloud provider. This abstraction simplifies the programming model for the cloud user, who can focus on business logic instead of scaffolding. It also offers the cloud provider greater freedom in how to manage the involved data centers, allowing for greater utilization of available resources.

In this thesis, I propose an autonomous platform for stateful serverless computing, provide a reference design and study the involved problems while providing their solutions. I focus on optimizing the entire system from the perspective of a cloud provider in terms of efficiency, cost and quality. The platform is able to autonomously adjust the supply of computing resources to meet fluctuations in demand without unnecessary waste. I show how to manage state in an efficient manner, which reduces latency while retaining flexibility in moving computations among servers. I further show how to manage a data cache in a cost-efficient manner, trading computation for storage. I present a new model for assigning computations to servers, allowing for higher utilization of available computing resources, thereby reducing the operational expenses of the cloud provider. I also show how to quickly solve this model, allowing for continuous redistribution of computations among servers to help maintain high resource utilization.

Merging theory and practice, I evaluate my designs both analytically and empirically. For empirical evaluation, I employ computational experiments, primarily through discrete-event simulation. While this work remains in its infancy, I believe that the presented concepts can be further refined into a working production system through dedicated, practical work. Some important questions remain unanswered, but hopefully they will one day be settled.

----------

Serverlösa datortjänster med tillståndsdata utgör en ny paradigm bland molnbaserade datortjänster. Detta område införlivar hanteringen av tillståndsdata och serverlösa datortjänster. Serverlösa datortjänster är ett delområde inom molnbaserade datortjänster där servrarna som behövs för beräkning har abstraherats bort, vilket låter leverantören av molnbaserade datortjänster avgöra var och hur beräkningar utförs. Detta förfarande förenklar utvecklingsmodellen för användaren av molnbaserade datortjänster, i och med att denne kan fokusera på verksamhetslogik i stället för infrastruktur. Å andra sidan erhåller leverantören av molnbaserade datortjänster större frihet i hanteringen av involverade datacentra, vilket tillåter en högre nyttjandegrad av tillgängliga resurser.

I denna avhandling lägger jag fram en självstyrande plattform för serverlösa datortjänster med tillståndsdata, tillhandahåller en referensutformning samt undersöker och löser de underliggande problemställningarna. Huvudinriktningen ligger på optimering av systemet som helhet, utgående från leverantörens synvinkel i fråga om effektivitet, kostnad och kvalitet. Plattformen förmår självmant anpassa utbudet av beräkningsresurser för att tillmötesgå variation i efterfrågan utan onödigt spill. Jag fastslår hur man effektivt hanterar tillståndsdata, vilket minskar latens samtidigt som flexibiliteten i att flytta beräkningar mellan servar kvarhålls. Vidare påvisar jag hur man förvaltar ett cacheminne på ett kostandseffektivt sätt genom att byta beräkning mot lagring. Jag presenterar en ny modell för att tilldela beräkningar till servrar, vilket främjar en högre nyttjandegrad av tillgängliga beräkningsresurser. På detta vis minskas leverantörens driftskostnader. Jag fastslår även hur man snabbt löser denna modell, vilket tillåter kontinuerlig omfördelning av beräkningar mellan servrar i syfte att behålla en hög nyttjandegrad av beräkningsresurser

Genom att sammanfläta teori och praktik utvärderar jag mina skapelser såväl analytiskt som empiriskt. För empirisk utvärdering begagnar jag beräkningsexperiment, främst genom diskret händelsesimulering. Även om detta arbete fortfarande ligger i sin linda tror jag att de förevisade koncepten kan vidareutvecklas till ett fungerande produktionssystem genom hängivet, praktiskt arbete. Vissa viktiga frågor förblir obesvarade, men förhoppningsvis kommer de en dag att avklaras.