Can proposed service interface metrics effectively evaluate the quality of RESTful APIs? : a repository mining study on API evolution

Abstract

RESTful Web Services und APIs sind in der Industrie weit verbreitet und stellen eine häufig genutzte Möglichkeit dar, Funktionen über eine klar definierte und technologieunabhängige Schnittstelle bereitzustellen. Während diese APIs auf der Grundlage von Best Practices oder Antipatterns analysiert werden können, kann ihre Schnittstellenqualität auch mit Metriken bewertet werden. Mehrere der in der Literatur vorgeschlagenen Schnittstellenmetriken wurden im RAMA-Ansatz auf der Grundlage der API-Dokumentation implementiert. Um die Effektivität der vorgeschlagenen Schnittstellenmetriken empirisch zu bewerten, haben wir eine große Stichprobe öffentlich verfügbarer APIs analysiert und die Metrikwerte mit realisierbaren Grundwahrheiten für Softwarequalität verglichen. Die API-Beschreibungen wurden mit der RAMA CLI analysiert und die Softwarequalitätsmetriken wurden mit SonarQube und Git gesammelt. Mit Hilfe multipler linearer Regressionsmodelle untersuchten wir die Korrelation zwischen API-Metriken und Softwarequalitätsmetriken. Außerdem untersuchten wir den Trend der Korrelation über die Entwicklung eines Projekts. Unsere Ergebnisse deuten darauf hin, dass einige API-Metriken statistisch signifikant mit Metriken zur Wartbarkeit korrelieren. Die Regressionsmodelle und der Trend der Korrelation deuten jedoch darauf hin, dass mit der Entwicklung eines Projekts neben den API-Metriken eine zunehmende Anzahl von Faktoren die Qualität des Quellcodes beeinflussen.

RESTful web services and APIs are popular in industry and represent one commonly used way to expose functionality via a well-defined and technology-agnostic interface. While these APIs can be analyzed based on best practices or antipatterns, their interface quality can also be evaluated with metrics. Several of the interface metrics proposed in literature have been implemented in the RAMA approach based on API documentation. To empirically evaluate the effectiveness of the proposed interface metrics, we analyzed a large sample of publicly available APIs and compared the metric values to feasible ground truths for software quality. API descriptions were analyzed using the RAMA CLI and software quality metrics were collected using SonarQube and git. We used multiple linear regression models to examine the correlation between API metrics and software quality metrics. Furthermore, we studied the trend of the correlation over the evolution of a project. Our results suggest that some API metrics statistically significantly correlate with maintainability metrics. However, the regression models and the trend of the correlation indicate that as a project evolves, an increasing number of factors besides the API metrics influence the quality of the source code.