CAPTCHA mechanisms using semantic NLU tasks

Abstract

In 2019, one-fourth of all internet traffic was made of malicious bots. CAPTCHAs are a main countermeasure used as a test to detect non-human users. With the advancement of computational attackers using artificial intelligence, their success in these CAPTCHAs rises continuously. This bachelor’s thesis aims to provide new CAPTCHA mechanisms using semantic natural language understanding (NLU) tasks, which are generally considered hard to solve for advanced computational attackers. The task used for the NLU CAPTCHA challenges involves rating the semantic similarity of a word in two different contexts. A study with 275 participants was conducted to evaluate human usability. The study results show a high human difficulty for these challenges. Further, these challenges provide insufficient resistance against an advanced attacker. This leads to the conclusion that, in the current state, the semantic NLU CAPTCHA provides no benefit to existing CAPTCHAs. However, some challenge results indicate that with further adjustments, NLU tasks may still be relevant in use for CAPTCHA challenges.

Im Jahr 2019 waren bösartige Bots für ein Viertel des gesamten Internetverkehrs verantwortlich. CAPTCHAs dienen als ein Hauptmittel, um solche nicht menschlichen Nutzer abzuwehren. Jedoch steigt durch den vermehrten Einsatz von künstlicher Intelligenz die Erfolgsrate der Computerangreifer auf CAPTCHAs. Das Ziel dieser Bachelorarbeit ist es, neue CAPTCHA Mechanismen aus semantischen Aufgaben des natürlichen Sprachverständnisses (NLU) bereitzustellen, da diese Aufgaben generell als schwierig für fortgeschrittene Computerangreifer gelten. Die CAPTCHA Herausforderungen bestehen daraus die semantische Bedeutung eines Wortes in zwei verschiedenen Zusammenhängen zu bewerten. Um diese Herausforderungen zu evaluieren, wurde eine Studie mit 275 Teilnehmern durchgeführt. Die Evaluation der Studienergebnisse ergibt eine nicht vertretbar hohe menschliche Schwierigkeit für die Herausforderungen. Zu dem bieten die Herausforderungen einen zu niedrigen Schutz gegen fortgeschrittene Angreifer. Diese Ergebnisse zeigen, dass für den aktuellen Stand der semantische NLU CAPTCHA keinen Vorteil gegenüber den aktuell benutzten CAPTCHAs hat. Jedoch deuten einzelne Ergebnisse darauf hin, dass mit weiteren Anpassungen die Aufgaben aus NLU trotzdem relevant sein können, um in zukünftigen CAPTCHAs benutzt zu werden.