Kiefer-Wolfowitz type stochastic approximation with semimartingales

Abstract

In der vorliegenden Arbeit wird ein verallgemeinerter zeitstetiger Kiefer-Wolfowitz-Prozess, der sich als Lösung einer stochastischen Integralgleichung ergibt, vorgeschlagen. Der Robbins-Monro- und der Kiefer-Wolfowitz-Prozess werden im ersten Kapitel sowohl als zeitdiskrete als auch als zeitstetige stochastische Approximationsverfahren vorgestellt. Das zweite Kapitel geht auf Fragen nach der Konsistenz und der Konvergenzgeschwindigkeit des Prozesses Z_t ein. Diese Fragen konnten ohne erhebliche Einschränkungen hinsichtlich der Gestalt von R_t, a_t und c_t geklärt werden, da nicht angenommen werden musste, dass diese deterministisch sind. Beim Nachweis beider Resultate spielt ein Lemma eine zentrale Rolle, das Aussagen über Konvergenzmengen von positiven speziellen Semimartingalen macht und im Wesentlichen auf deren multiplikativen Zerlegung beruht. Die Resultate der Konsistenz und der Konvergenzgeschwindigkeit werden im Ito-Fall und im zeitdiskreten Fall diskutiert. Hierbei ergeben sich drei bereits bekannte und ein neues Resultat. Der nächste Teil der Arbeit widmet sich der asymptotischen Normalität, in dem jedoch nur deterministische Prozesse R_t und Dämpfungsprozesse der Gestalt a_t:=a/(1+R_t) zugelassen werden. Im Fall von zwei bzw. dreimal differenzierbaren Regressionsfunktionen f wird zunächst die Konvergenzgeschwindigkeit des Prozesses Z_t in einem fast L^2-Sinne betrachtet und anschließend die Frage nach dessen asymptotischer Normalität geklärt. Zum Nachweis der asymptotischen Normalität werden eine geeignete Darstellung des Prozesses Z_t, die fast L^2-Konvergenzgeschwindigkeit unter Verwendung der Markov-Ungleichung und ein zentraler Grenzwertsatz verwendet. Diese Resultate werden wiederum im Ito-Fall und im zeitdiskreten Fall diskutiert. Im zeitdiskreten Fall zeigt sich, dass das Resultat über die asymptotische Normalität mit bereits bekannten Resultaten übereinstimmt. Ein entsprechendes Resultat im Ito-Fall war in der Literatur bisher nicht zu finden. Im vierten Kapitel wird ein gemittelter Prozess unter Verwendung von schwächeren Dämpfungsprozessen präsentiert und sowohl dessen Konsistenz als auch dessen asymptotische Normalität diskutiert. Wie im vorangegangenen Kapitel wird auch hier davon ausgegangen, dass der Prozess R_t deterministisch ist. Anschließend werden wieder der Ito-Fall und der zeitdiskrete Fall diskutiert. Dabei ergibt sich im zeitdiskreten Fall ein bereits bekanntes und im Ito-Fall ein neues Resultat. Abschließend beschäftigt sich die Arbeit mit der Frage, wie sich der Kiefer-Wolfowitz-Prozess bzw. der gemittelte Prozess asymptotisch verhält, wenn der Dämpfungsprozess zu einer Konstanten ausgeartet ist. Diese Frage war bei zeitstetigen Varianten des Robbins-Monro-Prozesses bisher noch nicht geklärt. Das Augenmerk richtet sich auf lineare Regressionsfunktionen; die Einschränkung, dass der Prozess R_t deterministisch ist, wird aufgehoben. Unter Verwendung eines einfachen Beispieles wird gezeigt, dass der Robbins-Monro-Prozess in diesem Fall nicht konsistent ist. Allerdings kann vom gemittelten Prozess gezeigt werden, dass dieser asymptotisch normal ist. Auf diesen Resultaten aufbauend wird die eigentliche Fragestellung nach dem asymptotischen Verhalten des Kiefer-Wolfowitz-Prozesses für den Fall einer quadratischen Regressionsfunktion geklärt. Anschließend werden der Ito-Fall, der zeitdiskrete Fall und ein weiterer Fall diskutiert. Für den zeitdiskreten Fall ergibt sich erneut ein bekanntes und für den Ito-Fall ein neues Resultat.

In this thesis we suggest the solution of a stochastic integral equation as general continuous-time Kiefer-Wolfowitz process. In the second chapter, we dwell on the question of consistency and speed of convergence of the process Z_t. This question is answered without major restrictions on the form of R_t, a_t, and c_t. In particular, the processes may not even be deterministic. In the proof of both theorems a lemma about convergence sets of positive special semimartingales is crucial while on the other hand the lemma is based on a multiplicative decomposition of semimartingales. It follows a discussion of the theorems in the Ito setting and in the discrete-time setting, yielding three known and one new result. The third chapter is devoted to asymptotic normality. Here we assume that the process R_t is deterministic and the weight process a_t is equal to a/(1+R_t). First we establish an almost L^2-convergence rate and afterwards asymptotic normality in the case of a two or three times differentiable regression function f. To manage the proof of asymptotic normality, we present a handy representation of the process, which enables us to use the almost L^2-convergence rate applying Markov's inequality and a central limit theorem. Afterwards we discuss asymptotic normality in the Ito setting and in the discrete-time setting, reaching a well-known and a new result, respectively. In the fourth chapter, we present an averaged process using slowly decaying weights. In the first section, we discuss consistency as well as asymptotic normality. Here, as in the section before, we assume that the process R_t is deterministic. In the last section, we consider the discrete-time and the Ito setting, obtaining a known and a new result, respectively. The last chapter investigates how the Kiefer-Wolfowitz process and the averaged process behave asymptotically, if the weight process a_t is degenerated to a constant a. Since this question is not answered in the case of the continuous-time Robbins-Monro process, this is our starting point. Here the restriction that the process R_t is deterministic is abrogated, but the discussion contains only linear regression functions. The contemplation of a simple example shows that the Robbins-Monro process is not consistent in general. However we prove asymptotic normality of the averaged process. Then we answer the main question of the asymptotic behavior of the averaged Kiefer-Wolfowitz process with constant weights in the case of a quadratic regression function. In the last section, we consider the results in the Ito setting, in the discrete-time setting, and in a further setting. As in the chapters before, we obtain in the discrete-time setting a known result and in the Ito setting a new one.