least abs deviation < math. Statistik < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 13:36 Fr 08.04.2011 | | Autor: | Druss |
Hallo,
unzwar möchte ich gern folgendes berechnen:
ich habe einen Datenvektor x vorliegen und möchte gerne auf die Konstante a regressieren. Wie ich das Problmen mit OLS löse ist klar aber wie mit LAD?
Was ist also lösen muss ist:
min [mm] \sum\limits^n_{i=1} |u_i| [/mm] = min [mm] \sum\limits^n_{i=1} |x_i [/mm] - a|
Ich habe leider keine Idee wie ich das mit den Beträgen und der Summe machen soll. Bei Integralen konnten wir einfach die Beträge durch geschicktes umformen auflösen. Aber wie gehe ich hier vor?
Gruesse
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 16:13 Fr 08.04.2011 | | Autor: | Infinit |
Hallo Druss,
an der Summe brauchst Du Dich nicht zu stören und für die Minimierung kannst Du ohne Probleme den Betrag durch das Fehlerquadrat ersetzen. Da eine quadratische Funktion, genauso wie der Betrag immer positiv ist, kannst Du ohne Beschränkung Deiner Lösung auch eine quadratische Funktion minimieren, das ist dann der klassische Ansatz über das Gausssche Fehlerquadrat. Zu minimieren ist also der Ausdruck
[mm] Q(a) = \sum_{i=1}^{n} (x_i - a)^2 [/mm]
Hiervon die erste Ableitung gebildet und Null gesetzt ergibt ein Gleichungssystem
[mm] \bruch{dQ}{da} = 0 = \sum_{i=1}^n 2(x_i-a) \cdot (-1) [/mm]
Das ist nun zu lösen.
Viele Grüße,
Infinit
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 17:29 Fr 08.04.2011 | | Autor: | Druss |
Hallo,
danke für deine Antwort. Aber die Schätzer auf Grundlage der klassischen OLS-Methode haben meines Wissens andere Eigenschaften als die der LAD-Methode.
Spontan einfallen würde mir, dass die Schätzer auf Grundlage der LAD-Methode resistenter gegen Ausreißer sind. Gerade diese Eigenschaft beruht doch auf den Beträgen d.h. ich kann das dann doch nicht einfach ersetzen ansonsten hätte ich doch genau den OLS-Schätzer für a?
Gruesse
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 15:07 Mo 11.04.2011 | | Autor: | luis52 |
Moin,
zeichne mal [mm] $\psi(a)=\sum|x_i-a|$ [/mm] fuer [mm] $x_i=1,2,4$ [/mm] und fuer [mm] $x_i=1,2,4,7$. [/mm] Was faellt dir auf?
vg Luis
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 16:19 Di 12.04.2011 | | Autor: | Druss |
Hallo!
ich habe mittlerweile einiges raus gefunden:
für eine gerade Anzahl an Beobachtung gibt es keine eindeutige Lösung für [mm] \psi(a) [/mm] sondern gleich eine ganze raus gefunden Kandidaten. Für eine ungerade Anzahl an Beobachtungen gibt es eine eindeutige Lösung.
Ich habe folgende Lösung für das Problem jedoch meinte mein Dozent, dass meine Lösung von der Definition der Signum-Funktion abhängig ist und ich damit keine eindeutige Lösung gefunden habe.
Hier meine Lösung:
oBdA nehme ich an, dass [mm] x=(x_1,...,x_n) [/mm] sortiert ist, sodass [mm] x_1 \le x_2 \le [/mm] ... [mm] \le x_n.
[/mm]
um [mm] \psi(a) [/mm] zu minimieren mache ich mir folgendes zunutze. Da
[mm] \frac{\partial}{\partial a}|x-a| \text{ fuer } [/mm] x>a [mm] \rightarrow [/mm] -1
[mm] \frac{\partial}{\partial a}|x-a| \text{ fuer } [/mm] x<a [mm] \rightarrow [/mm] +1
kann [mm] \psi(a) [/mm] wie folgt minimiert werden. Ich kann [mm] \psi(a) [/mm] auch schreiben als
[mm] \sum\limits_{i=1}^n \text{sgn}\left(x_i - b\right)
[/mm]
wobei [mm] \text{sgn}(x) [/mm] der Signum-Funktion entspricht welche wie folgt defniert ist:
[mm] \text{sgn}(x) [/mm] = [mm] \begin{cases}
-1 & x < 0, \\
0 & x = 0, \\
1 & x > 0. \end{cases}
[/mm]
Da wir [mm] \psi(a) [/mm] minimieren wollen suchen wir für eine ungerade Anzahl von Beobachtungen ein a welches
[mm] \sum\limits_{i=1}^{k-1} [/mm] 1 = [mm] \sum\limits_{i=k+1}^n [/mm] -1
erfüllt. Wir wählen nun a so, dass die Hälfte unserer Beobachtungen kleiner als a sind d.h. [mm] (x_ia \hspace{1ex}\forall [/mm] i=k-1,...,n).
Die Lösung welche unser Problem für eine ungerade Anzahl von Beobachtungen minimiert ist somit [mm] \hat{a}=k, [/mm] da [mm] \sum\limits_{i=1}^n \text{sgn}\left(x_i - b\right) [/mm] = 0
Für eine gerade Anzahl folgt:
[mm] \sum\limits_{i=1}^{k} [/mm] 1 = [mm] \sum\limits_{i=k+1}^n [/mm] -1
Wir wählen somit [mm] \hat{a}\in [/mm] [k,k+1] als Lösung.
Ich verfolge zur Zeit noch einen weiteren Lösungsansatz aber komme nicht so recht weiter...
Wenn wir uns das Problem aufmalen (wie du schon angemerkt hast) fällt auf, dass die Abstände für eine Wahl von a größer sind wenn a nicht mittig liegt.
Somit nenne wir die Veränderung (abhängig von der Wahl von a) [mm] \delta [/mm] und schreiben:
[mm] $\sum\limits_{t=1}^T |x_i [/mm] - a - [mm] \delta|$ \\
[/mm]
[mm] $=\sum\limits_{t|x_i>a+\delta}(x_i-a-\delta) [/mm] + [mm] \sum\limits_{t|x_i\le a+\delta}(a+\delta-x_i)$\\
[/mm]
[mm] $=\sum\limits_{t|x_i>a+\delta}(x_i-a) [/mm] - [mm] \sum\limits_{t|x_i>a+\delta}\delta [/mm] + [mm] \sum\limits_{t|x_i\le a+\delta}(a-x_i) [/mm] + [mm] \sum\limits_{t|x_i\le a+\delta}\delta$\\
[/mm]
[mm] $=\sum\limits_{t|x_i>a}(x_i-a) [/mm] - [mm] \sum\limits_{t|x_i>a+\delta}\delta -\sum\limits_{t|a
[mm] $\le \sum\limits_{t|x_i>a}(x_i-a) [/mm] - [mm] \sum\limits_{t|x_i>a+\delta}\delta -\sum\limits_{t|a
[mm] $\le \sum\limits_{t|x_i>a}(x_i-a) [/mm] + [mm] \sum\limits_{t|x_i\le a}(a-x_i) [/mm] + [mm] \sum\limits_{t|x_i\le a+\delta}\delta [/mm] - [mm] \sum\limits_{t|x_i>a+\delta}\delta$ \\
[/mm]
[mm] $\sum\limits_{t=1}^T |x_i [/mm] - a - [mm] \delta| [/mm] - [mm] \sum\limits_{t=1}^T |x_i [/mm] - a | [mm] \le \sum\limits_{t|x_i\le a+\delta}\delta [/mm] - [mm] \sum\limits_{t|x_i>a+\delta}\delta\\$
[/mm]
Nun könnte ich ab dieser Stelle [mm] schreiben:\\
[/mm]
[mm] $\sum\limits_{t=1}^T |x_i [/mm] - a - [mm] \delta| [/mm] - [mm] \sum\limits_{t=1}^T |x_i [/mm] - a | [mm] \le \sum\limits_{t=1}^T\delta$\\
[/mm]
[mm] $\sum\limits_{t=1}^T |x_i [/mm] - a - [mm] \delta| [/mm] - [mm] \sum\limits_{t=1}^T |x_i [/mm] - a | [mm] \le T\cdot\delta$\\
[/mm]
[mm] $\frac{\sum\limits_{t=1}^T |x_i - a - \delta| - \sum\limits_{t=1}^T |x_i - a |}{\delta} \le T$\\
[/mm]
Nun hätte ich auf der linken Seite sowas wie [mm] $\frac{f(x_o+\triangle x) - f(x_o)}{x_0+\triangle x)-x_o}$ [/mm] stehen was fast so aussieht wie eine Ableitung. Da aber doch kein Grenzwert exsistiert kann ich ja nicht einfach [mm] schreiben:\\
[/mm]
[mm] $\lim_{\delta \to 0} \frac{\sum\limits_{t=1}^T |x_i - a - \delta| - \sum\limits_{t=1}^T |x_i - a |}{\delta}$\\
[/mm]
Ab dieser Stelle weiß ich nicht weiter >_<
Vielen Dank
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 17:44 Do 14.04.2011 | | Autor: | luis52 |
Moin,
betrachte [mm] $S(a)=\sum_{i=1}^n|x_i-a|$, [/mm] wobei du o.E.d.A. annehmen kannst, dass die Zahlen [mm] $x_1,\dots,x_n$ [/mm] aufsteigend sortiert sind.
Es kann Folgendes gesagt werden:
(i) $S(a)_$ ist eine Polygonzug mit Knickstellen bei [mm] $x_1,\dots,x_n$ [/mm] .
(ii) Ist $n=2m+1$ eine ungerade Zahl, so ist $S(a)_$ streng monoton fallend in [mm] $(-\infty,x_{m+1}]$ [/mm] und streng monoton steigend in [mm] $[x_{m+1},+\infty)$. [/mm] Mithin minimiert der Median [mm] $\tilde x=x_{m+1} [/mm] $ die Funktion $S(a)_$ in eindeutiger Weise.
(iii) Ist $n=2m_$ eine gerade Zahl, so ist $S(a)_$ streng monoton fallend in [mm] $(-\infty,x_{m}]$ [/mm] und streng monoton steigend in [mm] $[x_{m+1},+\infty)$. [/mm] Da $S(a)$ im Intervall [mm] $(x_{m},x_{m+1})$ [/mm] konstant ist, minimiert jeder Wert aus diesem Intervall die Funktion, also auch der Median [mm] $\tilde x=(x_{m}+x_{m+1})/2$.
[/mm]
vg Luis
|
|
|
|
