Dieser Artikel wurde als Teil des veröffentlicht Data-Science-Blogathon.

Inhaltsverzeichnis

1. Einleitung
2. Mehrstufige Modelle
3. Vorteile von Multilevel-Modellen
4. Wann verwenden wir Mehrebenenmodelle
5. Arten von Mehrebenenmodellen
6. Zufälliges Intercept-Modell
7. Zufallskoeffizientenmodell
8. Hypothesentest: Likelihood Ratio Testing
9. Endnote

Einleitung

Angenommen, Sie haben einen Datensatz von Fakultätsgehältern einer Universität und interessieren sich für das Verhältnis von Gehältern zu jahrelanger Erfahrung. Wie würden Sie das Problem angehen? Lineare Regression mit Jahren als abhängiger Variable und Gehalt als Antwortvariable. Es ist einfach, nicht wahr? Aber was ist, wenn ich Ihnen sage, dass die individuellen Gehälter der Fakultäten mit den jeweiligen Abteilungen variieren? Ein Lehrer von Computer Sc bekommt vielleicht mehr Gehalt als ein Soziologielehrer. Wir können also sehen, dass es einen Einfluss der Abteilung auf die Gehälter der Fakultät gibt. Die Statistiker nennen es den Gruppeneffekt oder Zufallseffekt von Gruppen. Dabei sind die Fakultäten innerhalb der Konzernabteilungen verschachtelt bzw. geclustert. Und wenn wir noch einen Schritt weiter gehen und Abteilungen innerhalb von Universitäten gruppieren und Gehälter von Fakultäten verschiedener Universitäten vergleichen, könnte das Ergebnis anders ausfallen. Somit sind die Daten unter einer Gruppe korreliert, aber eine gewöhnliche lineare Regression geht davon aus, dass die Daten unabhängig sind. Wir brauchen also Modelle, die diese Korrelationen zwischen Beobachtungen widerspiegeln. Wenn wir mit dem regulären Regressionsmodell fortfahren, erhalten wir möglicherweise keine guten Rückschlüsse aus den Daten.

Modellierung auf mehreren Ebenen

Mehrebenenmodellierung ist ein statistisches Modell, das verwendet wird, um die Beziehung zwischen abhängigen Daten und unabhängigen Daten zu modellieren, wenn eine Korrelation zwischen Beobachtungen besteht. Diese Modelle sind auch als hierarchische Modelle, Modelle mit gemischten Effekten, verschachtelte Datenmodelle oder Zufallskoeffizientenmodelle bekannt. Hier werden die einzelnen Beobachtungen in verschiedene Gruppen verschachtelt. Die Beobachtungen innerhalb jeder Gruppe werden korreliert.

Vorteile der Mehrebenenmodellierung

Wir können sehr gut reguläre Regressionsmodelle in gruppierten Daten verwenden, wie das Beispiel, das wir oben gegeben haben, indem wir Dummy-Variablen einführen. Aber der mehrstufige Ansatz hat mehrere Vorteile

Bessere Schlussfolgerungen: Eine mehrstufige Regression bietet bessere Rückschlüsse aus gruppierten Daten. Ein reguläres Regressionsmodell berücksichtigt nicht die Gruppierung von Daten, was anschließend zu einer Unterschätzung der Koeffizienten und einer Überschätzung der Koeffizientensignifikanz führt.

Weniger Parameter: Bei einem regulären Regressionsmodell benötigen wir Dummy-Variablen, um Gruppen zu berücksichtigen, aber bei einer mehrstufigen Regression benötigen wir weniger Parameter dafür.

Gruppeneffekte: Oft sind wir speziell an Gruppeneffekten interessiert, wie z. B. der Rolle von Schulen bei der Bestimmung der Testergebnisse von Schülern. Dies kann nicht durch reguläre Regressionen erreicht werden, daher verwenden wir Mehrebenenmodelle.

Wann verwenden wir Multilevel-Modellierung?

Wenn individuelle Daten aus einer Zufallsstichprobe von Clustern (Schulen, Stadtteilen, Krankenhäusern) zu einem bestimmten Zeitpunkt erhoben werden, ist es wahrscheinlicher, dass die Beobachtungen innerhalb dieser Cluster ähnlich sind. Beispielsweise können Schüler verschiedener Schulen in einem gemeinsamen Test unterschiedlich abschneiden, während die Leistungen von Schülern derselben Schule einige Ähnlichkeiten aufweisen können. Hier sind die Schulen Cluster und die Testergebnisse der Schüler sind Beobachtungen, die innerhalb der Schulen verschachtelt sind. Wenn wir eine reguläre Regression anpassen, um die Beziehung zwischen Testergebnissen und einigen Prädiktorvariablen x zu modellieren, werden wir die Auswirkungen von Variablen auf Schulebene, sagen wir, Qualifikationen von Lehrern, außer Acht lassen. Mit einem einfachen Regressionsmodell können wir nicht abschätzen, wie viel Variation auf Schülerebene und wie viel auf Schulebene verursacht wird.

Einige Schulen haben möglicherweise bessere Lernumgebungen als andere oder die Fakultäten einer Schule sind besser als andere. Die Einführung von Zufallsvariablen für Schnittpunkte oder Koeffizienten und die anschließende Schätzung ihrer Varianz wird uns eine bessere Vorstellung von Gruppeneffekten vermitteln, hier kommt die Mehrebenenmodellierung ins Spiel.

Mehrebenenmodelle sind auch in Längsschnittstudien nützlich, in denen wiederholte Messungen derselben Person über eine Weile durchgeführt werden. Wir können also sagen, dass die Messungen innerhalb jedes Individuums geclustert sind. Beispielsweise wurde eine Gruppe von Jungen nach dem Zufallsprinzip ausgewählt und ihre Körpergröße in den nächsten fünf Jahren jedes Jahr aufgezeichnet. Wir können mehrstufige Modelle verwenden, um die Beziehung zwischen der Person und ihrer Größe zu modellieren.

Was sind Ebenen:

In den obigen Beispielen sind die Schüler, Messen, Schulen, Jungengruppen Ebenen einer mehrstufigen Struktur. Im Allgemeinen können die aus einer größeren Grundgesamtheit entnommenen Variablen abgeglichen werden. Schulen können aus einer größeren Grundgesamtheit von Schulen ausgewählt werden, und Schüler einer Schule sind eine Zufallsstichprobe aus einer größeren Grundgesamtheit von Schülern. Die grundlegendsten Beobachtungen werden als Ebene eins betrachtet und nachfolgende Gruppen als Ebene 2, 3 und so weiter. Beispielsweise,

Ebene 3: Gebiete, Bezirke, Provinzen

Ebene 2: Schulen, Krankenhäuser, Einzelpersonen

Ebene 1: Studierende, Fakultäten, Messungen

Arten von Mehrebenenmodellen

In einem einfachen Regressionsmodell haben wir einen Intercept-Term, eine Prädiktorvariable multipliziert mit einer Steigung und einen Restterm. Wir gehen davon aus, dass jede Beobachtung unabhängig von anderen ist. Es sieht ungefähr so ​​aus

y_i = β₀ + β₁x_i + Und_i

Variabel ist hier nur die Restlaufzeit e_i während der Schnittpunkt und die Steigung fixiert sind. Dies ist meistens ausreichend für Daten, bei denen die Grundannahme gilt, dass jede Beobachtung unabhängig von anderen ist. Aber im Fall von verschachtelten Daten wird es für alle Gruppen verallgemeinert. Wir haben eine einzige Durchschnittslinie für alle Gruppen.

In mehrstufigen Modellen lassen wir zu, dass der Schnittpunkt und der Koeffizient variieren. Wir werden nicht nur die Regressionsparameter finden, die die Gesamtbeziehungen von Prädiktor- und Antwortvariablen beschreiben, sondern wir gehen auch darüber hinaus, um Varianzen der Koeffizienten zu schätzen, die zwischen Gruppen auf höheren Ebenen variieren dürfen. Hier werden wir zwei Mehrebenenmodelle diskutieren

1 Random-Intercept-Modell

In einem zufälligen Intercept-Modell darf der Intercept-Term über die Cluster hinweg variieren. Wie der Name schon sagt, führen wir eine Zufallsvariable für den Intercept-Term ein. Die Gleichung sieht in etwa so aus

y_ij = β_0j + β₁x_ij + Und_ij  ….. Gl.-1

wo β_0j =  β₀ +u_j  ….. eq-2

Hier ist i = einzelne Beobachtungen j = einzelne Cluster

Wenn wir beide Gleichungen kombinieren, erhalten wir

wo bist du_j ~ N(0,Sigma_u²) und E_ij ~ N(0,Sigma_e²)

Lassen Sie uns nun verstehen, wie das funktioniert. Im zufälligen Intercept-Modell haben wir eine Zufallsvariable u eingeführt_j um die durch Cluster verursachte Varianz zu berücksichtigen. u_j  ist die Zufallsvariable, die für eindeutige Schnittpunkte für jede Gruppe verantwortlich ist. Bei einer einfachen Regression haben wir eine einzelne Linie, die am besten zu den Daten passt, aber bei einem zufälligen Intercept-Modell haben wir verschiedene Regressionslinien für verschiedene Gruppen zusammen mit einer gemeinsamen Regressionslinie. Wie die Gleichung schon sagt, werden wir trotzdem die Koeffizienten berechnen. Wir interessieren uns insbesondere für die Berechnung der Varianz des zufälligen Intercept-Terms, dh Sigma²_u.

In einem einfachen Regressionsmodell haben wir Beta₀  als abfangen. Für das Random-Intercept-Modell Beta₀ ist immer noch der Schnittpunktterm für die durchschnittliche Regressionslinie, aber für jede Gruppe ist der Schnittpunkt Beta₀ +u_j. Siehe Diagramm unten, der durchschnittliche Intercept ist Beta₀ während es für die rote Gruppe Bata ist₀+u₁. du_j ist der Unterschied zwischen dem Intercept-Beta₀ und einzelne Gruppen.

2 Zufallskoeffizientenmodell

So wie wir zugelassen haben, dass Schnittpunkte in einem Modell mit zufälligen Schnittpunkten zufällig variieren, lassen wir in einem Modell mit zufälligen Koeffizienten zu, dass die Steigung zwischen den Gruppen variiert. In einigen Fällen reicht der zufällige Schnittpunkt allein möglicherweise nicht aus, um die Variabilität zwischen den Gruppen zu erklären. Daher wird ein zufälliges Steigungsmodell benötigt, bei dem jede Gruppe unterschiedliche Steigungen zusammen mit unterschiedlichen Abschnitten hat. Wieso ist es so? Es wurde beobachtet, dass erklärende Variablen für jede Gruppe unterschiedliche Auswirkungen haben können. Nehmen wir in unserem Schulbeispiel an, dass der Zulassungsgrenzwert eine erklärende Variable für das Testergebnis ist, dann könnte es Schulen geben, in denen die Schülerergebnisse stark von den vorherigen Zulassungsgrenzwerten beeinflusst wurden. Es könnte auch einige Schulen geben, der Effekt könnte geringer sein. Hier können wir nicht für jede Gruppe dieselbe Steigung verwenden, stattdessen hat jede Gruppe ihre eigene Steigung.

Das Bild gehört dem Autor

Die Gleichung für ein zufälliges Steigungs-/Koeffizientenmodell ist gegeben als

Einsetzen von Gleichungen, die wir erhalten

Wir haben zwei Zufallsvariablen u eingeführt_1j und du_0j. eine für den Schnittpunkt und die andere für die Steigung. Falls Sie dies noch nicht bemerkt haben u_ij Der Begriff ist für die Variation der Steigungen verantwortlich. Und es ist die Differenz zwischen der durchschnittlichen Steigung der Regressionsgeraden und der Steigung der einzelnen Gruppen. Beachten Sie, dass wir nur zwei Zufallsvariablen beta0 und beta1 eingeführt haben, aber in Wirklichkeit müssen wir sechs Parameter berechnen. Beta₀ und beta₁ Wie üblich sind feste Teile für die Gesamtregressionslinie verantwortlich, während wir für den zufälligen Teil Sigma schätzen werden²_u0 und Sigma²_u1 die Varianzen von u_0j und du_1j und Sigma_u01-  Kovarianz der Steigungen und Schnittpunkte. Es wird beobachtet, dass die Steigungen und Schnittpunkte miteinander verbunden sind. Wenn die Kovarianz zwischen diesen beiden positiv ist, erscheinen die Regressionslinien divergierend, während eine negative Kovarianz darauf hindeutet, dass die Linien konvergieren, und eine Null-Kovarianz auf kein festes Muster hindeuten würde.

Hypothesentest Wahrscheinlichkeitsverhältnistest

Das Testen von Hypothesen ist immer ein integraler Bestandteil der Interpretation eines jeden Modells. Es ist in der Tat wichtig zu wissen, ob ein Parameter signifikant ist oder nicht. Die Art des statistischen Tests variiert je nach beobachtetem Parameter. Wir können reguläre z-Tests und t-Tests für unsere festen Effektparameter verwenden. Der Test auf zufällige Effekte erfordert jedoch einen Likelihood-Quotienten-Test.

Likelihood-Ratio-Test:

Das Interpretieren des Likelihood-Quotienten-Tests ist relativ einfacher. Nehmen wir an, wir haben es mit einem Random-Intercept-Modell zu tun. Um also eine LRT durchzuführen, passen wir das Modell mit und ohne zufälligen Schnittpunkt an und berechnen die Log-Wahrscheinlichkeit jedes Modells. Die Formel für den Likelihood-Quotienten-Test ist gegeben als

wobei der Zähler die logarithmische Wahrscheinlichkeit von Gleichungen mit weniger Parametern (kein zufälliger Intercept-Parameter) und der Nenner die logarithmische Wahrscheinlichkeit von Gleichungen mit größeren Parametern (mit zufälligem Intercept-Parameter) ist.

Die Nullhypothese besagt, dass ein Modell mit weniger Parametern am besten ist, während die Alternative ein zufälliges Intercept-Modell oder ein Modell mit mehr Parametern bevorzugt. Oder wir können es auch anders ausdrücken, denn die Null ist Sigma²_u = 0, was bedeutet, dass wir den zusätzlichen Parameter ignorieren können. Jetzt, mit der Teststatistik in der Hand, werden wir sie mit dem Chi vergleichen² Verteilung, bei der der Freiheitsgrad die Anzahl der zusätzlichen Parameter ist (params(b) – params(a)). In einem zufälligen Intercept-Fall ist dies 1. Teilen Sie dann den entsprechenden p-Wert durch 2 als Sigma²_u >= 0. Wenn der p-Wert kleiner als Alpha ist, akzeptieren wir die Alternative und lehnen die Null ab, und wenn er über dem Signifikanzniveau liegt, lehnen wir die Nullhypothese nicht ab.

Endnote

In diesem Artikel haben wir verschiedene Facetten der Mehrebenenmodellierung besprochen. Mehrebenenmodellierung wird häufig in forschungsbezogenen Datensätzen verwendet, bei denen eine regelmäßige Regression nicht ausreicht, um gruppenübergreifende Varianzen zu erklären. Es gibt keine festen Regeln, um diese Modelle jedes Mal zu implementieren, manchmal könnte ein reguläres Regressionsmodell ausreichen, um das gewünschte Ergebnis zu erzielen. 

Vielen Dank, dass Sie meinen Artikel über multiple Modellierung gelesen haben. Hoffe es hat euch gefallen. Teilen Sie Ihre Ansichten in den Kommentaren unten mit.

Weitere Informationen finden Sie in unserem Blog Artikel. 

Ressourcen: bristol.ac.uk , Coursera

Die in diesem Artikel gezeigten Medien sind nicht Eigentum von Analytics Vidhya und werden nach Ermessen des Autors verwendet. 

Verbunden

Quelle: https://www.analyticsvidhya.com/blog/2022/01/a-brief-introduction-to-multilevel-modelling/