Einblick Ausgabe 3/2013

„Das ganze Leben ist ein Experiment. Je mehr Experimente du machst umso besser.“

Ralph Waldo Emerson

Grundriss für ein Experiment

Wie geht man vor, um ein Experiment zu gestalten? Für die meisten Typen von (empirischen) Experimenten gibt es mindestens sechs Schritte, die Sie berücksichtigen sollten:
In einem ersten Schritt sollten Sie die Thematik bzw. die zu überprüfende Fragestellung klären und ob diese überhaupt mit einem Experiment beantwortet werden kann (ist das Verhalten messbar und kann es zu vernünftigen Kosten untersucht werden?).
Darauf folgt die Formulierung plausibler Hypothesen über einen Ursache-Wirkungs-Zusammenhang, z. B.: „Es klicken mehr Mitarbeiter auf unseren Intranet-Newsletterlink, wenn wir ein Foto in den E-Mail Versand integrieren.“
Der dritte Schritt besteht dann aus der Definition eines passenden Experimentdesigns. In der Regel besteht dieses aus einer Kontrollgruppe (im Beispiel also Mitarbeitende, die kein Foto in der E-Mail erhalten) und einer Experimentalgruppe (Mitarbeitende, die eine Foto in ihrer Nachricht erhalten). Achten Sie dabei darauf, dass zwischen den beiden Situationen wirklich nur ein Unterschied (z. B. mit/ohne Foto) besteht, sonst ist die Interpretation der Resultate schwierig.
Jedes Experiment sollte im kleinen Rahmen vorgetestet werden, um sicherzustellen, dass man verstanden wird und alles wie geplant funktioniert.
Der nächste Schritt ist die Durchführung des Experiments, idealerweise unter gleichbleibenden Rahmenbedingungen und mit Zufallszuteilungen der Teilnehmenden zu den Gruppen. Dabei kann es unter Umständen sinnvoll sein, nach ersten soliden Ergebnissen Variationen des Experimentes durchzuführen, um Teilaspekte besser zu verstehen. Achten Sie darauf, Ihre Experimentrunden möglichst gut zu protokollieren, besonders bezüglich Rahmenbedingungen, dies hilft bei der späteren Ergebnisinterpretation.
Zum Schluss müssen Sie – vielleicht mit Hilfe der Marktforschungsabteilung Ihrer Organisation – die Daten genau analysieren, plausibilisieren und verdichten. Dies kann mit einfachen (Mittelwert-) Vergleichen getan werden. Besser sind jedoch statistische Analyseverfahren wie Regressions- oder Varianzanalysen, um den Zusammenhang zwischen einer abhängigen und einer oder mehrerer unabhängiger Variablen zu erfassen.
Der letzte Schritt besteht natürlich aus der Kommunikation und Umsetzung der Ergebnisse. In unserem Bespiel könnte dies bedeuten, dass die Personalabteilung darin geschult wird, wie sie klickbare Fotos neben wichtigen Links in E-Mails integrieren kann.
Und denken Sie daran, was Buckminster Fuller gesagt hat: „Es gibt keine gescheiterten Experimente, nur Experimente mit überraschenden Resultaten.“

nudge interaktiv

Überraschungen, Verständlichkeit, Anpassung
* Überraschungen: Läuft alles so ab wie geplant oder gab es Abweichungen?
* Verständlichkeit: Haben die Teilnehmer die Aufgabe und eventuelle Fragen im Fragebogen richtig und gut verstanden?
* Muss das Experiment aufgrund von Überraschungen oder Verständlichkeitsproblemen leicht angepasst werden?
Korrekt, Klar, KonkretKorrekt: Haben Sie sogenannte Outliers aus ihren Resultaten entfernt? Das bedeutet Resultate zu löschen, die wahrscheinlich auf falschen Eingaben beruhen.
Klar: Haben Sie die Resultate in einer einfachen Sprache präsentiert, die allgemein verständlich ist?
Konkret: Sind die konkreten (Hanlungs-) Konsequenzen der Resultate sichtbar bzw. erklärt?
Messbar, Machbar, MehrwertMessbar = Erfassbar
Machbar = Können die Teilnehmer die Aufgabe bewältigen?
Mehrwert = Weiss ich nach der Experimentendurchführung etwas neues, nicht offensichtliches und nützliches?
Wiederholbarkeit, Skalierung, Interpretierbarkeit*Wiederholbarkeit: Ist die Experimentalsituation später wieder herstellbar?
* Skalierung: kann ich viele Probanden am Experiment teilnehmen lassen? (Das ist z.T. nötig um signifikante Resultate zu erhalten.)
* Interpretierbarkeit: Erlauben mir die erzielten Ergebnisse eine klare Aussage bezüglich der Ursache-Wirkungs-Abhängigkeiten? Kann ich die Ergebnisse zum Schluss eindeutig interpretieren.
Vgl. dazu auch die Arten von Experimenten im Link.

http://www.stangl-taller.at/TESTEXPERIMENT/experimentarten.html

Abweichungen, Robustheit, Neue HypothesenAbweichungen: Welche Unterschiede können Sie zwischen den verschiedenen Experimentendurchführen feststellen? Woher rühren diese?
Robustheit: Bestätigen sich die Hauptresultate bei mehrfacher Durchführung? Sind die Erkenntnisse robust?
Neue Hypothesen: Ein Experiment dient nicht nur Überprüfung von Vermutungen. Es kann auch zu neuen Vermutungen führen. Was passierte z.B. während des Experimentes, das Sie nicht erwartet haben? Wissen Sie, warum?
Randomisierung, Replizierung, KontrollvariablenRandomisierung = zufällige Zuteilung von Teilnehmern zu Gruppen.
Replizierung = Wiederholte Durchführung
Kontrollvariablen = Weitere Einflussfaktoren, deren effektiven Einfluss ich überprüfen kann
Auswertung und UmsetzungDie Auswertung eines Experimentes erfolgt meist mit Hilfe eines Statistikprogramms wie SPSS oder zur Not auch mit Excel. Die einfachste Art der Auswertung ist der Vergleich von Durchschnittswerten in den verschiedenen Experimentkonditionen.
Umsetzen heisst in diesem Kontext die beste Kondition breitflächig implementieren. Eine gute Einführung in die Thematik finden Sie (auf Deutsch) unter diesem Link.

http://page.mi.fu-berlin.de/prechelt/swt2
/node27.html#SECTION00446000000000000000

StandarddurchführungenAchten Sie bei den Standarddurchführungen Ihres Experimentes auf gleich bleibende Bedingungen und verändern Sie nur das, was Sie als Intervention auch wirklich überprüfen möchten (vgl. Sie dazu auch die Erklärung im Link).

http://allpsych.com/researchmethods
/standardization.html

WiederholungenWie oft sollte man ein Experiment mit zusätzlichen Teilnehmern (natürlich unter gleichen Bedingungen) wiederholen? Nun z.B. bis die Effekte signifikant werden, die man findet. Entdeckt man weitere Einflussfaktoren, so kann das Experiment leicht variiert werden und diese berücksichtigen.

Um generell zu entscheiden, ob ein Experiment wiederholt werden sollte kann man auch gewisse statistische Tests durchführen, die einem etwas über die Verteilung der Resultate sagen (z.B. der Chi Square Test ).

http://de.wikipedia.org/wiki/Replikation_%28Versuch%29

VortestsKein Experiment ohne Vortests (engl: Trials). Testen Sie, ob Ihr Experiment auch wirklich durchführbar ist und so funktioniert, wie Sie es sich vorgestellt haben. Am Besten, Sie testen im Kleinen bevor sie sich an eine grössere Gruppe wenden. Der Begriff Vortest kann noch eine andere Bedeutung haben, z.B. dass Sie den Probanden einen Anfangstest vor der Experimentenaufgabe geben.

http://www.biology.washington.edu/HHMI/materials
/Experiment_Guidelines.pdf

ExperimentdesignDas Experimentdesign sollte auch in Bezug auf seine ethische Dimension reflektiert werden. Gute Anknüpfungspunkte geben diese Kritieren von Schmid.

http://www.joachimschmid.ch/docs/PMtWissenEtPsycholo.pdf

HypothesenentwicklungUm eine überprüfbare Hypothese zu entwickeln, kann man seine eigene Erfahrung nutzen, sich auf frühere Studien oder auf eine gute Theorie stützen. Die Hypothese sollte einen Wirkungszusammenhang formulieren und mindestens zwei Situationen unterscheiden. Wie Psychologen Hypothesen entwickeln entnehmen Sie dem folgenden Link (in Englisch).

http://allpsych.com/researchmethods/developingthehypothesis.html

Themen-/FragenklärungEin Experiment sollte nur ein bis zwei Fragen gleichzeitig klären und nicht jede Frage eignet sich für ein Experiment. Überlegen Sie genau, was Sie überprüfen möchten und ob es sich durch ein Experiment klären lässt. Der Link anbei gibt hiervon eine kompakte Erkärung auf Englisch.

https://explorable.com/experimental-research

 

Top