Im ersten Teil des Artikels (lesen Sie hier weiter) haben wir gezeigt, warum die meisten Rückrechnungen der Produktanbieter einer gewissenhaften Überprüfung nicht standhalten. Doch Anleger sollten es sich nicht zu leicht machen. Denn im Grunde hat jeder Investor, der ein historisches Muster an den Märkten beobachtet, mit Backtests gearbeitet. Dazu gehören Benjamin Graham und Warren Buffett. Daher lohnt es sich der Frage nachgehen, was einen guten Backtest von einem schlechten trennt. Oder, allgemeiner formuliert: Was trennt mit Blick auf die Finanzmärkte eine gültige Induktion von einer ungültigen?
Die Sache mit den Induktionsschlüssen
Die meisten Anleger irren sich bei Induktionsschlüssen. Ich denke, das liegt zu einem großen Teil daran, dass Amateurinvestoren nur allzu bereitwillig eine Annahme akzeptieren, deren Grundlage auf etwas beruht, was für sie in ihrem Alltag vorfinden bzw. was in ihrem Leben funktioniert. Damit werden sie jedoch anfällig für die willkürliche Suche nach Mustern, wo in der Realität keine vorzufinden sind. Beispielsweise sehen viele Investoren in einer dreijährigen Outperformance eines Fonds einen Beweis dafür, dass der Manager qualifiziert ist.
Anspruchsvollere Investoren wollen fünf, zehn oder noch mehr Jahre an Performance-Daten sehen, bevor sie zu einer Entscheidung kommen. Damit liegen indes aus sie falsch. (Allerdings sind die Anspruchsvolleren diejenigen, die weniger häufig falsch liegen). Historische Renditen sind selten verlässlich genug, um einen qualifizierten Manager oder eine gültige Backtest-Strategie zuverlässig zu identifizieren. Die Märkte verlaufen so zufällig, dass die unkritische Verwendung von leistungsbezogenen Kennzahlen als Filter für „Gewinner“ in erster Linie Manager oder Strategien hervorbringt, die Glück hatten.
Die Märkte verlaufen so zufällig, dass die unkritische Verwendung von leistungsbezogenen Kennzahlen als Filter für „Gewinner“ in erster Linie Manager oder Strategien hervorbringt, die Glück hatten.
Die erfolgreichsten Investoren arbeiten nach einem Modell oder einem entsprechenden Ensemble. Sie ermitteln die Attraktivität eines Vermögens nicht in einem Vakuum. Sie haben feste Vorstellungen, wie sich Menschen verhalten, wie Institutionen funktionieren, wie der Wert eines Vermögenswertes abgeleitet wird, wie Prozesse die Asset-Preise beherrschen usw. Ihre Überzeugungen sind vernünftig und zumindest bis zu einem gewissen Grad wahr – da sie sonst nicht funktionieren würden. (Einige behaupten, nur mit Disziplin zu investieren und daran festzuhalten, sichert den Erfolg. Dem könnte ich nicht mehr widersprechen. Wenn Sie an total unwahre Dinge glauben und den Kurs halten, werden Sie bzw der Wert Ihres Portfolios leiden.) Mit validen Modellen können erfolgreiche Investoren Informationen extrahieren, die sonst in den Zahlen verborgen bleiben.
Der typische Anleger verfügt allerdings in aller Regel nicht über ein gut formuliertes, realitätsbezogenes Modell. Er konzentriert sich letztendlich auf Renditen und akzeptiert zu leicht Aussagen, die auf unzureichenden oder fehlerhaften Behauptungen basieren.
Vertrauen Sie nicht und überprüfen Sie selbst
Meines Wissens ist die beste Studie, die geprüft hat, ob Backtest-Aktienstrategien am Ende wirklich vorausschauend waren das Werk der Finanzforscher R. David McLean und Jeffrey Papst. Sie arbeiteten (oder ließen ihre Studenten arbeiten) an einem monumentalen Arbeitspapier mit dem Titel „Zerstört die akademische Forschung die Vorhersehbarkeit von Aktienrenditen?“ („Does Academic Research Destroy Stock Return Predically?“) . Sie replizierten und testeten unabhängig 82 Charakteristika von Aktien, die in veröffentlichten Studien angeblich Überrenditen vorhersagten. Wie in der Vanguard-Studie betrachteten sie die Überrenditen, die charakteristische Strategien in Backtests produzierten, sowohl in der gegebenen Stichprobe (in-sample) als auch darüber hinaus (out-of-sample).
Interessanterweise ließen sich nur 72 von 82 Ergebnissen replizieren. Bei diesen reduzierte sich die Vorhersagekraft out-of-sample aufgrund statistischer Verzerrungen um durchschnittlich 10% und bei Post-Veröffentlichungsperioden war ein zusätzlicher Verlust von durchschnittlich 25% zu verzeichnen, sowie einer von ca. 35% vom Backtest zur realen Performance. Wir können diese Ergebnisse jedoch nicht für bare Münze nehmen. Die Stichprobe kann die am meisten zitierten und denkwürdigen Studien, die den Survivorship Bias ins Spiel bringen, überrepräsentieren.
Nach den Maßstäben der Sozialwissenschaft ist das verdächtig beeindruckend. Mindestens zwei große Replikationsversuche vielversprechender biomedizinischer Studien stellten fest, dass die meisten nicht repliziert werden konnten – ich würde erwarten, dass Finanzstudien noch schlimmer sind. Mit der relativen Leichtigkeit des Backtestings hat man es mit vielen verschiedenen Modellen basierend auf Finanzzeitreihendaten zu tun. Zudem ist es eine Tatsache, dass Out-of-Sample-Daten schwer zu bekommen sind. Es kann viele Jahre dauern, bis ein Modell durch neue Daten abgelöst wird, was auf Kosten der Reputation von Wissenschaftlern geht, die Datenschnüffelei betrieben haben.
Sechs Thesen für den Backtest-Test
Trotz möglicher Probleme schlägt die Studie Backtest-Aktienstrategien vor, die den wissenschaftlich veröffentlichten Fehdehandschuh angenommen und bestanden haben. Sie sind von höherer Qualität als die, die von weniger strengen und konfliktbehafteten Parteien (wie, sagen wir, Fonds-, Index- und ETF-Anbieter) erstellt werden. Obwohl ich immer noch skeptisch gegenüber dem Gros der wissenschaftlichen Literatur bin, glaube ich, dass Wissenschaftler Marktregelmäßigkeiten im Vorfeld durchaus erkennen können. So wurden beispielsweise die „großen drei“ Faktoren – Größe, Value und Momentum – alle um die Mitte der 1990er Jahre entdeckt und etabliert. Alle drei Faktoren konnten in den folgenden zwei Jahrzehnten Überrenditen erwirtschaften. (Auch wenn der Faktor Größe inzwischen in Zweifel gezogen wurde.)
Unter ein paar Hinweisen aus der Wissenschaft und der Praxis habe ich einige Eigenschaften identifiziert, die Anlegern helfen können, gute Backtests von schlechten zu unterscheiden. Ich habe sienach ihrer Wichtigkeitsortiert:
- An erster Stelle steht eine starke wirtschaftliche Intuition. Können Sie eine starke, beweisbasierte Geschichte im Voraus erzählen, die die vorgeschlagene Wirkung rechtfertigen würde?
- Eine intellektuell glauwürdige bzw. ehrliche Quelle. Sind die Parteien hinter dem Backtest glaubwürdig? Haben sie keine Motivation für Datenschnüffelei oder Lügen?
- Einfache und transparente Methodik. Komplexe Modelle hinken bei Out-of-Sample-Tests oft der Performance von einfachen, robusten Modellen hinterher.
- Stichprobengröße. Wissenschaftler erwarten, dass in der Regel mindestens mehrere Jahrzehnte von Daten in einer Probe vorliegen, zumindest, wenn der (Backtest-)Erfolg von Aktienstrategien ermittelt wird. Die hochwertigsten Backtests werden unter Verwendung großer, qualitativ hochwertiger Datensätze durchgeführt.
- Effektgröße und die statistische Signifikanz. Viele Analysten schauen auf hohe Renditen und hohe statistische Signifikanz, um festzustellen, ob sie die Gültigkeit einer Aussage akzeptieren. Während die statistische und wirtschaftliche Signifikanz erforderlich sind, sind sie selbst oft schwache Prädiktoren dahingehend, ob eine Studie valide ist. Jeder kann statistisch signifikante Ergebnisse durch Datenschnüffelei oder sogar komplette Erfindung erstellen.
- Transaktionskosten. Der Quant-Fonds-Manager Ted Aronson wies mich darauf hin, dass die Kosten einer Strategie ebenso wichtig sind wie die Brutto-Renditen. Es gibt viele bewährte Strategien die getestet wurden und in illiquiden Märkten „arbeiten“, die aber nicht überleben würden, wenn alle Reibungsverluste, also Transaktionskosten etc., berücksichtigt werden würden.
Doch auch wenn Sie dies beherzigen, sind Sie noch nicht am Ziel. Sie brauchen mehrere hochwertige Studien von skeptischen, unabhängigen Forschern, die weitgehend zu ähnlichen Ergebnisse kommen, bevor Sie zum Schluss kommen können, dass etwas, was in der Realität noch nicht beobachtet wurde (und für das Sie Ihre Brieftasche öffnen sollen) wahrscheinlich „wahr“ ist.
Das sind hohe Hürden, die aber notwendig sind, wenn man sich eine anständige Gewinnchance auf echte Gold-Nuggets bewahren – und nicht auf Katzengold sitzen bleiben will.
