Traders som är angelägna om att försöka få en handelsidee på en levande marknad gör ofta misstaget att förlita sig helt på backtesting-resultat för att avgöra huruvida systemet kommer att vara lönsamt. Medan backtesting kan ge handlare värdefulla uppgifter, är det ofta missvisande och det är bara en del av utvärderingsprocessen. Utprovningstestning och framåtprestandestestning ger ytterligare bekräftelse om systemets effektivitet och kan visa systemets sanna färger innan riktiga pengar finns på linjen. God korrelation mellan backtesting, out-of-sample och forward prestanda testresultat är avgörande för att bestämma lönsamheten för ett handelssystem. (Vi erbjuder några tips om denna process som kan hjälpa till att förfina dina nuvarande handelsstrategier. Läs mer om Backtesting: Tolkning av det förflutna .)

AD:

Grunder för backtesting Backtesting avser att tillämpa ett handelssystem på historiska data för att verifiera hur ett system skulle ha utfört under den angivna tidsperioden. Många av dagens handelsplattformar stöder backtesting. Traders kan testa idéer med några tangenttryckningar och få insikt i effektiviteten av en idé utan att riskera pengar på ett handelskonto. Backtesting kan utvärdera enkla idéer, till exempel hur en rörlig genomsnittlig crossover skulle utföra på historiska data eller mer komplexa system med olika inmatningar och utlösare.

AD:

Så länge en idé kan kvantifieras kan den backtestas. Vissa handlare och investerare kan söka en kvalificerad programmörs sakkunskap för att utveckla idén till en testbar form. Vanligtvis involverar detta en programmerare som kodar idén till det proprietära språket som hostas av handelsplattformen. Programmeraren kan innehålla användardefinierade inmatningsvariabler som tillåter näringsidkaren att "tweak" systemet. Ett exempel på detta skulle vara i det enkla glidande genomsnittliga crossover-systemet som noterats ovan: näringsidkaren skulle kunna mata in (eller ändra) längden på de två glidande medelvärdena som används i systemet. Näringsidkaren kan backtest för att bestämma vilka längder av glidande medelvärden som skulle ha gjort det bästa på historiska data. (Få mer insikt i Handledning för elektronisk handel .)

AD:

Optimeringsstudier
Många handelsplattformar möjliggör också optimeringsstudier. Det innebär att du anger ett intervall för den angivna ingången och låter datorn "mata" för att räkna ut vilken ingång som skulle ha utfört bäst. En optimering med flera variabler kan göra matematiken för två eller flera variabler för att bestämma vilka nivåer som tillsammans skulle ha uppnått det bästa resultatet. Till exempel kan handlare berätta för programmet vilka ingångar de vill lägga till i sin strategi; Dessa skulle då optimeras till sina idealvikter med tanke på de testade historiska data.

Backtesting kan vara spännande genom att ett olönsamt system ofta kan omvandlas till en penningmaskin med några optimeringar. Tyvärr leder ett system för att uppnå störst lönsamhet ofta ett system som kommer att fungera dåligt i verklig handel. Denna överoptimering skapar system som ser bra ut på papper bara.

Kurvmontering är användningen av optimeringsanalys för att skapa det högsta antalet vinnande affärer med största vinst på historiska data som användes under testperioden. Även om det ser imponerande ut i backtesting-resultat leder kurvanpassning till opålitliga system eftersom resultaten är väsentligen anpassade för endast den specifika data- och tidsperioden.

Backtesting och optimering ger många fördelar till en näringsidkare men det här är bara en del av processen när man utvärderar ett potentiellt handelssystem. En näringsidkare är nästa steg att tillämpa systemet på historiska data som inte har använts i den första backtesting-fasen. (Det glidande medelvärdet är enkelt att beräkna och, när det är ritat på ett diagram, är ett kraftfullt visuellt trendspottningsverktyg. Mer information finns i Enkla rörliga medelvärden gör trenderna stilla .)

In- Prov jämfört med otillgängliga data När du testar en idé om historiska data är det fördelaktigt att reservera en tidsperiod av historiska data för teständamål. Den ursprungliga historiska data som tanken testas och optimeras kallas för in-sample data. Den dataset som har reserverats kallas data som inte är sammansatt. Denna inställning är en viktig del av utvärderingsprocessen, eftersom den ger ett sätt att testa idén om data som inte har varit en komponent i optimeringsmodellen. Som ett resultat kommer tanken inte att påverkas på något sätt av data utanför data, och handlare kommer att kunna avgöra hur väl systemet kan fungera på nya data. jag. e. i verklig handel.

Innan någon eventuell backtesting eller optimering initieras kan handlare lägga bort en procentandel av de historiska data som ska reserveras för provtagning utanför provet. En metod är att dela upp de historiska uppgifterna i tredjedelar och separera en tredjedel för användning vid provtagning utanför provet. Endast in-sample data ska användas för initialt test och eventuell optimering. Figur 1 visar en tidslinje där en tredjedel av den historiska data är reserverad för provning utanför provet och två tredjedelar används för provtagningen. Även om Figur 1 visar data utanför provet i början av testet, skulle typiska förfaranden ha den externa delen omedelbart före den framåtriktade prestandan.

Figur 1: En tidslinje som representerar den relativa längden av in-sample och out-of-sample-data som används i backtesting-processen.

När ett handelssystem har utvecklats med hjälp av in-sample-data är den redo att appliceras på externa data. Traders kan utvärdera och jämföra resultatresultaten mellan in-sample och out-of-sample data.

Korrelation hänvisar till likheter mellan prestanda och de övergripande trenderna i de två datasætten.Korrelationsmätningar kan användas vid utvärdering av strategiprestationsrapporter som skapats under testperioden (en funktion som de flesta handelsplattformar tillhandahåller). Ju starkare korrelationen mellan de två, desto bättre är sannolikheten att ett system kommer att fungera bra i framåtprestandestestning och levande handel. Figur 2 illustrerar två olika system som testades och optimerades på in-samplingsdata och applicerades sedan på data utanför data. Diagrammet till vänster visar ett system som tydligt var kurvpassat för att fungera bra på in-sample-data och misslyckades helt på externa data. Diagrammet till höger visar ett system som fungerade bra både på in- och utdata.

Figur 2: Två kapitalkurvor. Handelsdata före varje gula pil representerar provtagning. De affärer som genereras mellan de gula och röda pilarna indikerar provning utanför provet. Traderna efter de röda pilarna kommer från de framåtriktade testfaserna.

Om det inte finns någon liten korrelation mellan provtagningen och provet utanför testet, som det vänstra diagrammet i Figur 2, är det troligt att systemet har överoptimerats och inte kommer att fungera bra i direkt handel. Om det finns stark korrelation i prestandan, vilket framgår av det högra diagrammet i Figur 2, innebär nästa utvärderingsfas en ytterligare typ av test utanför testet, känd som framåtprestandestestning. (För mer information om prognoser, se Finansiell prognostisering: Bayesian Method .)

Baserat på framåtriktad prestationstest Framåtriktad testning, även känd som pappershandel, ger handlare en annan uppsättning -av-provdata för att utvärdera ett system. Framåtprestandestestning är en simulering av verklig handel och innebär att man följer systemets logik på en levande marknad. Det kallas också pappershandel eftersom alla affärer exekveras på papper bara; det vill säga handelsposter och utgångar dokumenteras tillsammans med eventuella vinster eller förluster för systemet, men inga verkliga affärer exekveras. En viktig aspekt av framåtprestandestestning är att följa systemets logik exakt; annars blir det svårt, om inte omöjligt, att noggrant utvärdera detta steg i processen. Handlare bör vara ärliga om handelstransaktioner och utträden och undviker beteende som körsbärstickning eller inte med en handel på papper som rationaliserar att "jag skulle aldrig ha tagit den handeln". Om handeln skulle ha inträffat efter systemets logik bör den dokumenteras och utvärderas.

Många mäklare erbjuder ett simulerat handelskonto där handel kan placeras och motsvarande resultat och förlust beräknas. Genom att använda ett simulerat handelskonto kan man skapa en halvrealistisk atmosfär för att öva handel och ytterligare bedöma systemet.

Figur 2 visar också resultaten för framåtprestandestestning på två system. Återigen misslyckas det system som representeras i det vänstra diagrammet, att det går bra utöver den inledande testningen på in-sample data. Systemet som visas i det högra diagrammet fortsätter dock att fungera bra genom alla faser, inklusive framåtprestandestestning.Ett system som visar positiva resultat med god korrelation mellan in-sample, out-of-sample och forward prestationstestning är redo att implementeras på en levande marknad.

Bottom Line Backtesting är ett värdefullt verktyg tillgängligt på de flesta handelsplattformar. Att dela historisk data i flera uppsättningar för att tillhandahålla provtagning och urval av prov kan ge handlare ett praktiskt och effektivt sätt att utvärdera en handelsidee och ett system. Eftersom de flesta handlare använder optimeringstekniker i backtesting är det viktigt att sedan utvärdera systemet på rena data för att bestämma dess lönsamhet. Om du fortsätter utprovningstesten med framåtprestandningstestning ger du ett annat säkerhetsskikt innan du sätter ett system på marknaden som riskerar att få riktiga pengar. Positiva resultat och god korrelation mellan in-sample och out-of-sample backtesting och forward performance test ökar sannolikheten för att ett system kommer att fungera bra i verklig handel. (För en övergripande översikt över teknisk analys, se Teknisk analys: Introduktion .)