Random portfólios para avaliar negociação estratégias no Brasil

Esta página está dividida nas seguintes seções: Os portfólios aleatórios têm o poder de revolucionar a gestão de fundos. Você pode pensar que isso significa que eles devem ser esotéricos e complexos. Você estaria errado 8212 a idéia é muito simples. Para ter carteiras aleatórias você precisa de um universo de ativos e um conjunto de restrições para impor sobre as carteiras. Um conjunto de carteiras aleatórias é uma amostra da população de carteiras que obedecem a todas as restrições. A Figura 1 mostra a área de amostragem (em pesos) para um problema de brinquedo de três ativos. As restrições são: long-only sem peso maior que 45 a volatilidade máxima As restrições de volatilidade são não-lineares e, portanto, o limite correspondente a essa restrição é não-linear. Dos macacos e dos homens e dos dardos A forma a mais familiar de portfolios aleatórios é o jogo de dartboard do mercado conservado em estoque. Humanos ou macacos lançar dardos para selecionar um ou alguns ativos. A seleção via dardos é então comparada a alguma seleção profissional. Isso é divertido, e quase uma ótima abordagem, mas tem duas falhas. A primeira falha é que só conseguimos ver se o profissional supera uma seleção aleatória. Nós não conseguimos ver que fração de seleções aleatórias o profissional supera. Para ser verdadeiramente informado precisamos ver na ordem de uma centena ou mais seleções aleatórias. A segunda falha é que os dardos não obedecem a quaisquer restrições. Isso é justo em um concurso de jornal onde os especialistas também têm restrições. Mas os fundos reais têm restrições. Comparando um fundo com restrições a carteiras aleatórias sem restrições coloca o fundo em desvantagem. Medição de Desempenho Existem duas maneiras de usar portfólios aleatórios para alcançar a medição de desempenho: o método estático eo método de sombreamento. Veremos por que a medição de desempenho por meio de benchmarks é inferior. O Método Estático No método estático geramos um conjunto de portfólios aleatórios que obedecem às restrições no início do período de tempo, mantêm essas carteiras ao longo do período de tempo e encontram seus retornos para o período. O percentil do fundo é a percentagem das carteiras aleatórias com retornos maiores. (A convenção na medida de desempenho é para o bem estar perto do percentil zeroth e mau estar perto do percentil 100.) A Figura 2 é um exemplo. Mostra a distribuição dos retornos das carteiras aleatórias em azul. E o retorno do fundo em ouro. Neste caso, o fundo não teve um desempenho muito bom. Isto é muito parecido com a medição de desempenho com grupos de pares. Em ambos os casos, estamos usando um único período de tempo, e em ambos os casos estamos comparando nosso fundo com um conjunto de possibilidades alternativas. Há algumas diferenças significativas embora 8212 nós destacamos dois. Nos grupos de pares, as alternativas são outros fundos que são semelhantes ao fundo de juros. Idealmente, apenas os fundos com as mesmas restrições seriam utilizados. Por outro lado, queremos ter um monte de pares, a fim de obter mais precisão. Portanto, há forças opostas para pequenos grupos de pares versus grandes grupos de pares. Não existe tal tensão com carteiras aleatórias 8212, podemos gerar tantos portfólios aleatórios quanto quisermos. Um problema mais sério com os grupos de pares é que nós não sabemos o que significam os resultados. Estamos destinados a acreditar que, se nosso fundo de interesse fez melhor do que todos, mas 10 de seus pares, então nossa habilidade de fundo é aproximadamente no percentil 10 entre seus pares. Isso pressupõe que diferenças na habilidade dominam diferenças na sorte. É improvável que tal hipótese seja justificada. Em particular se é o caso que nenhum fundo tem habilidade (ou todos os fundos têm habilidade igual), então o nosso fundo está no décimo percentil de sorte 8212 a medida não contém nenhuma informação em tudo. Burns (2007a) expande esse argumento. Surz (2006, 2009) discute problemas adicionais com grupos de pares. O método Shadowing O método estático para pastas aleatórias é mais informativo do que os grupos de pares. Mas ainda é uma informação bastante genérica. O desempenho é 8212 na raiz 8212 sobre decisões. A idéia do método de sombreamento é usar comércios aleatórios para imitar as decisões que o fundo toma. Isso pode nos dar uma imagem muito mais clara do valor do processo de decisão. Um exemplo é discutido na página de aplicação de medição de desempenho. Benchmarks Um fundo é julgado contra um benchmark comparando uma série de retornos do fundo com os retornos correspondentes para o benchmark. Este método tem alguns problemas. O principal é o tempo que leva para decidir que um bom fundo realmente é melhor do que o benchmark 8212 provavelmente levará décadas. O poder desses testes no cenário ideal é dado em Burns (2007a) 8212 vários anos são necessários para obter poder razoável mesmo para habilidade excepcional. Mas a realidade é muito pior do que o ideal porque a dificuldade de bater um ponto de referência não é constante. Se os ativos mais ponderados no benchmark acontecerem relativamente bem, então será difícil vencer o benchmark. Por outro lado, se os ativos mais pesadamente ponderados executar relativamente mal, então será fácil de bater o benchmark. Kothari e Warner (2001) discutem isso. A Figura 3 mostra a porcentagem de fundos que têm o SampP 500 como seu benchmark que superou o benchmark em cada ano 8212 ver detalhes sobre isso em 8220Performance Measurement via Random Portfolios8221. A fim de acreditar que a comparação é significativa, precisamos pensar que os gestores de fundos 8212 como um grupo 8212 foram pobres durante anos, de repente se tornou bom por três anos e, em seguida, voltou a ser pobre. Burns (2007b) discute a medição de desempenho no cenário ligeiramente diferente de testar as recomendações de comentaristas de mercado. Testando Estratégias de Negociação Os gestores de fundos e gestores de fundos potenciais enfrentam uma série de problemas ao decidir sobre uma estratégia de negociação. Aqui nós examinamos dois: Essencialmente há o problema de ser errado, eo problema de estar certo. O espionagem de dados faz com que as estratégias pareçam melhores do que realmente são. Para ver por que, suponha que você tentou 1000 estratégias de negociação que foram completamente aleatório. O que melhor desempenho pode parecer razoavelmente bom. Esperemos que um gerente de investimento não esteja tentando estratégias completamente aleatórias, mas viés de seleção ainda existirá. Se modelos semelhantes estão sendo usados ​​em várias empresas para gerenciar um monte de dinheiro, então um gestor de fundos usando esses modelos está sujeito a movimentos dramáticos no mercado. Isso se tornou evidente para muitas pessoas em agosto de 2007. Sem uma crise, é difícil dizer que isso está acontecendo. Os portfólios aleatórios podem ajudar com o primeiro problema, e possivelmente com o segundo. Estratégias de negociação podem ser testadas usando o método de sombreamento discutido acima. Há uma diferença fundamental entre a medição de desempenho e testar uma estratégia de negociação. Ao testar uma estratégia de negociação, queremos fazer o processo de sombreamento várias vezes com diferentes portfólios iniciais. Este processo de teste reduz o efeito do snooping dos dados porque há uma definição muito mais estrita de uma estratégia bem sucedida. O gestor do fundo ainda é vulnerável a mudanças no comportamento do mercado, mas muito menos suscetível a interpretações erradas do período histórico. Testar com carteiras aleatórias pode ser capaz de reduzir o rebanho, porque a tecnologia torna viável para pegar mais sinais efêmeros. Investimento Racional A prática atual é menos racional para: rastreamento de restrições de erro taxas de desempenho limites de restrição Rastreamento de restrições de erro Muitos mandatos dão ao gerente de investimento uma referência e um erro de rastreamento máximo do benchmark. Isso é inútil em vários aspectos. Em praticamente todos os casos, o investidor pode comprar um fundo de índice para o benchmark com taxas de administração muito baixas. Qual é a vantagem de contratar um gerente ativo para executar um fundo que é extremamente correlacionado ao fundo de índice Se o gerente não superar o benchmark por mais do que as taxas de administração extra, então não há obviamente nenhuma vantagem em tudo. Se o gerente tem a habilidade de bater consistentemente o benchmark, então essa habilidade pode ser colocada para um uso muito melhor. Um gerente de fundo especializado deve, em geral, ser capaz de obter maiores retornos quando a restrição de erro de rastreamento é descartada. Assumindo que o investidor tem dinheiro no índice, esse maior retorno do gerente sem restrições será mais valioso também. Tudo o mais sendo igual, é melhor para o fundo ativo ter uma baixa correlação com o índice. Isso acaba sendo o mesmo que um grande erro de rastreamento. Ou seja, a coisa racional seria impor uma restrição de erro de rastreamento mínimo ao invés de uma restrição de erro de rastreamento máximo. A razão pela qual existem restrições de erro de rastreamento máximo é para ter a ilusão de que podemos ver se o gestor do fundo está superando ou não. Nós podemos realmente dizer usando benchmarks, mas podemos dizer usando carteiras aleatórias mesmo se não houver uma restrição de erro de rastreamento. Os portfólios aleatórios funcionam igualmente bem para medir o desempenho, independentemente do erro de rastreamento. Taxas de desempenho Se você tiver uma taxa de desempenho, não é uma boa idéia tê-lo em relação a um benchmark. Como a Figura 3 sugere, isso é basicamente uma aposta entre o gestor do fundo eo investidor sobre se as grandes capitais irão superar. Habilidade terá muito pouco a ver com isso. Um objetivo mais razoável seria o retorno médio de um conjunto de carteiras aleatórias que obedecem às restrições do fundo. Efeitos de restrição Podemos usar portfólios aleatórios para decidir racionalmente quais devem ser os limites de restrição. As restrições são habitualmente impostas sem o senso do que está sendo adquirido e perdido. A Figura 4 mostra uma análise de exemplo de restrições. As densidades de utilidade realizada ao longo do tempo são mostradas para um certo conjunto de restrições (ouro) e para essas restrições mais uma restrição de volatilidade (azul). Durante os tempos de mercado normais, seremos bastante indiferentes à restrição de volatilidade. No entanto, durante as más condições de mercado de 2008 a restrição volatilidade foi muito valioso. Usos adicionais de carteiras aleatórias Uma série de usos adicionais de carteiras aleatórias foram sugeridas e há certamente um grande número de aplicações ainda a ser descoberto. Aqui discutimos alguns usos adicionais. Avaliação de modelos de risco Os portfólios aleatórios fornecem um meio de gerar portfólios realistas que podem ser colocados através de modelos de risco para ver como eles funcionam. Modelos de risco podem ser comparados entre si, ou modelos individuais podem ser testados para pontos fracos. A Figura 5 mostra um exemplo de comparação de uma previsão de volatilidade do modelo de risco para a volatilidade realizada para algumas carteiras de 12020. A correlação entre volatilidade prevista e realizada em um grande número de carteiras aleatórias foi computada. Ferramenta Quant geral As carteiras aleatórias podem ser usadas em praticamente todos os exercícios quantitativos envolvendo carteiras. Uma lista de alguns dos usos está na página de aplicações de pesquisa quântica. A idéia de carteiras aleatórias não é nova 8212 um uso adiantado era 8220program selecionou carteiras8221 por Dean LeBaron e colegas em Batterymarch Gerência financeira nos 19708217s. Um uso ainda mais antigo é descrito em um discurso da American Statistical Association de James Lorie em 1965 (qualquer discurso que comece com Mark Twain e termine em St. Tropez possa ser muito ruim). Nesse ponto, as carteiras aleatórias estavam esticando a capacidade computacional. A velocidade computacional não é mais um problema sério com a tecnologia adequada. Alguns pontos técnicos Os testes estatísticos bootstrap e permutação aleatória são técnicas que mudaram radicalmente a análise de dados nas últimas duas décadas. Dependendo de como as carteiras aleatórias são usadas, elas são geralmente equivalentes a uma dessas técnicas. O uso de carteiras aleatórias para fazer medições de desempenho é análogo a fazer um teste de permutação aleatória. O exame do efeito dos limites de restrição, como na Figura 5, é semelhante ao modo como o bootstrap pode ser usado. A única diferença real é que, devido às restrições, as carteiras aleatórias são mais difíceis de calcular. Discussão Consultor sênior publicou alguns depoimentos sobre PIPODs. Embora este seja especificamente sobre uma implementação, a maioria dos comentários se aplicam a carteiras aleatórias em geral. Mesmo nativamente gerando carteiras aleatórias pode ser útil. Exemplos disso incluem Mikkelsen (2001) Kritzman e Page (2003) e Asso, L8217Her e Plante (2004). Kothari e Warner (2001) mostram que o benchmarking contra um índice é problemático, e sua técnica envolve carteiras aleatórias. Os produtos a seguir foram criados independentemente um do outro, e somente o Probe Portfolio está associado com o Burns Statistics. Portfolio Probe da Burns Statistics. Isso tem uma ampla gama de restrições, incluindo a muito importante de limitar a volatilidade das carteiras. PODs e PIPODs da PPCA Inc. Referências Asso, Kodjovi, Jean-Franois L8217Her e Jean-Franois Plante (2004). 8220 Há realmente uma hierarquia no investimento Choice8221 hec. cacrefpdfc-04-15e. pdf Bridgeland, Sally (2001). 8220Processar atribuição 8212 uma nova maneira de medir a habilidade na construção de carteira8221 Journal of Asset Management. Burns, Patrick (2006). Análise de portfólio com carteiras aleatórias (pdf de slides de apresentação comentada) Burns, P. (2006). 8220Random Portfolios para Medição de Desempenho8221 em Otimização, Econometria e Análise Financeira E. Kontoghiorghes e C. Gatu, editores. Springer. Burns, P. (2007a). 8220Bullseye8221 Inquérito profissional Março questão. Uma versão muito similar está disponível como Dart ao coração Carl, Peter e Brian Peterson e Kris Boudt (2010). Objetivos de negócios e otimização de portfólio complexo. RFinance tutorial Daniel, G. D. Sornette e P. Wohrmann (2008). 8220Posicionamento do Benchmark em Avaliação de Desempenho de Portfolio 8221 trabalho em SSRN Dawson, Richard e Richard Young (2003). 8220Pastas de carteiras distribuídas de forma uniforme e estocástica8221 em Advances in Portfolio Construction and Implementation editado por Stephen Satchell e Alan Scowcroft. Butterworth-Heinemann. Elton, E. J. M. J. Gruber, S. J. Brown e W. N. Goetzmann (2003). Modern Portfolio Theory and Investment Analysis, Sexta Edição (Capítulo 24, Avaliação do Desempenho da Carteira). Kothari, S. P. e Jerold Warner (2001). 8220Evaluating Performance do Fundo de Investimento8221 Jornal de Finanças documento de trabalho na SSRN Kritzman, Mark e Sbastien Page (2003). 8220A Hierarquia de Investimentos Choice8221 Journal of Portfolio Management 29. Número 4, páginas 11-23. Lisi, Francesco (2017). 8220Avaliação com o Mercado: Procedimentos Aleatórios para Avaliação de Fundos Mútuos8221. Finanças Quantitativas 11. Número 2, páginas 163-172. Documento de trabalho da Universidade de Pádua. Papers. ssrnsol3papers. cfmabstractid1375730 Mikkelsen, Hans (2001). 8220A relação entre retorno esperado e beta: uma abordagem aleatória de resampling8221 SSRN papers Shaw, William (2010) 8220Monte Carlo Otimização de carteira para o retorno geral do risco-retorno Objetivos e distribuições arbitrárias de retorno: uma solução para carteiras apenas Long-Only8221 SSRN versão Simon, Thibaut ). 8220Em estudo empírico de carteiras de ações com base na diversificação e medidas inovadoras de risco8221. Mestrado Tese Stein, Roberto (2017). 8220Não Enganado pela Aleatoriedade: Usando Carteiras Aleatórias para Analisar Fundos de Investimento8221 SSRN versão Surz, Ron (1994). 8220Portfolio Oportunidade Distribuições: Uma Inovação em Avaliação de Desempenho8221 Journal of Investing. Surz, Ron (1996). 8220Portfolio Oportunidade Distribuições: Uma Solução para os Problemas com Benchmarks e Peer Groups8221 Journal of Performance Measurement. Surz, Ron (1997). 8220Avaliação Global de Desempenho e Estilo de Eqüidade: Apresentando as Distribuições de Oportunidades de Carteira8221 no Handbook of Equity Style Management. Frank Fabozzi Associados. Surz, Ron (2004). 82208216Hedge Fundos têm Alpha8217 é uma hipótese Worth Testing8221 Albourne Village biblioteca. Surz, Ron (2005). 8220Testing the Hypothesis 8216Hedge Fundo de Desempenho é Good8221 Journal of Wealth Management. Primavera questão. Surz, Ron (2006). 8220A Fresh Look at Investimento Avaliação de Desempenho: Unifying Melhores Práticas para Melhorar a Oportunidade e Confiabilidade8221 Journal of Portfolio Management Summer issue. Surz, Ron (2007). 8220Benchmarking exato é ido mas não esquecido: A necessidade imperativa de começar de volta aos princípios 8221 Journal of Performance Measurement. Vol. 11. No. 3, Spring, pp 34-43. Surz, Ron (2009). 8220A Handicap do Desempenho do Investimento Horserace8221 Publicado como 8220Handicap no Desempenho do Investimento Horserace8221 em Advisor Perspectives 2009 28 de abril. Surz, Ron (2010) 8220The New Trust, mas Verify8221 Investment and Wealth Management SSRN versãoRandom carteiras para avaliar estratégias de negociação Transcrição 1 Random Portfolios para Avaliação Trading Estratégias Patrick Burns 13 de janeiro de 2006 Resumo Random carteiras pode fornecer um teste estatístico que uma estratégia de negociação executa melhor do que chance. Cada execução da estratégia é comparada a um número de corridas aleatórias correspondentes que são conhecidas por terem habilidade zero. Importante, este tipo de backtest mostra períodos de tempo quando a estratégia funciona e quando não. Portfólios ao vivo também podem ser monitorados desta forma. Isso permite que decisões informadas, como mudanças na alavancagem, sejam feitas em tempo real. 1 Introdução Os portfólios de carteiras aleatórias que obedecem a restrições dadas mas ignoram a utilidade são uma ferramenta poderosa em finanças. Burns, 2004 discute o uso de carteiras aleatórias para medir o desempenho dos fundos. O foco aqui é sobre como usá-los para encontrar uma boa estratégia comercial uma tarefa relacionada, mas distinta. Uma estratégia tem duas partes: um meio de prever retornos (modelo alfa), e um método de negociação para tentar tirar vantagem do alfa. Realizar um teste estatístico das previsões é relativamente fácil. Há problemas de snooping de dados, mas mesmo assim é geralmente possível ter um bom senso de se ou não um método de previsão está pegando um sinal. Carteiras aleatórias fornecem um teste rigoroso da estratégia de negociação como um todo algo que parece virtualmente impossível sem carteiras aleatórias. Suponha que temos os resultados de uma estratégia de negociação durante algum período de tempo. Se tivéssemos uma lista de todos os possíveis caminhos de negociação que poderíamos ter tomado, então saberíamos exatamente o quão boa nossa estratégia foi para o período e para qualquer subperíodo. Nós saberíamos que nossa estratégia superou x da população dos trajetos. Em nosso exemplo, o universo é de tamanho 186 e as carteiras são de tamanho 50. Há 6.89e45 maneiras de selecionar as 50 ações da carteira no final do período de negociação. Para cada um desses conjuntos de ações haverá numerosos Este relatório pode ser encontrado na seção de documentos de trabalho do site Burns Statistics 1 2 maneiras de selecionar o número de ações para cada ação que obedecem às restrições. Para qualquer portfólio final, haverá vários caminhos para chegar lá a partir do portfólio inicial. O número de caminhos possíveis é finito, mas um número tão grande que é praticamente infinito. Mas não precisamos ter todos os caminhos para avaliar nossa estratégia. Se gerarmos um subconjunto aleatório dos caminhos, então podemos fazer declarações estatísticas sobre a qualidade da estratégia. Todos os livros estatísticos introdutórios discutem a amostragem de uma população, e isso é meramente o que estamos fazendo. Alguns milhares de caminhos são os mais necessários para fins práticos. R R Development Core Team, 2005 e POP Portfolio Construction Suite Burns Statistics, 2005 foram utilizados para cálculos neste artigo. 2 Exemplo de dados Um exemplo específico é usado para ilustrar o uso de portfólios aleatórios para avaliar uma estratégia. O universo de ações é de 186 ações dos EUA que são uma mistura não sistemática de grandes capitalizações e pequenas capitalizações. Os dados diários são usados ​​começando no início de Os primeiros 500 dias são usados ​​para estimar a matriz de variância para a otimização da primeira carteira e para avaliar a força da previsão. Os próximos 1000 dias são o período em que a negociação ocorre. Os dados subseqüentes a estes 1500 dias são deixados intocados assim que poderiam ser usados ​​testando uma estratégia final. O modelo alfa para cada ação é a média igualmente ponderada dos retornos nos 26 dias de negociação anteriores menos a média igualmente ponderada dos retornos nos 12 dias anteriores. Ou seja, é uma estimativa da Divergência de Convergência de Média Móvel. Os aficionados do MACD geralmente usam pesos exponenciais. 3 Avaliando a Previsão O primeiro passo na avaliação de uma estratégia é testar o processo de previsão. Uma abordagem comum é fazer um teste de sinal um sucesso é marcado se a previsão eo retorno realizado estão tanto acima de sua mediana ou ambos abaixo de sua mediana. É um fracasso se um está abaixo de sua mediana eo outro está acima de sua mediana. A distribuição binomial é utilizada para avaliar a probabilidade. Podemos também testar se a correlação de Spearman entre a previsão e os retornos realizados é positiva. A correlação de Spearman usa as classificações em vez dos valores de dados reais. É uma versão ligeiramente robusta da correlação usual (Pearson). A correlação de Spearman não reage tão fortemente a outliers, mas ainda é afetada uma quantidade justa por outliers como deve ser neste cenário. Além de exibir sobre a quantidade certa de robustez, outra razão para preferir a correlação de Spearman é que os valores de p do teste serão próximos à direita, mesmo quando as distribuições não estão muito próximas da distribuição normal. Devemos não assumir que siga a distribuição normal. Figura 1: Valores de P (um para cada ação) do teste de correlação de Spearman para retornos de 2 dias durante os períodos de pré-negociação e negociação. Freqüência Valor de P As Figuras 1 e 2 mostram a distribuição dos valores de p do teste de Spearman para predizer 2 e 5 dias à frente nos primeiros 1500 dias de dados, o que inclui o período de negociação. Em ambos os casos, há um número desproporcional de ações que têm valores de p pequenos. Estamos satisfeitos. Como mostra a Figura 3, o teste de sinal não necessariamente concorda com o teste Spearman correspondente. Os valores de p podem ser substancialmente diferentes, especialmente quando a evidência é ambígua. Uma melhor abordagem para testar a previsão é usar os dados antes do período de negociação. Isso preserva o período de negociação de viés de dados snooping causado pela procura de um preditor adequado. A Figura 4 mostra um teste para este período. Existe realmente um déficit de estoques com pequenos valores de p. Claramente este preditor não é útil para todos os períodos de tempo. Em um caso real, não teríamos procedido a testar a negociação depois de ver isso, nós aprimorar o preditor antes de seguir em frente. (Também teríamos que usar mais dados para o período de testes de previsão.) 4 Avaliação do desempenho Na ausência de carteiras aleatórias, é difícil ter um bom senso da qualidade da estratégia. O retorno médio durante o período é uma medida óbvia. No entanto, este é pouco provável que seja um indicador válido de retornos futuros de fato, nosso exemplo mostrará que pode ser bastante enganosa. Figura 2: Valores de P (um para cada ação) do teste de correlação de Spearman para retornos de 5 dias durante os períodos de pré-negociação e negociação. Valor da frequência P Figura 3: Valores P do teste de Spearman versus teste de sinais para retornos de 5 dias durante os períodos de pré-negociação e negociação. Valor P do valor Spearman Test P do Teste de Sinal 4 5 Figura 4: Valores P (um para cada estoque) do teste Spearman para retornos de 5 dias durante o período antes da negociação. Freqüência P valor Uma otimização é realizada a cada dia em nossa estratégia de teste negociações são feitas no final do dia após os dados mais recentes utilizados nas estimativas. O objetivo é maximizar a relação de informação com a restrição que o volume de negócios (compra mais vende) é limitado a cerca de 400 por ano. O número de ações na carteira está limitado a ser entre 45 e 50 na realidade, a carteira é quase sempre de tamanho 50. A carteira é de curta duração, com o valor líquido mantido perto de zero. Ele tenta ter o valor absoluto da rede inferior a 5 do valor bruto, e se esforça muito para tê-lo menos de 10 do bruto. Ele tenta manter o peso máximo de cada ativo na carteira inferior a 10 (onde o peso é o tamanho absoluto de uma posição dividido pelo valor bruto da carteira). A matriz de variância em cada dia é um modelo de fator estatístico construído com os dados dos 500 dias anteriores. 4.1 Carteira de Partida Única A Figura 5 mostra a curva de riqueza da estratégia de negociação que parte de um portfólio específico. A carteira inicial é aproximadamente igualmente ponderada no (alfabeticamente) primeiras 50 ações no universo com cada segundo estoque com uma posição curta. A carteira inicial é uma carteira arbitrária que satisfaz as restrições. A curva não considera os custos de negociação, mas dado que o volume de negócios é limitado a cerca de 400 por ano, o efeito dos custos de negociação é facilmente avaliado. Queremos gerar portfólios aleatórios que imitam a otimização real 5 6 Figura 5: A riqueza gerada a partir da estratégia de negociação. Riqueza backtest. Em essência, criamos um número de gerentes de fundo hipotético que executam a mesma tarefa que fazemos, mas não têm habilidade. Se superarmos a maioria desses gerentes hipotéticos, isso é evidência de que temos habilidade. De fato, podemos obter uma estimativa de quanta habilidade estamos exibindo. Aqui está um esboço de como criar as carteiras para os gerentes hipotéticos. O primeiro passo é criar uma lista, chamada it exist list, com comprimento igual ao número de portfólios aleatórios a serem gerados (100 no exemplo). Inicialize cada componente da lista com o portfólio inicial. Agora loop sobre os horários de negociação. A primeira coisa é atualizar os retornos esperados ea matriz de variância. Para cada caminho aleatório: obter o portfólio existente gerar um comércio aleatório longe do portfólio existente salvar as informações desejadas sobre o novo portfólio colocar o novo portfólio no local apropriado de existir lista. (End loop sobre caminhos aleatórios, loop final sobre os tempos de negociação.) A Figura 6 mostra as curvas de riqueza de 100 portfólios aleatórios com as mesmas restrições que o processo de otimização. Uma maneira mais fácil de ver o padrão das carteiras aleatórias é plotar alguns quantiles em cada ponto no tempo. As linhas que são plotadas não são carteiras individuais, mas trocam carteiras de tempos em tempos. A Figura 7 mostra a riqueza real de otimização em relação aos quantiles das carteiras aleatórias. Tem um desempenho medíocre até meados de 1998, altura em que claramente supera as carteiras aleatórias. Tem mau desempenho no colapso ponto-com e, em seguida, recupera ligeiramente. É estranho que uma estratégia que ganha apenas 8,5 em 4 anos testes tão bem. Observe que os quantiles das carteiras aleatórias são, em geral, inclinados para baixo. A carteira original perde dinheiro durante este período de tempo, e seus investimentos em carteiras aleatórias com as mesmas restrições que a otimização. Riqueza Figura 7: Quantiles de portfólio aleatório (mínimo, 5, 10, 25, 50, 75, 90, 95, máximo) em azul e a otimização real (em preto). Riqueza 8 Figura 8: Quantiles de carteiras aleatórias começando com a carteira especificada (azul) e quantiles de carteiras aleatórias começando com o oposto da carteira especificada (verde). A fluência da riqueza persiste mesmo que o portfolio seja negociado 1600 pelo fim do período. Esta carteira inicial é uma desvantagem grave. Podemos ver isso através da geração de carteiras aleatórias que têm a carteira de partida oposta que é, as posições longas são feitas curtas e as posições curtas feitas longa. Uma comparação dos quantiles dos dois conjuntos de carteiras aleatórias está na Figura 8. Provavelmente poucos teriam adivinhado que a influência da carteira inicial persistiria por tanto tempo. Se a curva de riqueza de nossa estratégia tivesse que ser comparada com as carteiras aleatórias usando a carteira de partida oposta, certamente não teríamos encontrado que fosse excepcional. Os portfólios aleatórios que são longos-curtos estarão perto de simétrico em torno de nenhum ganho se mudar o sinal de cada posição de um portfolio aleatório satisfaz também as limitações. No presente caso, com um portfólio de partida específico, quebra essa simetria. As distribuições representadas na Figura 8 estão próximas de imagens espelhadas uma da outra. Existem inúmeras maneiras pelas quais a simetria pode ser quebrada. Por exemplo, se o intervalo para o valor líquido não for simétrico em torno de zero. 4.2 Gráficos de controle de valor P Talvez mais importante do que uma avaliação da estratégia para todo o período de negociação é identificar subperíodos em que a estratégia funcionou particularmente bem ou mal. Em qualquer dia de negociação, o número de retornos de carteira aleatórios que são maiores do que o retorno da carteira real é o ingrediente-chave para o valor de p de um teste. O teste é que o retorno da carteira não é maior do que o retorno médio da carteira aleatória. Os valores de p de dias individuais podem ser combinados através do método de Stouffer (ver Burns, 2004) para obter uma imagem mais suave de quando a estratégia funcionou bem. A Figura 9 mostra valores de p não sobrepostos de 10 dias. Há pontos no tempo em que a carteira muda de repente para um estado pior ou melhor em relação às carteiras aleatórias. Nós gostaríamos que os valores de p não fossem superiores a 0,5, mas neste caso há períodos em que eles se aproximam de 1 por algum tempo. Isso significa que a estratégia está sujeita a reduções significativas e, portanto, não particularmente apetitoso. Outra característica da Figura 9 é que a estratégia parece ter um desempenho pior à medida que o tempo avança. Há pelo menos duas explicações possíveis sobre isso. Um deles é que o modelo alfa perde poder durante todo o período que pode ser temporário ou permanente. Outra possibilidade é que as carteiras aleatórias sejam de alguma forma divergentes da estratégia real. A volatilidade das carteiras aleatórias nos últimos dois anos é, em geral, significativamente superior à volatilidade da carteira otimizada durante esse período. Embora a otimização não tenha formalmente uma restrição à volatilidade, o processo de otimização favorece uma menor volatilidade. Limitar as carteiras aleatórias a ter uma volatilidade não muito maior do que a volatilidade da carteira otimizada provavelmente proporcionaria uma avaliação mais justa. Sem essa restrição, esperamos que os valores de p flutuem mais ao longo do tempo. Embora seja natural supor que o número de posições de fechamento seria maior na otimização do que nas carteiras aleatórias, na realidade havia mais posições de fechamento nas carteiras aleatórias. Assim, os portfólios aleatórios podem divergir mais rapidamente do portfólio original (que apresenta um desempenho ruim) do que a estratégia otimizada. Um gráfico de controle gerado a partir de carteiras aleatórias que sempre têm o mesmo número de posições de fechamento que a carteira real mostra menos de uma tendência nos valores de p. Isso elimina a suspeita de o modelo alfa se tornar pior ao longo do tempo. Plots like Figure 9 can be used in real-time to monitor if a portfolio is losing its edge. The plot could be used as a control chart to signal when the portfolio has gone out of control (either to the bad side or the good side). If the series of non-overlapping p-values is predictable, then it could be used to make decisions for example, on changing the leverage. 4.3 Complete Evaluation Process The wealth curve for the optimized portfolio of Section 4.1 has a p-value of 3 for the whole time period relative to the random paths that were generated. This is the p-value given that we start with the portfolio that we did. We aren t actually interested in that particular starting portfolio, we want to know how well the strategy performs starting from anywhere. Here we outline our recommendation of the entire process. 9 10 Figure 9: P-values combined over 10 non-overlapping days for the returns of the strategy relative to the random portfolio returns. Combined p value For each of several random starting portfolios perform the procedure given in Section 4.1. Examine the set of p-values that are obtained one for each starting portfolio. Very few p-values should be larger than one-half, and you should be quite concerned if any are close to 1. Look at the p-value control chart for each run. Plotting multiple p-value paths in one chart could highlight times when the strategy does especially poorly (or well). If the p-values are uniformly small both for the whole trading period and within the trading period then the strategy will be good. Let s apply this to our example strategy. Figure 10 displays the wealth curves of the strategy for 20 randomly selected starting portfolios. Figure 11 shows the average wealth curve from these 20 runs. Since we know in this case that no skill is equivalent to zero gain, we can make some general observations. (Otherwise we could have plotted the wealth curve of the average random portfolios as well.) 1998 is a good year for the strategy, 1999 is about flat, and the first part of 2000 is bad. MACD is basically a momentum strategy. It makes sense that 1998 should be good, and that early 2000 (when the stock market was meanreverting) should be bad. It is a bit puzzling that 1999 was not also a good year for the strategy. 10 11 Figure 10: Wealth curves of the example strategy from 20 random starting portfolios. Wealth Figure 11: Wealth curve of the strategy averaged over the 20 starting portfolios. Wealth 12 Figure 12: The 20 whole period p-values compared to the theoretical uniform distribution. Whole Period P values Theoretical Quantiles 12 of the 20 wealth curves end the period with gains. But p-values are a more telling statistic. Figure 12 displays the 20 p-values for the whole trading period versus the expected values from the uniform distribution. We want the points to be below the line this shows the strategy being slightly worse than no skill over this time period. (Constraining volatility in the random portfolios might have improved the results slightly.) This is a key plot, it is evidence that our strategy definitely should not be used. From Figure 10 it is clear that the strategy would have looked very good if the trading period were only Even though we have evidence that we have prediction power, we aren t using that to good advantage. There are (at least) two ways to get a p-value from an optimization run and its associated random portfolios. The first is to count the number of random paths that outperform the optimized path this is what is plotted in Figure 12. The second is to combine the daily p-values over the trading period. These are subtly different in meaning is there outperformance over the period versus is there ever outperformance. Figure 13 compares these for the 20 random starting portfolios. The combined p-values are substantially smaller in this case. That means that the strategy has more days of being really good than really bad. We also examine the p-values throughout the trading period for the 20 runs. Figure 14 plots the first and third quartiles of 10-day p-values (combined from daily p-values). Though noisy, there are clearly good and bad periods. Our example strategy has an inefficiency. The same fraction of the value of the portfolio is traded each day. However, the value of trading is highly unlikely 12 13 Figure 13: Comparison of the whole period p-values to the combined daily p-values. Combined Daily P values Whole Period P values Figure 14: The first and third quartiles of the 10-day non-overlapping p-values from the 20 runs. Combined p value 14 to be constant. A better approach is to use trading costs to limit the amount that is traded. More will be traded when the existing portfolio is expected to do poorly than when it is expected to do well. While getting the trading costs to be approximately right is non-trivial, it can be quite a valuable effort. 5 Comparing Competing Strategies In the previous section we took rather a cynical view and asked if the strategy exhibited any value at all. Once you are in the position to believe that you have a strategy that does have value, you may want to compare it with another strategy to determine if either is significantly better. If the constraints for the two strategies are the same, then a reasonable approach is to test the difference in returns from them. If the trading were daily, then a starting portfolio would be fixed, the two strategies would be run, and the data used in the test would be the differences of the daily returns. A t-test would be approximately correct, however the differences in returns would probably have longer tails than the normal distribution. A sign test or a signedrank test may be more appropriate. P-values could be combined from tests based on different starting portfolios. Random portfolios could be used in this case, but would be redundant. Random portfolios are useful when the constraints are different for the two strategies. For instance if one strategy is much less volatile than the other, then a comparison of returns is not especially appropriate. Each strategy can be mimicked by random portfolios, and the difference in daily p-values tested. 6 Constraint Evaluation Another application of random portfolios is to get a sense of the usefulness of constraints that we put on the portfolio. One of the constraints in the example was a maximum weight of 10. A set of random portfolios were generated with the maximum weight constraint removed. Figure 15 shows the quantiles. Figure 16 compares the terminal wealth of the random portfolios with the 10 limit on the maximum weight with that of the random portfolios with no limit on the maximum weight. The two distributions are remarkably similar. Of particular interest is whether imposing the weight limit restricts the upper tail of the wealth. There is no evidence of that. The weight constraint has a minimal effect on the random portfolios, so there remains the question of its effect on the strategy. The constraint avoids large losses from a single stock prediction being wrong, but also removes the possibility of a large gain from a single stock with a correctly large prediction. For the example alpha model, the constraint is undoubtedly useful since it not uncommonly gives a signal in the wrong direction. The appropriateness of this constraint appears to be largely a function of the quality of the alpha model. 14 15 Figure 15: Random portfolio quantiles (minimum, 5, 10, 25, 50, 75, 90, 95, maximum) with no maximum weight constraint. Wealth Figure 16: Comparison of the terminal wealth of the random portfolios with and without a maximum weight constraint. Terminal Wealth, Max Weight: 10 Terminal Wealth, Max Weight: 100 15 16 7 Summary There are three main problems when creating a trading strategy: Learning the strength of the prediction Evaluating the quality of the trading strategy Avoiding bias and false beliefs from data snooping We ve demonstrated a couple of statistical tests that deal with the first problem the sign test and the Spearman correlation test. Random portfolios can directly attack the second problem. They provide defensible and sensitive statements on the efficacy of a trading strategy. The results can be presented graphically with wealth curves or with p-value control charts. Random portfolios also help some with the third problem. Random portfolios provide p-values, which can be adjusted to account for data snooping. A p-value of is generally thought to be quite good. However, if you have tried a thousand different strategies and your best p-value is 0.001, then there is about a 63 probability of no value for the best strategy. The more consistent your results across time and across different universes, the more confidence you can have that you are not just data snooping. It is standard practice to reserve a period of the most recent data to test the final strategy. The focus here has been on researching a strategy before going live with it. However, p-value control charts plots of p-values over time are useful for live portfolios as well. The returns (or another measure of utility) over the recent past can be compared to those of a set of random portfolios. This gives instant feedback on the performance of the portfolio. A control chart can also be maintained that combines the results from a number of optimized portfolios with random starting points this will show the current usefulness of the strategy itself. References Burns, 2004 Burns, P. (2004). Performance measurement via random portfolios. Working paper, Burns Statistics, Burns Statistics, 2005 Burns Statistics (2005). User s Manual. POP Portfolio Construction R Development Core Team, 2005 R Development Core Team (2005). R: A language and environment for statistical computing. R Foundation for Statistical Computing, ISBNRandom Portfolios for Evaluating Trading Strategies Patrick Burns January 13, 2006 Random portfolios can provide a statistical test that a trading strategy performs better than chance. Each run of the strategy is compared to a number of matching random runs that are known to have zero skill. Importantly, this type of backtest shows periods of time when the strategy works and when it doesnt. Live portfolios can be monitored in this way as well. This allows informed decisions - such as changes in leverage - to be made in real-time. Number of Pages in PDF File: 16 Keywords: investment skill, MACD, performance measurement Date posted: February 8, 2006 Suggested Citation Burns, Patrick, Random Portfolios for Evaluating Trading Strategies (January 13, 2006). Available at SSRN: ssrnabstract881735 or dx. doi. org10.2139ssrn.881735 1. Using a Z-score Approach to Combine Value and Momentum in Tactical Asset Allocation By Peng Wang and Larry Kochard 2. A Quantitative Approach to Tactical Asset Allocation By Meb Faber People who downloaded this paper also downloaded: 1. Using a Z-score Approach to Combine Value and Momentum in Tactical Asset Allocation By Peng Wang and Larry Kochard 2. A Quantitative Approach to Tactical Asset Allocation By Meb Faber 4. MATLAB Applications of Trading Rules and GARCH with Wavelets Analysis By Eleftherios Giovanis 5. Relative Strength Strategies for Investing By Meb Faber 6. Absolute Momentum: A Simple Rule-Based Strategy and Universal Trend-Following Overlay By Gary Antonacci 7. Demystifying Time-Series Momentum Strategies: Volatility Estimators, Trading Rules and Pairwise Correlations By Nick Baltas and Robert Kosowski 8. Pairs Trading: Performance of a Relative Value Arbitrage Rule By Evan Gatev. William Goetzmann. 9. Risk Premia Harvesting Through Dual Momentum By Gary Antonacci 10. Technical Analysis in Financial Markets By Gerwin Griffioen