ARMA e ARIMA (Box-Jenkins) Modelos ARMA e ARIMA (Box-Jenkins) Nas seções anteriores vimos como o valor de uma série temporal univariada no tempo t. X t. Pode ser modelado usando uma variedade de expressões de média móvel. Mostramos também que componentes como tendências e periodicidade nas séries temporais podem ser explicitamente modelados e / ou separados, com os dados sendo decompostos em componentes tendência, sazonais e residuais. Mostramos também, nas discussões anteriores sobre autocorrelação. Que os coeficientes de autocorrelação total e parcial são extremamente úteis na identificação e padrões de modelagem em séries temporais. Esses dois aspectos da análise e modelagem de séries temporais podem ser combinados em um quadro de modelagem geral mais geral e muitas vezes muito efetivo. Em sua forma básica, esta abordagem é conhecida como modelagem ARMA (média móvel autorregressiva), ou quando a diferenciação é incluída no procedimento, ARIMA ou Box-Jenkins modelagem, após os dois autores que foram centrais para o seu desenvolvimento (ver Box amp Jenkins, 1968 BOX1 e Box, Jenkins amp Reinsel, 1994 BOX2). Não há uma regra fixa quanto ao número de períodos de tempo necessários para um exercício de modelagem bem-sucedido, mas para modelos mais complexos e para maior confiança nos procedimentos de ajuste e validação, são freqüentemente recomendadas séries com 50 etapas de tempo. Os modelos ARMA combinam os métodos de autocorrelação (AR) e as médias móveis (MA) em um modelo composto da série temporal. Antes de considerar como esses modelos podem ser combinados, examinamos cada um separadamente. Já vimos que os modelos de média móvel (MA) podem ser usados para fornecer um bom ajuste para alguns conjuntos de dados, e as variações nesses modelos que envolvem o suavização exponencial dupla ou tripla podem lidar com componentes tendenciais e periódicos nos dados. Além disso, esses modelos podem ser usados para criar previsões que imitam o comportamento de períodos anteriores. Uma forma simples de tais modelos, baseada em dados anteriores, pode ser escrita como: Onde os termos beta i são os pesos aplicados a valores anteriores na série temporal, e é usual definir beta i 1, sem perda de generalidade. Portanto, para um processo de primeira ordem, q 1 e temos o modelo: isto é, o valor da média móvel é estimado como uma média ponderada dos valores passados atuais e imediatos. Este processo de média é, em certo sentido, um mecanismo pragmático de suavização sem uma ligação directa a um modelo estatístico. No entanto, podemos especificar um modelo estatístico (ou estocástico) que abrace os procedimentos de médias móveis em conjunto com processos aleatórios. Se formos um conjunto de variáveis aleatórias independentes e identicamente distribuídas (um processo aleatório) com média zero e variância fixa conhecida, então podemos escrever o processo como uma média móvel de ordem q em termos de: Claramente o valor esperado de xt sob Este modelo é 0, portanto o modelo só é válido se o xt já tiver sido ajustado para ter uma média zero ou se uma constante fixa (a média do xt) é adicionada à soma. É também evidente que a variância de xt é simplesmente: A análise acima pode ser estendida para avaliar a covariância, cov (x t. Xtk), que encontramos rendimentos: Note-se que nem o valor médio, nem a covariância (ou autocovariância) A lag k é uma função do tempo, t. Então o processo é de segunda ordem estacionário. A expressão acima permite obter uma expressão para a função de autocorrelação (acf): Se k 0 rho k 1, e para k gt q rho k 0. Além disso, o acf é simétrico e rho k rho - k. O acf pode ser calculado para um processo MA de primeira ordem: O componente autorregressivo ou AR de um modelo ARMA pode ser escrito na forma: onde os termos em são coeficientes de autocorrelação em lags 1,2. P e zt é um termo de erro residual. Observe que este termo de erro se refere especificamente ao período de tempo atual, t. Assim, para um processo de primeira ordem, p 1 e temos o modelo: Estas expressões afirmam que o valor estimado de x no tempo t é determinado pelo valor imediatamente anterior de x (isto é, no tempo t -1) multiplicado por uma medida, alfa . Da extensão em que os valores de todos os pares de valores em períodos de tempo com intervalo 1 de intervalo estão correlacionados (isto é, a sua autocorrelação), mais um termo de erro residual, z. No tempo t. Mas esta é precisamente a definição de um Processo de Markov. Assim, um Processo de Markov é um processo autorregressivo de primeira ordem. Se alfa 1 o modelo afirma que o próximo valor de x é simplesmente o valor anterior mais um termo de erro aleatório, e, portanto, é uma simples caminhada aleatória 1D. Se forem incluídos mais termos, o modelo estima o valor de x no tempo t por uma soma ponderada destes termos mais uma componente de erro aleatório. Se substituirmos a segunda expressão acima na primeira, temos: e a aplicação repetida dessa substituição rende: Agora, se alfa lt1 ek é grande, esta expressão pode ser escrita na ordem inversa, com termos decrescentes e com contribuição do termo Em x no lado direito da expressão tornando-se cada vez mais pequeno, então temos: Como o lado direito desta expressão modela xt como a soma de um conjunto ponderado de valores anteriores, neste caso termos de erro aleatório, fica claro que Este modelo AR é, de fato, uma forma de modelo MA. E se assumimos que os termos de erro têm média zero e variância constante, então como no modelo MA temos o valor esperado do modelo como também 0, assumindo que o xt foi ajustado para fornecer uma média zero, com variância: Agora como Assim como com o modelo de MA acima, esta análise pode ser estendida para avaliar a covariância, cov (x t. X tk) de a Para a alfa lt1 esta soma é finita e é simplesmente alpha k / (1- alpha 2), então temos: Isto demonstra que para um modelo autorregressivo de primeira ordem a função de autocorrelação (acf) é Simplesmente definida por potências sucessivas da autocorrelação de primeira ordem,, com a condição alfa lt1. Para alfa gt0 isto é simplesmente uma potência que diminui rapidamente ou curva de tipo exponencial, tendendo para zero, ou para lt0 é uma curva oscilatória de amortecimento, tendendo novamente para zero. Se uma suposição for feita de que a série de tempo é estacionária, a análise acima pode ser estendida para autocorrelações de segundo e maior ordem. Para ajustar um modelo de AR a um conjunto de dados observado, buscamos minimizar a soma de erros quadrados (um ajuste de mínimos quadrados) usando o menor número de termos que fornecem um ajuste satisfatório aos dados. Modelos deste tipo são descritos como auto-regressivos. E pode ser aplicado a séries de tempo e conjuntos de dados espaciais (ver modelos de autorregressão espacial adicionais). Embora, teoricamente, um modelo autorregressivo possa fornecer um bom ajuste a um conjunto de dados observado, geralmente exigiria a remoção prévia de componentes tendenciais e periódicos e, mesmo assim, pode precisar de um grande número de termos para fornecer um bom ajuste aos dados. No entanto, combinando os modelos AR com modelos MA, podemos produzir uma família de modelos mistos que podem ser aplicados em uma ampla gama de situações. Estes modelos são conhecidos como modelos ARMA e ARIMA e são descritos nas subsecções seguintes. Nas duas subseções anteriores, introduzimos o modo MA de ordem q: eo modelo AR de ordem p: Podemos combinar esses dois modelos simplesmente adicionando-os juntos como um modelo de ordem (p, q), onde temos p AR termos E q Termos MA: Em geral, esta forma de modelo ARMA combinado pode ser usada para modelar uma série temporal com menos termos em geral do que um modelo MA ou AR por si mesmos. Exprime o valor estimado no tempo t como a soma de q termos que representam a variação média de variação aleatória sobre q períodos anteriores (a componente MA), mais a soma dos termos p AR que calculam o valor actual de x como a soma ponderada Dos p valores mais recentes. No entanto, esta forma de modelo assume que a série de tempo é estacionário, o que raramente é o caso. Na prática, tendências e periodicidade existem em muitos conjuntos de dados, por isso há uma necessidade de remover esses efeitos antes de aplicar tais modelos. A remoção é tipicamente levada a cabo incluindo no modelo uma fase de diferenciação inicial, tipicamente uma, duas ou três vezes, até que a série seja pelo menos aproximadamente estacionária - não exibindo tendências ou periodicidades óbvias. Como nos processos MA e AR, o processo de diferenciação é descrito pela ordem de diferenciação, por exemplo, 1, 2, 3. Coletivamente, esses três elementos constituem um triplo: (p, q) que define o tipo de modelo aplicado. Nesta forma, o modelo é descrito como um modelo ARIMA. A letra I em ARIMA refere-se ao fato de que o conjunto de dados foi inicialmente diferenciado (ver diferenciação) e quando a modelagem é completa os resultados então têm que ser somados ou integrados para produzir as estimativas finais e previsões. A modelagem ARIMA é discutida abaixo. Conforme observado na subseção anterior, combinar a diferenciação de uma série temporária não-estacionária com o modelo ARMA fornece uma poderosa família de modelos que podem ser aplicados em uma ampla gama de situações. O desenvolvimento desta forma estendida de modelo é em grande parte devido a G E P Box e G M Jenkins, e como resultado modelos ARIMA também são conhecidos como Box-Jenkins modelos. O primeiro passo no procedimento Box-Jenkins é diferenciar a série temporal até que ela fique estacionária, garantindo assim que a tendência e os componentes sazonais sejam removidos. Em muitos casos, uma ou duas etapas de diferenciação são suficientes. A série diferenciada será menor do que a série de origem por c intervalos de tempo, onde c é o intervalo da diferenciação. Um modelo ARMA é então ajustado para a série de tempo resultante. Porque os modelos de ARIMA têm três parâmetros há muitas variações aos modelos possíveis que poderiam ser cabidos. No entanto, a decisão sobre o que esses parâmetros devem ser pode ser guiada por uma série de princípios básicos: (i) o modelo deve ser tão simples quanto possível, ou seja, conter o menor número de termos possível, o que significa que os valores de p e q Deve ser pequeno (ii) o ajuste aos dados históricos deve ser o melhor possível, ou seja, o tamanho das diferenças quadradas entre o valor estimado em qualquer período de tempo passado eo valor real, deve ser minimizado (princípio mínimos quadrados) - os resíduos Do modelo selecionado pode então ser examinado para ver se quaisquer resíduos restantes são significativamente diferentes de 0 (ver adiante, abaixo) (iii) a autocorrelação parcial medida nos intervalos 1, 2, 3. Deve fornecer uma indicação da ordem da componente AR, ou seja, o valor escolhido para q (iv) o formato da função de autocorrelação (acf) pode sugerir o tipo de modelo ARIMA requerido - a tabela abaixo (do NIST) fornece orientação sobre Interpretando a forma do acf em termos de seleção de modelo. ARIMA Seleção do tipo de modelo usando a forma de acf A série não é estacionária. Padrão ARIMA modelos são muitas vezes descritos pelo triplo: (p. d.q), conforme observado acima. Estes definem a estrutura do modelo em termos da ordem de AR, diferenciação e MA modelos a serem utilizados. Também é possível incluir parâmetros semelhantes para sazonalidade nos dados, embora tais modelos sejam mais complexos para se ajustar e interpretar - o tripé (P. D. Q) é geralmente usado para identificar esses componentes do modelo. Na captura de tela do SPSS mostrada abaixo, é exibida a caixa de diálogo para selecionar manualmente elementos estruturais não sazonais e sazonais (instalações similares estão disponíveis em outros pacotes integrados, como SAS / ETS). Como pode ser visto, o diálogo também permite que os dados sejam transformados (normalmente para auxiliar na estabilização de variância) e para permitir que os usuários incluam uma constante no modelo (o padrão). Esta ferramenta de software particular permite que os outliers sejam detectados, se necessário, de acordo com uma gama de procedimentos de detecção, mas em muitos casos os outliers terão sido investigados e ajustados ou removidos e substituir os valores estimados antes de qualquer análise. Modelador de séries temporais SPSS: modelagem ARIMA, modo especialista Um número de modelos ARIMA pode ser instalado nos dados, manualmente ou através de um processo automatizado (por exemplo, um processo passo a passo) e uma ou mais medidas usadas para avaliar qual é o melhor em termos de Ajuste e parcimônia. A comparação de modelos tipicamente faz uso de uma ou mais das medidas de teoria da informação descritas anteriormente neste manual - AIC, BIC e / ou MDL (a função R, arima (), fornece a medida AIC, enquanto SPSS fornece uma gama de medidas de ajuste, Incluiu uma versão da estatística BIC outras ferramentas variam nas medidas fornecidas - Minitab, que fornece uma gama de métodos TSA, não inclui estatísticas AIC / BIC tipo). Na prática, pode ser utilizada uma vasta gama de medidas (ou seja, para além das medidas baseadas nos mínimos quadrados, para avaliar a qualidade do modelo). Por exemplo, o erro absoluto médio eo erro absoluto máximo podem ser medidas úteis, uma vez que mesmo um Um bom ajuste de mínimos quadrados pode ainda ser pobre em alguns lugares. Uma série de pacotes de software também pode fornecer uma medida global da autocorrelação que pode permanecer nos resíduos após a montagem do modelo. Uma estatística freqüentemente aplicada é devido a Ljung e Box (1978 LJU1) , E é da forma: onde n é o número de amostras (valores de dados), ri é a autocorrelação da amostra com o lag i ek é o número total de defasagens sobre as quais o cálculo é realizado. Q k é aproximadamente distribuído como Uma distribuição qui-quadrado com k-m graus de liberdade, onde m é o número de parâmetros utilizados no ajuste do modelo, excluindo qualquer termo constante ou variáveis de previsão (ou seja, incluindo o pd q triplos).Se a medida é estatisticamente significativa, Indica que os resíduos ainda contêm autocorrelação significativa após a instalação do modelo, sugerindo que um modelo melhorado deve ser buscado. Exemplo: Modelando o crescimento do número de passageiros das companhias aéreas A seguir, um exemplo de montagem automatizada, usando SPSS para os dados de teste Box-Jenkins-Reinsel dos números de passageiros REI1 fornecidos anteriormente neste Manual. Inicialmente não foi especificada qualquer especificação das datas sendo meses dentro de anos. O modelo selecionado pelo processo automatizado foi um modelo ARIMA (0,1,12), ou seja, o processo identificou corretamente que a série exigia um nível de diferenciação e aplicava um modelo de média móvel com uma periodicidade de 12 e nenhum componente de autocorrelação para se ajustar ao dados. O ajuste do modelo produziu um valor R 2 de 0,966, que é muito alto, e um erro absoluto máximo (MAE) de 75. O ajuste visual do modelo para os dados parece excelente, mas o gráfico da autocorrelação residual após o ajuste e Ljung O teste de caixa mostra que a autocorrelação significativa permanece, indicando que um modelo melhorado é possível. Para um estudo mais aprofundado, foi instalado um modelo revisto, baseado na discussão deste conjunto de dados por Box e Jenkins (1968) e na edição atualizada do livro de Chatfields (1975 CHA1) em Que ele usa o Minitab para ilustrar sua análise (6ª edição, 2003). A série temporal foi definida como tendo uma periodicidade de 12 meses e um modelo ARIMA com componentes (0,1,1), (0,1,1). Graficamente, os resultados parecem muito semelhantes ao gráfico acima, mas com este modelo o R-quadrado é 0,991, o MAE41 ea estatística Ljung-Box não são mais significativos (12,6, com 16 graus de liberdade). O modelo é, portanto, uma melhoria na versão original (gerada automaticamente), sendo composta por uma MA não-sazonal e uma componente MA sazonal, sem componente autorregressivo e um nível de diferenciação para as estruturas sazonais e não sazonais. Se o ajuste for manual ou automatizado, um modelo ARIMA pode fornecer uma boa estrutura para modelar uma série de tempo, ou pode ser que modelos ou abordagens alternativas proporcionem um resultado mais satisfatório. Muitas vezes é difícil saber com antecedência o quão bom qualquer modelo de previsão é provável que seja, uma vez que é apenas à luz da sua capacidade de prever valores futuros da série de dados que pode ser verdadeiramente julgado. Muitas vezes, esse processo é aproximado ajustando o modelo a dados passados, excluindo períodos de tempo recentes (também conhecidos como amostras de hold-out) e, em seguida, usando o modelo para prever esses eventos futuros conhecidos, mas isso também oferece confiança limitada em sua validade futura. Previsões a mais longo prazo podem ser extremamente pouco confiáveis usando tais métodos. É óbvio que o modelo internacional de estatísticas de tráfego aéreo descrito acima não é capaz de prever corretamente o número de passageiros até a década de 1990 e mais além, nem a queda de 5 anos no número de passageiros das companhias aéreas internacionais norte-americanas pós-11/09/2001. Da mesma forma, um modelo ARIMA pode ser ajustado a valores históricos de preços de ações ou valores de índice (por exemplo, os índices NYSE ou FTSE) e normalmente proporcionará um ajuste excelente aos dados (resultando em um valor R-quadrado melhor que 0,99), mas são Muitas vezes de pouca utilidade para prever valores futuros desses preços ou índices. Tipicamente os modelos ARIMA são usados para previsão, particularmente no campo da modelagem macro e microeconômica. No entanto, eles podem ser aplicados em uma ampla gama de disciplinas, tanto na forma descrita aqui, ou aumentada com variáveis preditor adicionais que se acredita para melhorar a confiabilidade das previsões feitas. Estes últimos são importantes porque toda a estrutura dos modelos ARMA discutidos acima depende de valores anteriores e eventos aleatórios independentes ao longo do tempo, e não em qualquer fatores explicativos ou causais. Assim, os modelos ARIMA só irão refletir e estender padrões passados, que podem precisar ser modificados nas previsões por fatores como o ambiente macroeconômico, mudanças tecnológicas ou mudanças de recursos e / ou ambientais de longo prazo. BOX1 Caixa G E P, Jenkins G M (1968). Alguns avanços recentes na previsão e controle. Estatística Aplicada, 17 (2), 91-109 BOX2 Caixa, G E P, Jenkins, G M, Reinsel G C (1994) Análise, Previsão e Controlo de Séries Temporais. 3a ed. Prentice Hall, falésias de Englewood, NJ CHA1 Chatfield C (1975) A análise da série dos tempos: Teoria e prática. Chapman e Hall, Londres (ver também, 6a ed. 2003) LJU1 Ljung G M, Caixa G E P (1978) Sobre uma medida de uma falta de ajuste em modelos de séries temporais. Biometrika, 65, 297303 NIST / SEMATECH e-Handbook of Statistical Methods, www. itl. nist. gov/div898/handbook/ Seção 6.4: Introdução às séries temporais. 2010 SPSS / PASW 17 (2008) AnalyseForecasting (Modelos de séries temporais) REI1 Reinsel G C Conjuntos de dados para modelos Box-Jenkins: www. stat. wisc. edu/A RIMA significa Autoregressive Integrated Moving Average. Univariada (vetor único) ARIMA é uma técnica de previsão que projeta os valores futuros de uma série baseada inteiramente em sua própria inércia. Sua principal aplicação é na área de previsão de curto prazo, exigindo pelo menos 40 pontos de dados históricos. Ele funciona melhor quando seus dados exibem um padrão estável ou consistente ao longo do tempo com uma quantidade mínima de outliers. Às vezes chamado Box-Jenkins (após os autores originais), ARIMA é geralmente superior às técnicas de suavização exponencial quando os dados são razoavelmente longos ea correlação entre as observações passadas é estável. Se os dados forem curtos ou altamente voláteis, então algum método de alisamento pode funcionar melhor. Se você não tiver pelo menos 38 pontos de dados, você deve considerar algum outro método que ARIMA. O primeiro passo na aplicação da metodologia ARIMA é verificar a estacionaridade. A estacionariedade implica que a série permanece a um nível razoavelmente constante ao longo do tempo. Se existe uma tendência, como na maioria das aplicações econômicas ou de negócios, os dados NÃO são estacionários. Os dados também devem mostrar uma variação constante em suas flutuações ao longo do tempo. Isto é facilmente visto com uma série que é fortemente sazonal e crescendo a um ritmo mais rápido. Nesse caso, os altos e baixos da sazonalidade se tornarão mais dramáticos ao longo do tempo. Sem que estas condições de estacionaridade sejam satisfeitas, muitos dos cálculos associados ao processo não podem ser calculados. Se um gráfico gráfico dos dados indica nonstationarity, então você deve diferenciar a série. A diferenciação é uma excelente maneira de transformar uma série não-estacionária em uma estacionária. Isto é feito subtraindo a observação no período atual do anterior. Se essa transformação é feita apenas uma vez para uma série, você diz que os dados foram primeiro diferenciados. Este processo elimina essencialmente a tendência se sua série está crescendo em uma taxa razoavelmente constante. Se ele está crescendo a uma taxa crescente, você pode aplicar o mesmo procedimento e diferença os dados novamente. Seus dados seriam então segundo diferenciados. Autocorrelações são valores numéricos que indicam como uma série de dados está relacionada a si mesma ao longo do tempo. Mais precisamente, ele mede quão fortemente os valores de dados em um número específico de períodos separados estão correlacionados entre si ao longo do tempo. O número de períodos separados é geralmente chamado de atraso. Por exemplo, uma autocorrelação no intervalo 1 mede como os valores 1 intervalo de tempo são correlacionados um ao outro ao longo da série. Uma autocorrelação no intervalo 2 mede como os dados dois períodos separados estão correlacionados ao longo da série. As autocorrelações podem variar de 1 a -1. Um valor próximo a 1 indica uma alta correlação positiva, enquanto um valor próximo de -1 implica uma correlação negativa elevada. Essas medidas são mais frequentemente avaliadas através de gráficos gráficos chamados correlagramas. Um correlagram traça os valores de autocorrelação para uma dada série em diferentes defasagens. Isto é referido como a função de autocorrelação e é muito importante no método ARIMA. A metodologia ARIMA tenta descrever os movimentos em séries temporais estacionárias como uma função do que são chamados parâmetros auto-regressivos e de média móvel. Estes são referidos como parâmetros AR (autoregessive) e parâmetros MA (média móvel). Um modelo AR com apenas 1 parâmetro pode ser escrito como. X (t) A (1) X (t-1) E (t) onde X (t) séries temporais sob investigação A (1) o parâmetro autorregressivo de ordem 1 X (t-1) (T) o termo de erro do modelo Isto simplesmente significa que qualquer valor dado X (t) pode ser explicado por alguma função de seu valor anterior, X (t-1), mais algum erro aleatório inexplicável, E (t). Se o valor estimado de A (1) fosse .30, então o valor atual da série estaria relacionado a 30 de seu valor 1 período atrás. Naturalmente, a série poderia estar relacionada a mais do que apenas um valor passado. Por exemplo, X (t) A (1) X (t-1) A (2) X (t-2) E (t) Isso indica que o valor atual da série é uma combinação dos dois valores imediatamente anteriores, X (t-1) e X (t-2), mais algum erro aleatório E (t). Nosso modelo é agora um modelo autorregressivo de ordem 2. Modelos de média móvel: Um segundo tipo de modelo Box-Jenkins é chamado de modelo de média móvel. Embora estes modelos parecem muito semelhantes ao modelo AR, o conceito por trás deles é bastante diferente. Os parâmetros de média móvel relacionam o que acontece no período t apenas aos erros aleatórios que ocorreram em períodos de tempo passados, isto é, E (t-1), E (t-2), etc., em vez de X (t-1), X T-2), (Xt-3) como nas abordagens autorregressivas. Um modelo de média móvel com um termo MA pode ser escrito da seguinte forma. O termo B (1) é chamado de MA de ordem 1. O sinal negativo na frente do parâmetro é usado apenas para convenção e normalmente é impresso Automaticamente pela maioria dos programas de computador. O modelo acima diz simplesmente que qualquer valor dado de X (t) está diretamente relacionado somente ao erro aleatório no período anterior, E (t-1) e ao termo de erro atual, E (t). Como no caso dos modelos autorregressivos, os modelos de média móvel podem ser estendidos a estruturas de ordem superior cobrindo diferentes combinações e comprimentos médios móveis. A metodologia ARIMA também permite a construção de modelos que incorporem parâmetros de média móvel e autorregressiva. Estes modelos são frequentemente referidos como modelos mistos. Embora isso torne uma ferramenta de previsão mais complicada, a estrutura pode de fato simular melhor a série e produzir uma previsão mais precisa. Modelos puros implicam que a estrutura consiste apenas de AR ou MA parâmetros - não ambos. Os modelos desenvolvidos por esta abordagem são geralmente chamados de modelos ARIMA porque eles usam uma combinação de auto-regressão (RA), integração (I) - referindo-se ao processo inverso de diferenciação para produzir as operações de previsão e de média móvel (MA). Um modelo ARIMA é geralmente indicado como ARIMA (p, d, q). Isso representa a ordem dos componentes autorregressivos (p), o número de operadores de diferenciação (d) e a ordem mais alta do termo médio móvel. Por exemplo, ARIMA (2,1,1) significa que você tem um modelo autorregressivo de segunda ordem com um componente de média móvel de primeira ordem cuja série foi diferenciada uma vez para induzir a estacionaridade. Escolhendo a Especificação Direita: O principal problema no clássico Box-Jenkins está tentando decidir qual especificação ARIMA usar - i. e. Quantos parâmetros AR e / ou MA devem ser incluídos. Isto é o que muito de Box-Jenkings 1976 foi dedicado ao processo de identificação. Ela dependia da avaliação gráfica e numérica das funções de autocorrelação da amostra e autocorrelação parcial. Bem, para os seus modelos básicos, a tarefa não é muito difícil. Cada um tem funções de autocorrelação que parecem uma certa maneira. No entanto, quando você subir em complexidade, os padrões não são tão facilmente detectados. Para tornar as questões mais difíceis, seus dados representam apenas uma amostra do processo subjacente. Isto significa que os erros de amostragem (outliers, erro de medição, etc.) podem distorcer o processo de identificação teórica. Por isso, a modelagem ARIMA tradicional é uma arte em vez de uma ciência. O procedimento da Série de Tempo de Trabalho de Treinamento On-Line do SPSS fornece as ferramentas para a criação de modelos, aplicando um modelo existente para análise de séries temporais, decomposição sazonal e análise espectral de dados de séries temporais. Bem como ferramentas para computar autocorrelações e correlações cruzadas. Os seguintes dois clipes de filme demonstram como criar um modelo de série temporal de suavização exponencial e como aplicar um modelo de série temporal existente para analisar dados de séries temporais. MOVIE: Modelo de Suavização Exponencial MOVIE: Modelo ARIMA Ferramenta Expert Modeler Expert Nesta oficina on-line, você encontrará muitos clipes de filme. Cada clipe de filme demonstrará alguma utilização específica do SPSS. Criar modelos TS. Existem diferentes métodos disponíveis no SPSS para a criação de modelos de séries temporais. Existem procedimentos para modelos de suavização exponencial, univariada e multivariada Autoregressive Integrated Moving-Average (ARIMA). Estes procedimentos produzem previsões. Métodos de alisamento na previsão - Médias móveis, médias móveis ponderadas e métodos exponenciais de suavização são freqüentemente usados na previsão. O principal objectivo de cada um destes métodos é suavizar as flutuações aleatórias na série temporal. Estes são eficazes quando a série temporal não exibe tendência significativa, efeitos cíclicos ou sazonais. Isto é, a série de tempo é estável. Os métodos de suavização são geralmente bons para as previsões de curto alcance. Médias móveis: Médias móveis usa a média dos valores de dados k mais recentes na série de tempo. Por definição, MA S (valores k mais recentes) / k. A MA média muda à medida que novas observações se tornam disponíveis. Média Móvel Ponderada: No método MA, cada ponto de dados recebe o mesmo peso. Na média móvel ponderada, usamos pesos diferentes para cada ponto de dados. Ao selecionar os pesos, calculamos a média ponderada dos valores de dados k mais recentes. Em muitos casos, o ponto de dados mais recente recebe o maior peso eo peso diminui para pontos de dados mais antigos. A soma dos pesos é igual a 1. Uma maneira de selecionar pesos é usar pesos que minimizem o critério de erro quadrático médio (MSE). Método de Suavização Exponencial. Este é um método de média ponderada especial. Este método seleciona o peso para a observação mais recente e os pesos para observações mais antigas são computados automaticamente. Estes outros pesos diminuem à medida que as observações ficam mais velhas. O modelo básico de suavização exponencial é onde F t 1 previsão para o período t 1, t observação no período t. F t previsão para o período t. E um parâmetro de suavização (ou constante) (0 lt a lt1). Para uma série de tempo, definimos F 1 1 para o período 1 e as previsões subseqüentes para os períodos 2, 3, podem ser calculadas pela fórmula para F t 1. Usando esta abordagem, pode-se mostrar que o método de suavização exponencial é uma média ponderada de todos os pontos de dados anteriores na série de tempo. Uma vez conhecida, precisamos conhecer t e F t para calcular a previsão para o período t 1. Em geral, escolhemos a que minimiza o MSE. Simples: apropriado para séries em que não há tendência ou sazonalidade. Componente de média móvel (q): ordens de média móvel especificam como os desvios da média de série para os valores anteriores são usados para prever os valores atuais. Expert Time Series Modeler determina automaticamente o melhor ajuste para os dados da série temporal. Por padrão, o Expert Modeler considera os modelos de suavização exponencial e ARIMA. O usuário pode selecionar apenas modelos ARIMA ou Smoothing e especificar a detecção automática de outliers. O clipe de filme a seguir demonstra como criar um modelo ARIMA usando o método ARIMA e o modelador de especialistas fornecido pelo SPSS. O conjunto de dados utilizado para esta demonstração é o conjunto de dados AirlinePassenger. Consulte a página Conjunto de dados para obter detalhes. Os dados dos passageiros das companhias aéreas são dados como série G no livro Time Series Analysis: Forecasting and Control por Box e Jenkins (1976). O número variável é o total mensal de passageiros em milhares. Na transformação logarítmica, os dados foram analisados na literatura. Aplicar modelos de séries temporais. Esse procedimento carrega um modelo de série temporal existente a partir de um arquivo externo eo modelo é aplicado ao conjunto de dados SPSS ativo. Isso pode ser usado para obter previsões para séries para as quais dados novos ou revisados estão disponíveis sem começar a construir um novo modelo. A caixa de diálogo principal é semelhante à caixa de diálogo principal Criar modelos. Análise Espectral. Este procedimento pode ser usado para mostrar o comportamento periódico em séries temporais. Gráficos de seqüência. Este procedimento é utilizado para traçar casos em sequência. Para executar este procedimento, você precisa de dados de séries temporais ou de um conjunto de dados que esteja classificado em determinada ordem significativa. Autocorrelações. Este procedimento traça a função de autocorrelação e a função de autocorrelação parcial de uma ou mais séries temporais. Cross-Correlations. Este procedimento traça a função de correlação cruzada de duas ou mais séries de tempo para defasagens positivas, negativas e zero. Consulte o Menu de Ajuda do SPSS para obter informações adicionais sobre o modelo de séries temporais aplicadas, análise espectral, gráficos de seqüência, autocorrelações e procedimentos de correlação cruzada. O seu Workshop de Treinamento SPSS on-line é desenvolvido pelo Dr. Carl Lee, Dr. Felix Famoye. Estudante assistentes Barbara Shelden e Albert Brown. Departamento de Matemática, Universidade Central de Michigan. Todos os direitos reservados. Modelos ARMA e ARIMA (Box-Jenkins) Modelos ARMA e ARIMA (Box-Jenkins) Nas seções anteriores vimos como o valor de uma série temporal univariada no instante t. X t. Pode ser modelado usando uma variedade de expressões de média móvel. Mostramos também que componentes como tendências e periodicidade nas séries temporais podem ser explicitamente modelados e / ou separados, com os dados sendo decompostos em componentes tendência, sazonais e residuais. Mostramos também, nas discussões anteriores sobre autocorrelação. Que os coeficientes de autocorrelação total e parcial são extremamente úteis na identificação e padrões de modelagem em séries temporais. Esses dois aspectos da análise e modelagem de séries temporais podem ser combinados em um quadro de modelagem geral mais geral e muitas vezes muito efetivo. Em sua forma básica, esta abordagem é conhecida como modelagem ARMA (média móvel autorregressiva), ou quando a diferenciação é incluída no procedimento, ARIMA ou Box-Jenkins modelagem, após os dois autores que foram centrais para o seu desenvolvimento (ver Box amp Jenkins, 1968 BOX1 e Box, Jenkins amp Reinsel, 1994 BOX2). Não há uma regra fixa quanto ao número de períodos de tempo necessários para um exercício de modelagem bem-sucedido, mas para modelos mais complexos e para maior confiança nos procedimentos de ajuste e validação, são freqüentemente recomendadas séries com 50 etapas de tempo. Os modelos ARMA combinam os métodos de autocorrelação (AR) e as médias móveis (MA) em um modelo composto da série temporal. Antes de considerar como esses modelos podem ser combinados, examinamos cada um separadamente. Já vimos que os modelos de média móvel (MA) podem ser usados para fornecer um bom ajuste para alguns conjuntos de dados, e as variações nesses modelos que envolvem o suavização exponencial dupla ou tripla podem lidar com componentes tendenciais e periódicos nos dados. Além disso, esses modelos podem ser usados para criar previsões que imitam o comportamento de períodos anteriores. Uma forma simples de tais modelos, baseada em dados anteriores, pode ser escrita como: Onde os termos beta i são os pesos aplicados a valores anteriores na série temporal, e é usual definir beta i 1, sem perda de generalidade. Assim, para um processo de primeira ordem, q 1 e temos o modelo: isto é, o valor da média móvel é estimado como uma média ponderada dos valores passados atuais e imediatos. Este processo de média é, em certo sentido, um mecanismo pragmático de suavização sem uma ligação directa a um modelo estatístico. No entanto, podemos especificar um modelo estatístico (ou estocástico) que abrace os procedimentos de médias móveis em conjunto com processos aleatórios. Se formos um conjunto de variáveis aleatórias independentes e identicamente distribuídas (um processo aleatório) com média zero e variância fixa conhecida, então podemos escrever o processo como uma média móvel de ordem q em termos de: Claramente o valor esperado de xt sob Este modelo é 0, portanto o modelo só é válido se o xt já tiver sido ajustado para ter uma média zero ou se uma constante fixa (a média do xt) é adicionada à soma. É também evidente que a variância de xt é simplesmente: A análise acima pode ser estendida para avaliar a covariância, cov (x t. Xtk), que encontramos rendimentos: Note-se que nem o valor médio, nem a covariância (ou autocovariância) A lag k é uma função do tempo, t. Então o processo é de segunda ordem estacionário. A expressão acima permite obter uma expressão para a função de autocorrelação (acf): Se k 0 rho k 1, e para k gt q rho k 0. Além disso, o acf é simétrico e rho k rho - k. O acf pode ser calculado para um processo MA de primeira ordem: O componente autorregressivo ou AR de um modelo ARMA pode ser escrito na forma: onde os termos em são coeficientes de autocorrelação em lags 1,2. P e zt é um termo de erro residual. Observe que este termo de erro se refere especificamente ao período de tempo atual, t. Assim, para um processo de primeira ordem, p 1 e temos o modelo: Estas expressões afirmam que o valor estimado de x no tempo t é determinado pelo valor imediatamente anterior de x (isto é, no tempo t -1) multiplicado por uma medida, alfa . Da extensão em que os valores de todos os pares de valores em períodos de tempo com intervalo 1 de intervalo estão correlacionados (isto é, a sua autocorrelação), mais um termo de erro residual, z. No tempo t. Mas esta é precisamente a definição de um Processo de Markov. Assim, um Processo de Markov é um processo autorregressivo de primeira ordem. Se alfa 1 o modelo afirma que o próximo valor de x é simplesmente o valor anterior mais um termo de erro aleatório, e, portanto, é uma simples caminhada aleatória 1D. Se forem incluídos mais termos, o modelo estima o valor de x no tempo t por uma soma ponderada destes termos mais uma componente de erro aleatório. Se substituirmos a segunda expressão acima na primeira, temos: e a aplicação repetida dessa substituição rende: Agora, se alfa lt1 ek é grande, esta expressão pode ser escrita na ordem inversa, com termos decrescentes e com contribuição do termo Em x no lado direito da expressão tornando-se cada vez mais pequeno, então temos: Como o lado direito desta expressão modela xt como a soma de um conjunto ponderado de valores anteriores, neste caso termos de erro aleatório, fica claro que Este modelo AR é, de fato, uma forma de modelo MA. E se assumirmos que os termos de erro têm média zero e variância constante, então como no modelo MA temos o valor esperado do modelo como também 0, assumindo que o xt foi ajustado para fornecer uma média zero, com variância: Assim como com o modelo de MA acima, esta análise pode ser estendida para avaliar a covariância, cov (x t. X tk) de a Para a alfa lt1 esta soma é finita e é simplesmente alpha k / (1- alpha 2), então temos: Isto demonstra que para um modelo autorregressivo de primeira ordem a função de autocorrelação (acf) é Simplesmente definida por potências sucessivas da autocorrelação de primeira ordem,, com a condição alfa lt1. Para alfa gt0 isto é simplesmente uma potência que diminui rapidamente ou curva de tipo exponencial, tendendo para zero, ou para lt0 é uma curva oscilatória de amortecimento, tendendo novamente para zero. Se uma suposição for feita de que a série de tempo é estacionária, a análise acima pode ser estendida para autocorrelações de segundo e maior ordem. Para ajustar um modelo AR a um conjunto de dados observado, procuramos minimizar a soma de erros quadrados (um ajuste de mínimos quadrados) usando o menor número de termos que proporcionam um ajuste satisfatório aos dados. Modelos deste tipo são descritos como auto-regressivos. E pode ser aplicado a séries de tempo e conjuntos de dados espaciais (ver modelos de autorregressão espacial adicionais). Embora, teoricamente, um modelo autorregressivo possa fornecer um bom ajuste a um conjunto de dados observado, geralmente exigiria a remoção prévia de componentes tendenciais e periódicos e, mesmo assim, pode precisar de um grande número de termos para fornecer um bom ajuste aos dados. No entanto, combinando os modelos AR com modelos MA, podemos produzir uma família de modelos mistos que podem ser aplicados em uma ampla gama de situações. Estes modelos são conhecidos como modelos ARMA e ARIMA e são descritos nas subsecções seguintes. Nas duas subseções anteriores, introduzimos o modo MA de ordem q: eo modelo AR de ordem p: Podemos combinar esses dois modelos simplesmente adicionando-os juntos como um modelo de ordem (p, q), onde temos p AR termos E q Termos MA: Em geral, esta forma de modelo ARMA combinado pode ser usada para modelar uma série temporal com menos termos em geral do que um modelo MA ou AR por si mesmos. Exprime o valor estimado no tempo t como a soma de q termos que representam a variação média de variação aleatória sobre q períodos anteriores (a componente MA), mais a soma dos termos p AR que calculam o valor actual de x como a soma ponderada Dos p valores mais recentes. No entanto, esta forma de modelo assume que a série de tempo é estacionário, o que raramente é o caso. Na prática, tendências e periodicidade existem em muitos conjuntos de dados, por isso há uma necessidade de remover esses efeitos antes de aplicar tais modelos. A remoção é tipicamente levada a cabo incluindo no modelo uma fase de diferenciação inicial, tipicamente uma, duas ou três vezes, até que a série seja pelo menos aproximadamente estacionária - não exibindo tendências ou periodicidades óbvias. Como nos processos MA e AR, o processo de diferenciação é descrito pela ordem de diferenciação, por exemplo, 1, 2, 3. Coletivamente, esses três elementos constituem um triplo: (p, q) que define o tipo de modelo aplicado. Nesta forma, o modelo é descrito como um modelo ARIMA. A letra I em ARIMA refere-se ao fato de que o conjunto de dados foi inicialmente diferenciado (ver diferenciação) e quando a modelagem é completa os resultados então têm que ser somados ou integrados para produzir as estimativas finais e previsões. A modelagem ARIMA é discutida abaixo. Conforme observado na subseção anterior, combinar a diferenciação de uma série temporária não-estacionária com o modelo ARMA fornece uma poderosa família de modelos que podem ser aplicados em uma ampla gama de situações. O desenvolvimento desta forma estendida de modelo é em grande parte devido a G E P Box e G M Jenkins, e como resultado modelos ARIMA também são conhecidos como Box-Jenkins modelos. O primeiro passo no procedimento Box-Jenkins é diferenciar a série temporal até que ela fique estacionária, garantindo assim que a tendência e os componentes sazonais sejam removidos. Em muitos casos, uma ou duas fases de diferenciação são suficientes. A série diferenciada será menor do que a série de origem por c intervalos de tempo, onde c é o intervalo da diferenciação. Um modelo ARMA é então ajustado para a série de tempo resultante. Porque os modelos de ARIMA têm três parâmetros há muitas variações aos modelos possíveis que poderiam ser cabidos. No entanto, a decisão sobre o que esses parâmetros devem ser pode ser guiada por uma série de princípios básicos: (i) o modelo deve ser tão simples quanto possível, ou seja, conter o menor número de termos possível, o que significa que os valores de p e q Deve ser pequeno (ii) o ajuste aos dados históricos deve ser o melhor possível, ou seja, o tamanho das diferenças quadradas entre o valor estimado em qualquer período de tempo passado eo valor real, deve ser minimizado (princípio mínimos quadrados) - os resíduos Do modelo selecionado pode então ser examinado para ver se quaisquer resíduos restantes são significativamente diferentes de 0 (ver adiante, abaixo) (iii) a autocorrelação parcial medida nos intervalos 1, 2, 3. Deve fornecer uma indicação da ordem da componente AR, ou seja, o valor escolhido para q (iv) o gráfico da forma da função de autocorrelação (acf) pode sugerir o tipo de modelo ARIMA exigido - a tabela abaixo (do NIST) fornece orientação sobre Interpretando a forma do acf em termos de seleção de modelo. ARIMA Seleção do tipo de modelo usando a forma de acf A série não é estacionária. Padrão ARIMA modelos são muitas vezes descritos pelo triplo: (p. d.q), conforme observado acima. Estes definem a estrutura do modelo em termos da ordem de AR, diferenciação e MA modelos a serem utilizados. Também é possível incluir parâmetros semelhantes para sazonalidade nos dados, embora tais modelos sejam mais complexos para se ajustar e interpretar - o tripé (P. D. Q) é geralmente usado para identificar esses componentes do modelo. Na captura de tela do SPSS mostrada abaixo, é exibida a caixa de diálogo para selecionar manualmente elementos estruturais não sazonais e sazonais (instalações similares estão disponíveis em outros pacotes integrados, como SAS / ETS). Como pode ser visto, o diálogo também permite que os dados sejam transformados (normalmente para auxiliar na estabilização de variância) e para permitir que os usuários incluam uma constante no modelo (o padrão). Esta ferramenta de software particular permite que os outliers sejam detectados, se necessário, de acordo com uma gama de procedimentos de detecção, mas em muitos casos os outliers terão sido investigados e ajustados ou removidos e substituir os valores estimados antes de qualquer análise. Modelador de séries temporais SPSS: modelagem ARIMA, modo especialista Um número de modelos ARIMA pode ser instalado nos dados, manualmente ou através de um processo automatizado (por exemplo, um processo gradual) e uma ou mais medidas usadas para avaliar qual é o melhor em termos de Ajuste e parcimônia. A comparação de modelos tipicamente faz uso de uma ou mais das medidas de teoria da informação descritas anteriormente neste manual - AIC, BIC e / ou MDL (a função R, arima (), fornece a medida AIC, enquanto SPSS fornece uma gama de medidas de ajuste, Incluiu uma versão da estatística BIC outras ferramentas variam nas medidas fornecidas - Minitab, que fornece uma gama de métodos TSA, não inclui estatísticas AIC / BIC tipo). In practice a wide range of measures (i. e. other than/in addition to the least squares based measures, can be used to evaluate the model quality. For example, the mean absolute error and the maximum absolute error may be useful measures, since even a good least squares fit may still be poor in places. A number of software packages may also provide an overall measure of the autocorrelation that may remain in the residuals after fitting the model. A statistic frequently applied is due to Ljung and Box (1978 LJU1 ), and is of the form: where n is the number of samples (data values), r i is the sample autocorrelation at lag i. and k is the total number of lags over which the computation is carried out. Q k is approximately distributed as a chi-square distribution with k - m degrees of freedom, where m is the number of parameters used in fitting the model, excluding any constant term or predictor variables (i. e. just including the p. d. q triples). If the measure is statistically significant it indicates that the residuals still contain significant autocorrelation after the model has been fitted, suggesting that an improved model should be sought. Example: Modeling the growth of airline passenger numbers The following is an example of automated fitting, using SPSS to the Box-Jenkins-Reinsel test data of airline passenger numbers REI1 provided earlier in this Handbook. Initially no specification of the dates being months within years was specified. The model selected by the automated process was an ARIMA model (0,1,12), i. e. the process correctly identified that the series required one level of differencing and applied a moving average model with a periodicity of 12 and no autocorrelation component to fit the data. The model fit produced an R 2 value of 0.966, which is very high, and a maximum absolute error (MAE) of 75. The visual fit of the model to the data looks excellent, but the plot of the residual autocorrelation after fitting and Ljung-Box test shows that significant autocorrelation remains, indicating that an improved model is possible. Automated ARIMA fit to International Airline Passengers: Monthly Totals, 1949-1960 To investigate this further a revised model was fitted, based on the discussion of this dataset by Box and Jenkins (1968) and the updated edition of Chatfields (1975 CHA1 ) book in which he uses Minitab to illustrate his analysis (6th edition, 2003). The time series was defined as having a periodicity of 12 months and an ARIMA model with components (0,1,1),(0,1,1). Graphically the results look very similar to the chart above, but with this model the R-squared is 0.991, the MAE41 and the Ljung-Box statistic is no longer significant (12.6, with 16 degrees of freedom). The model is thus an improvement on the original (automatically generated) version, being comprised of a non-seasonal MA and a seasonal MA component, no autoregressive component, and one level of differencing for the seasonal and non-seasonal structures. Whether fitting is manual or automated, an ARIMA model may provide a good framework for modeling a time series, or it may be that alternative models or approaches provide a more satisfactory result. Often it is difficult to know in advance how good any given forecasting model is likely to be, since it is only in the light of its ability to predict future values of the data series that it can be truly judged. Often this process is approximated by fitting the model to past data excluding recent time periods (also known as hold-out samples ), and then using the model to predict these known future events, but even this offers only limited confidence in its future validity. Longer-term forecasting can be extremely unreliable using such methods. Clearly the international air traffic statistics model described above is not able to correctly predict passengers numbers through into the 1990s and beyond, nor the 5-year drop in US international airline passenger numbers post 9/11/2001. Likewise, an ARIMA model can be fitted to historic values of stock exchange prices or index values (e. g. the NYSE or FTSE indices) and will typically provide an excellent fit to the data (yielding an R-squared value of better than 0.99) but are often of little use for forecasting future values of these prices or indices. Typically ARIMA models are used for forecasting, particularly in the field of macro - and micro-economic modeling. However, they can be applied in a wide range of disciplines, either in the form described here, or augmented with additional predictor variables that are believed to improve the reliability of the forecasts made. The latter are important because the entire structure of the ARMA models discussed above depends on prior values and independent random events over time, not on any explanatory or causative factors. Hence ARIMA models will only reflect and extend past patterns, which might need to be modified in forecasts by factors such as the macro-economic environment, technology shifts, or longer term resource and/or environmental changes. BOX1 Box G E P, Jenkins G M (1968). Some recent advances in forecasting and control. Applied Statistics, 17(2), 91-109 BOX2 Box, G E P, Jenkins, G M, Reinsel G C (1994) Time Series Analysis, Forecasting and Control. 3a ed. Prentice Hall, Englewood Cliffs, NJ CHA1 Chatfield C (1975) The Analysis of Times Series: Theory and Practice. Chapman and Hall, London (see also, 6th ed. 2003) LJU1 Ljung G M, Box G E P (1978) On a Measure of a Lack of Fit in Time Series Models. Biometrika, 65, 297303 NIST/SEMATECH e-Handbook of Statistical Methods, www. itl. nist. gov/div898/handbook/ Section 6.4: Introduction to time series. 2010 SPSS/PASW 17 (2008) AnalyzeForecasting (Time Series Models) REI1 Reinsel G C Datasets for Box-Jenkins models: www. stat. wisc. edu/Identifying the numbers of AR or MA terms in an ARIMA model ACF and PACF plots: After a time series has been stationarized by differencing, the next step in fitting an ARIMA model is to determine whether AR or MA terms are needed to correct any autocorrelation that remains in the differenced series. Of course, with software like Statgraphics, you could just try some different combinations of terms and see what works best. But there is a more systematic way to do this. By looking at the autocorrelation function (ACF) and partial autocorrelation (PACF) plots of the differenced series, you can tentatively identify the numbers of AR and/or MA terms that are needed. You are already familiar with the ACF plot: it is merely a bar chart of the coefficients of correlation between a time series and lags of itself. The PACF plot is a plot of the partial correlation coefficients between the series and lags of itself. In general, the quotpartialquot correlation between two variables is the amount of correlation between them which is not explained by their mutual correlations with a specified set of other variables. For example, if we are regressing a variable Y on other variables X1, X2, and X3, the partial correlation between Y and X3 is the amount of correlation between Y and X3 that is not explained by their common correlations with X1 and X2. This partial correlation can be computed as the square root of the reduction in variance that is achieved by adding X3 to the regression of Y on X1 and X2. A partial auto correlation is the amount of correlation between a variable and a lag of itself that is not explained by correlations at all lower-order - lags. The autocorrelation of a time series Y at lag 1 is the coefficient of correlation between Y t and Y t - 1 . which is presumably also the correlation between Y t -1 and Y t -2 . But if Y t is correlated with Y t -1 . and Y t -1 is equally correlated with Y t -2 . then we should also expect to find correlation between Y t and Y t-2 . In fact, the amount of correlation we should expect at lag 2 is precisely the square of the lag-1 correlation. Thus, the correlation at lag 1 quotpropagatesquot to lag 2 and presumably to higher-order lags. The partial autocorrelation at lag 2 is therefore the difference between the actual correlation at lag 2 and the expected correlation due to the propagation of correlation at lag 1. Here is the autocorrelation function (ACF) of the UNITS series, before any differencing is performed: The autocorrelations are significant for a large number of lags--but perhaps the autocorrelations at lags 2 and above are merely due to the propagation of the autocorrelation at lag 1. This is confirmed by the PACF plot: Note that the PACF plot has a significant spike only at lag 1, meaning that all the higher-order autocorrelations are effectively explained by the lag-1 autocorrelation. The partial autocorrelations at all lags can be computed by fitting a succession of autoregressive models with increasing numbers of lags. In particular, the partial autocorrelation at lag k is equal to the estimated AR( k ) coefficient in an autoregressive model with k terms--i. e. a multiple regression model in which Y is regressed on LAG(Y,1), LAG(Y,2), etc. up to LAG(Y, k ). Thus, by mere inspection of the PACF you can determine how many AR terms you need to use to explain the autocorrelation pattern in a time series: if the partial autocorrelation is significant at lag k and not significant at any higher order lags--i. e. if the PACF quotcuts offquot at lag k --then this suggests that you should try fitting an autoregressive model of order k The PACF of the UNITS series provides an extreme example of the cut-off phenomenon: it has a very large spike at lag 1 and no other significant spikes, indicating that in the absence of differencing an AR(1) model should be used. However, the AR(1) term in this model will turn out to be equivalent to a first difference, because the estimated AR(1) coefficient (which is the height of the PACF spike at lag 1) will be almost exactly equal to 1. Now, the forecasting equation for an AR(1) model for a series Y with no orders of differencing is: If the AR(1) coefficient 981 1 in this equation is equal to 1, it is equivalent to predicting that the first difference of Y is constant--i. e. it is equivalent to the equation of the random walk model with growth: The PACF of the UNITS series is telling us that, if we dont difference it, then we should fit an AR(1) model which will turn out to be equivalent to taking a first difference. In other words, it is telling us that UNITS really needs an order of differencing to be stationarized. AR and MA signatures: If the PACF displays a sharp cutoff while the ACF decays more slowly (i. e. has significant spikes at higher lags), we say that the stationarized series displays an quotAR signature, quot meaning that the autocorrelation pattern can be explained more easily by adding AR terms than by adding MA terms. You will probably find that an AR signature is commonly associated with positive autocorrelation at lag 1--i. e. it tends to arise in series which are slightly under differenced. The reason for this is that an AR term can act like a quotpartial differencequot in the forecasting equation . For example, in an AR(1) model, the AR term acts like a first difference if the autoregressive coefficient is equal to 1, it does nothing if the autoregressive coefficient is zero, and it acts like a partial difference if the coefficient is between 0 and 1. So, if the series is slightly underdifferenced--i. e. if the nonstationary pattern of positive autocorrelation has not completely been eliminated, it will quotask forquot a partial difference by displaying an AR signature. Hence, we have the following rule of thumb for determining when to add AR terms: Rule 6: If the PACF of the differenced series displays a sharp cutoff and/or the lag-1 autocorrelation is positive --i. e. if the series appears slightly quotunderdifferencedquot--then consider adding an AR term to the model. The lag at which the PACF cuts off is the indicated number of AR terms. In principle, any autocorrelation pattern can be removed from a stationarized series by adding enough autoregressive terms (lags of the stationarized series) to the forecasting equation, and the PACF tells you how many such terms are likely be needed. However, this is not always the simplest way to explain a given pattern of autocorrelation: sometimes it is more efficient to add MA terms (lags of the forecast errors) instead. The autocorrelation function (ACF) plays the same role for MA terms that the PACF plays for AR terms--that is, the ACF tells you how many MA terms are likely to be needed to remove the remaining autocorrelation from the differenced series. If the autocorrelation is significant at lag k but not at any higher lags--i. e. if the ACF quotcuts offquot at lag k-- this indicates that exactly k MA terms should be used in the forecasting equation. In the latter case, we say that the stationarized series displays an quotMA signature, quot meaning that the autocorrelation pattern can be explained more easily by adding MA terms than by adding AR terms. An MA signature is commonly associated with negative autocorrelation at lag 1--i. e. it tends to arise in series which are slightly over differenced. The reason for this is that an MA term can quotpartially cancelquot an order of differencing in the forecasting equation . To see this, recall that an ARIMA(0,1,1) model without constant is equivalent to a Simple Exponential Smoothing model. The forecasting equation for this model is where the MA(1) coefficient 952 1 corresponds to the quantity 1 - 945 in the SES model. If 952 1 is equal to 1, this corresponds to an SES model with 945 0, which is just a CONSTANT model because the forecast is never updated. This means that when 952 1 is equal to 1, it is actually cancelling out the differencing operation that ordinarily enables the SES forecast to re-anchor itself on the last observation. On the other hand, if the moving-average coefficient is equal to 0, this model reduces to a random walk model--i. e. it leaves the differencing operation alone. So, if 952 1 is something greater than 0, it is as if we are partially cancelling an order of differencing. If the series is already slightly over differenced--i. e. if negative autocorrelation has been introduced--then it will quotask forquot a difference to be partly cancelled by displaying an MA signature. (A lot of arm-waving is going on here A more rigorous explanation of this effect is found in the Mathematical Structure of ARIMA Models handout.) Hence the following additional rule of thumb: Rule 7: If the ACF of the differenced series displays a sharp cutoff and/or the lag-1 autocorrelation is negative --i. e. if the series appears slightly quotoverdifferencedquot--then consider adding an MA term to the model. The lag at which the ACF cuts off is the indicated number of MA terms. A model for the UNITS series--ARIMA(2,1,0): Previously we determined that the UNITS series needed (at least) one order of nonseasonal differencing to be stationarized. After taking one nonseasonal difference--i. e. fitting an ARIMA(0,1,0) model with constant--the ACF and PACF plots look like this: Notice that (a) the correlation at lag 1 is significant and positive, and (b) the PACF shows a sharper quotcutoffquot than the ACF. In particular, the PACF has only two significant spikes, while the ACF has four. Thus, according to Rule 7 above, the differenced series displays an AR(2) signature. If we therefore set the order of the AR term to 2--i. e. fit an ARIMA(2,1,0) model--we obtain the following ACF and PACF plots for the residuals: The autocorrelation at the crucial lags--namely lags 1 and 2--has been eliminated, and there is no discernible pattern in higher-order lags. The time series plot of the residuals shows a slightly worrisome tendency to wander away from the mean: However, the analysis summary report shows that the model nonetheless performs quite well in the validation period, both AR coefficients are significantly different from zero, and the standard deviation of the residuals has been reduced from 1.54371 to 1.4215 (nearly 10) by the addition of the AR terms. Furthermore, there is no sign of a quotunit rootquot because the sum of the AR coefficients (0.2522540.195572) is not close to 1. (Unit roots are discussed on more detail below .) On the whole, this appears to be a good model. The (untransformed) forecasts for the model show a linear upward trend projected into the future: The trend in the long-term forecasts is due to fact that the model includes one nonseasonal difference and a constant term: this model is basically a random walk with growth fine-tuned by the addition of two autoregressive terms--i. e. two lags of the differenced series. The slope of the long-term forecasts (i. e. the average increase from one period to another) is equal to the mean term in the model summary (0.467566). The forecasting equation is: where 956 is the constant term in the model summary (0.258178), 981 1 is the AR(1) coefficient (0.25224) and 981 2 is the AR(2) coefficient (0.195572). Mean versus constant: In general, the quotmeanquot term in the output of an ARIMA model refers to the mean of the differenced series (i. e. the average trend if the order of differencing is equal to 1), whereas the quotconstantquot is the constant term that appears on the right-hand-side of the forecasting equation . The mean and constant terms are related by the equation: CONSTANT MEAN(1 minus the sum of the AR coefficients). In this case, we have 0.258178 0.467566(1 - 0.25224 - 0.195572) Alternative model for the UNITS series--ARIMA(0,2,1): Recall that when we began to analyze the UNITS series, we were not entirely sure of the correct order of differencing to use. One order of nonseasonal differencing yielded the lowest standard deviation (and a pattern of mild positive autocorrelation), while two orders of nonseasonal differencing yielded a more stationary-looking time series plot (but with rather strong negative autocorrelation). Here are both the ACF and PACF of the series with two nonseasonal differences: The single negative spike at lag 1 in the ACF is an MA(1) signature, according to Rule 8 above. Thus, if we were to use 2 nonseasonal differences, we would also want to include an MA(1) term, yielding an ARIMA(0,2,1) model. According to Rule 5, we would also want to suppress the constant term. Here, then, are the results of fitting an ARIMA(0,2,1) model without constant: Notice that the estimated white noise standard deviation (RMSE) is only very slightly higher for this model than the previous one (1.46301 here versus 1.45215 previously). The forecasting equation for this model is: where theta-1 is the MA(1) coefficient. Recall that this is similar to a Linear Exponential Smoothing model, with the MA(1) coefficient corresponding to the quantity 2(1-alpha) in the LES model. The MA(1) coefficient of 0.76 in this model suggests that an LES model with alpha in the vicinity of 0.72 would fit about equally well. Actually, when an LES model is fitted to the same data, the optimal value of alpha turns out to be around 0.61, which is not too far off. Here is a model comparison report that shows the results of fitting the ARIMA(2,1,0) model with constant, the ARIMA(0,2,1) model without constant, and the LES model: The three models perform nearly identically in the estimation period, and the ARIMA(2,1,0) model with constant appears slightly better than the other two in the validation period. On the basis of these statistical results alone, it would be hard to choose among the three models. However, if we plot the long-term forecasts made by the ARIMA(0,2,1) model without constant (which are essentially the same as those of the LES model), we see a significant difference from those of the earlier model: The forecasts have somewhat less of an upward trend than those of the earlier model--because the local trend near the end of the series is slightly less than the average trend over the whole series--but the confidence intervals widen much more rapidly. The model with two orders of differencing assumes that the trend in the series is time-varying, hence it considers the distant future to be much more uncertain than does the model with only one order of differencing. Which model should we choose That depends on the assumptions we are comfortable making with respect to the constancy of the trend in the data. The model with only one order of differencing assumes a constant average trend--it is essentially a fine-tuned random walk model with growth--and it therefore makes relatively conservative trend projections. It is also fairly optimistic about the accuracy with which it can forecast more than one period ahead. The model with two orders of differencing assumes a time-varying local trend--it is essentially a linear exponential smoothing model--and its trend projections are somewhat more more fickle. As a general rule in this kind of situation, I would recommend choosing the model with the lower order of differencing, other things being roughly equal. In practice, random-walk or simple-exponential-smoothing models often seem to work better than linear exponential smoothing models. Mixed models: In most cases, the best model turns out a model that uses either only AR terms or only MA terms, although in some cases a quotmixedquot model with both AR and MA terms may provide the best fit to the data. However, care must be exercised when fitting mixed models. It is possible for an AR term and an MA term to cancel each others effects . even though both may appear significant in the model (as judged by the t-statistics of their coefficients). Thus, for example, suppose that the quotcorrectquot model for a time series is an ARIMA(0,1,1) model, but instead you fit an ARIMA(1,1,2) model--i. e. you include one additional AR term and one additional MA term. Then the additional terms may end up appearing significant in the model, but internally they may be merely working against each other. The resulting parameter estimates may be ambiguous, and the parameter estimation process may take very many (e. g. more than 10) iterations to converge. Hence: Rule 8: It is possible for an AR term and an MA term to cancel each others effects, so if a mixed AR-MA model seems to fit the data, also try a model with one fewer AR term and one fewer MA term--particularly if the parameter estimates in the original model require more than 10 iterations to converge. For this reason, ARIMA models cannot be identified by quotbackward stepwisequot approach that includes both AR and MA terms. In other words, you cannot begin by including several terms of each kind and then throwing out the ones whose estimated coefficients are not significant. Instead, you normally follow a quotforward stepwisequot approach, adding terms of one kind or the other as indicated by the appearance of the ACF and PACF plots. Unit roots: If a series is grossly under - or overdifferenced--i. e. if a whole order of differencing needs to be added or cancelled, this is often signalled by a quotunit rootquot in the estimated AR or MA coefficients of the model. An AR(1) model is said to have a unit root if the estimated AR(1) coefficient is almost exactly equal to 1. (By quotexactly equal quot I really mean not significantly different from . in terms of the coefficients own standard error . ) When this happens, it means that the AR(1) term is precisely mimicking a first difference, in which case you should remove the AR(1) term and add an order of differencing instead. (This is exactly what would happen if you fitted an AR(1) model to the undifferenced UNITS series, as noted earlier.) In a higher-order AR model, a unit root exists in the AR part of the model if the sum of the AR coefficients is exactly equal to 1. In this case you should reduce the order of the AR term by 1 and add an order of differencing. A time series with a unit root in the AR coefficients is nonstationary --i. e. it needs a higher order of differencing. Rule 9: If there is a unit root in the AR part of the model--i. e. if the sum of the AR coefficients is almost exactly 1--you should reduce the number of AR terms by one and increase the order of differencing by one. Similarly, an MA(1) model is said to have a unit root if the estimated MA(1) coefficient is exactly equal to 1. When this happens, it means that the MA(1) term is exactly cancelling a first difference, in which case, you should remove the MA(1) term and also reduce the order of differencing by one. In a higher-order MA model, a unit root exists if the sum of the MA coefficients is exactly equal to 1. Rule 10: If there is a unit root in the MA part of the model--i. e. if the sum of the MA coefficients is almost exactly 1--you should reduce the number of MA terms by one and reduce the order of differencing by one. For example, if you fit a linear exponential smoothing model (an ARIMA(0,2,2) model) when a simple exponential smoothing model (an ARIMA(0,1,1) model) would have been sufficient, you may find that the sum of the two MA coefficients is very nearly equal to 1. By reducing the MA order and the order of differencing by one each, you obtain the more appropriate SES model. A forecasting model with a unit root in the estimated MA coefficients is said to be noninvertible . meaning that the residuals of the model cannot be considered as estimates of the quottruequot random noise that generated the time series. Another symptom of a unit root is that the forecasts of the model may quotblow upquot or otherwise behave bizarrely. If the time series plot of the longer-term forecasts of the model looks strange, you should check the estimated coefficients of your model for the presence of a unit root. Rule 11: If the long-term forecasts appear erratic or unstable, there may be a unit root in the AR or MA coefficients. None of these problems arose with the two models fitted here, because we were careful to start with plausible orders of differencing and appropriate numbers of AR and MA coefficients by studying the ACF and PACF models. More detailed discussions of unit roots and cancellation effects between AR and MA terms can be found in the Mathematical Structure of ARIMA Models handout.
No comments:
Post a Comment