Moving average neural network

Eu entendo redes neurais com qualquer número de camadas ocultas pode aproximar funções não-lineares, no entanto, pode aproximar: Eu não posso pensar em como poderia. Parece uma limitação muito óbvia de redes neurais que potencialmente podem limitar o que ele pode fazer. Por exemplo, devido a essa limitação, as redes neurais provavelmente não podem aproximar-se adequadamente de muitas funções usadas em estatísticas como Exponential Moving Average, ou mesmo variação. Falando em média móvel, as redes neurais recorrentes podem aproximar-se adequadamente de que uma rede neuronal feedforward ou mesmo um único neurônio linear pode produzir uma média móvel usando a técnica de janela deslizante, mas como as redes neurais recorrentes o farão sem X quantidade de camadas ocultas (X sendo o tamanho médio móvel) Também, vamos supor que não sei a função original f. O que acontece para obter a média das últimas 500 entradas e, em seguida, saída um 1 se o seu mais elevado do que 3, e 0 se o seu não. Mas por um segundo, fingir que não sei que, é uma caixa preta. Como seria uma rede neuronal recorrente aproximar que Nós precisamos primeiro saber quantos timestaps ele deve ter, que nós não. Talvez uma rede LSTM poderia, mas mesmo assim, o que se não é uma simples média móvel, é uma média móvel exponencial Eu não acho que mesmo LSTM pode fazê-lo. Pior ainda, e se f (x, x1) que estamos tentando aprender é simplesmente Isso parece muito simples e direto. Pode uma rede neural aprender que eu não vejo como. Estou faltando algo enorme aqui ou são algoritmos de aprendizagem máquina extremamente limitada Existem outras técnicas de aprendizagem, além de redes neurais que podem realmente fazer qualquer um destes O ponto-chave para entender é compacto. As redes neurais (como qualquer outra estrutura de aproximação, polinômios, splines ou Funções de Base Radial) podem se aproximar de qualquer função contínua somente dentro de um conjunto compacto. Em outras palavras, a teoria afirma que, dado: então existe uma rede neural que se aproxima de f (x) com um erro de aproximação menor que epsilon. Em toda parte dentro de a, b. Quanto ao seu exemplo de f (x) x 2. Sim você pode aproximá-lo com uma rede neural dentro de qualquer intervalo finito: -1,1. 0, 1000. Etc. Para visualizar isso, imagine que você aproxima f (x) dentro de -1,1 com uma função Step. Você pode fazê-lo em papel Note que se você fizer os passos estreitos o suficiente você pode conseguir qualquer precisão desejada. A forma como as redes neurais aproximam f (x) não é muito diferente disso. Mas, novamente, não há rede neural (ou qualquer outra estrutura de aproximação) com um número finito de parâmetros que podem aproximar f (x) x 2 para todo x em -,. Eu entendo redes neurais com qualquer número de camadas ocultas pode aproximar funções não-lineares, no entanto, pode aproximar: A única maneira que eu posso fazer sentido dessa questão é que você está falando sobre a extrapolação. Assim, e. Dado amostras de treinamento no intervalo -1 lt x lt 1 pode uma rede neural aprender os valores corretos para x gt 100. É isso o que você quer dizer Se você tivesse conhecimento prévio, que as funções que você está tentando aproximar são susceptíveis de ser de baixa ordem Polinômios (ou qualquer outro conjunto de funções), então você poderia certamente construir uma rede neural que pode representar essas funções, e extrapolar x2 em todos os lugares. Se você não tem conhecimento prévio, as coisas são um pouco mais difíceis: Há infinitas muitas funções lisas que se encaixam x2 no intervalo -1..1 perfeitamente, e não há nenhuma boa razão pela qual esperamos x2 para dar melhores previsões do que qualquer outro função. Em outras palavras: Se não tivéssemos nenhum conhecimento prévio sobre a função estavam tentando aprender, por que queremos aprender x - gt x2. No reino dos conjuntos de treinamento artificial, x2 pode ser uma função provável, mas no mundo real, provavelmente não é. Para dar um exemplo: vamos dizer que a temperatura na segunda-feira (t0) é 0, na terça-feira seu 1, na quarta-feira seu 4. Não temos nenhuma razão para acreditar que as temperaturas se comportam como polinômios de baixa ordem, por isso não queremos inferir a partir desses dados Que a temperatura na próxima segunda-feira será provavelmente em torno de 49. Além disso, vamos supor que não sei a função original f, que acontece para obter a média das últimas 500 entradas e, em seguida, saída um 1 se o seu mais alto que 3 e 0 se não é. Mas por um segundo, fingir que não sei que, é uma caixa preta. Como uma rede neural recorrente se aproxima que eu acho que são duas perguntas: Primeiro, uma rede neural pode representar essa função, ou seja, Existe um conjunto de pesos que daria exatamente esse comportamento? Obviamente, depende da arquitetura de rede, mas eu acho que podemos chegar a arquiteturas que podem representar (ou pelo menos aproximar) esse tipo de função. Se o seu algoritmo de aprendizagem não ficar preso em um mínimo local, com certeza: Se você tem amostras de treinamento suficiente, qualquer conjunto de pesos que doesnt aproximar sua função dá um erro de treinamento maior Que 0, enquanto um conjunto de pesos que se encaixam na função que você está tentando aprender tem um erro de treinamento0. Portanto, se você encontrar um ótimo global, a rede deve ajustar a função. A razão pela qual eu estava pensando em x2. E médias móveis simples ou exponenciais é especialmente porque é usado um bom negócio na previsão do mercado financeiro na análise técnica. Eu estava esperando que uma rede neural poderia potencialmente aprender os algoritmos e comércio com base neles sem primeiro ter que hard codificar e inserir o seu resultado. No entanto, estou tentando descobrir se uma rede neural pode até mesmo aprender uma função como essa. Eu entendo como x2 não é exatamente útil para a previsão do tempo, e poderia causar a rede para prever 49 graus na próxima segunda-feira, mas I39m certeza de ser capaz de aprender uma função polinomial poderia ser útil Para a previsão de preços FOREX, por exemplo. Eu entendo talvez uma arquitetura de rede diferente do que eu tinha em mente poderia ser capaz, mas eu não sei qualquer arquitetura que pode representar f (x, x1) xx1 Eu acho que eu poderia ter sido mal uso da palavra aproximar em vez de representar, mas acredito que você Ainda entendia o que eu estava tentando dizer muito bem. Desculpe, não pude editar meu último post no tempo. Ndash Essam Al-Mansouri Eu entendo redes neurais com qualquer número de camadas ocultas pode aproximar funções não-lineares, no entanto, pode aproximar: Sim, pode. Eu não sei o que faz você pensar que é uma função difícil de aproximar, é muito fácil. Dadas suficientes unidades ocultas uma rede neural pode aproximar qualquer função para uma precisão arbitrária em um intervalo arbitrário. Falando de média móvel, as redes neurais recorrentes podem aproximar-se adequadamente que Sim, ele pode. É novamente um problema muito simples que você parece pensar que é difícil por alguma razão que você não está compartilhando. Você pode ver a solução trivial apenas criando o estado oculto grande o suficiente para conter todo o histórico eo restante da rede para calcular a média do estado oculto recorrente. Nós precisamos primeiro saber quantos timestaps ele deve ter, que nós dont. Isso é um problema de ajuste de parâmetros, estes já foram tratados antes. Você pode facilmente procurar por mais informações sobre eles. Estou faltando algo enorme aqui ou são algoritmos de aprendizagem de máquina extremamente limitada Existem outras técnicas de aprendizagem além de redes neurais que podem realmente fazer qualquer um deste Sim, você parece estar perdendo qualquer compreensão real de redes neurais. Sua primeira declaração de Eu entendo redes neurais com qualquer número de camadas ocultas pode aproximar funções não-lineares, no entanto, pode aproximar mostra que você realmente não entende as palavras que você está usando. Há uma enorme variedade de tópicos que você poderia estar falhando para entender ou confundir uns com os outros, e ninguém vai ser capaz de ajustá-lo em linha reta em um formato QampA simples. Se você realmente quer entender o que está acontecendo, faça alguns cursos de pós-graduação em Aprendizado de Máquinas e Redes Neurais em particular. Um bom ponto de partida seria esses vídeos se você já tem o conhecimento perquisite. Este não é o lugar apropriado para ensinar. Pegue um dos muitos livros sobre o assunto e leia isso. Você não deve sequer considerar o tipo de função de ativação ou que há mais de uma unidade por entrada ou que pode haver muitas camadas ocultas (não que elas sejam necessárias, mas ajudem a entender). (ARIMA) com redes neurais probabilísticas (PNNs) Os modelos de média móvel integrada (ARIMA) auto-regressivos são um dos modelos de séries cronológicas mais importantes aplicados na previsão do mercado financeiro sobre a média móvel auto-regressiva (ARIMA) Últimas três décadas. Melhorar a previsão, especialmente a precisão da previsão de séries temporais, é uma tarefa importante, mas muitas vezes difícil para os analistas. Ambos os achados teóricos e empíricos têm indicado que a integração de diferentes modelos pode ser uma forma eficaz de melhorar o seu desempenho preditivo, especialmente quando os modelos no conjunto são muito diferentes. Na literatura, várias técnicas híbridas foram propostas combinando diferentes modelos de séries temporais em conjunto, de modo a obter resultados mais precisos. Neste artigo, propõe-se um novo modelo híbrido da média móvel integrada autorregressiva (ARIMA) e da rede neural probabilística (PNN), a fim de obter resultados mais precisos do que os modelos ARIMA tradicionais. No modelo proposto, os valores estimados do modelo ARIMA são modificados com base na tendência diferenciada dos resíduos ARIMA e comprimento ótimo do passo, que são obtidos, respectivamente, a partir de uma rede neural probabilística e um modelo de programação matemática. Resultados empíricos com três conjuntos de dados reais bem conhecidos indicam que o modelo proposto pode ser uma forma eficaz de construir um modelo híbrido mais preciso do que o modelo ARIMA. Portanto, ele pode ser usado como um modelo alternativo apropriado para tarefas de previsão, especialmente quando é necessária maior precisão de previsão. Destaques Proposta de um novo método híbrido para a previsão de séries temporais. Utilizando métodos de classificação para melhorar o desempenho da média móvel integrada autorregressiva (ARIMA). Combinando o ARIMA e redes neurais probabilísticas (PNNs) como modelo de previsão híbrido. Superando a limitação linear dos modelos ARIMA. Obtenção de modelos de séries temporais mais gerais e mais precisas do que modelos ARIMA e ANN clássicos. Melhoria dos modelos de Movimentação Média Integrada Auto-Regressiva usando a lógica Fuzzy e Artificial (CIM). (BICS 2006) / Interacção entre Computação Natural e Artificial (IWINAC 2007) Redes Neurais (RNAs) Mehdi Khashei. Mehdi Bijari Gholam Ali Raissi Ardali Departamento de Engenharia Industrial, Isfahan Universidade de Tecnologia, Isfahan, Irã Recebido 15 de julho de 2007. Revisado em 22 de abril de 2008. Aceito em 29 de abril de 2008. Disponível em linha em 20 de maio de 2008. Comunicado por G. P. Zhang série de tempo de previsão é uma área de pesquisa ativa que chamou a atenção considerável para aplicações em uma variedade de áreas. Os modelos ARIMA (Auto-Regressive Integrated Moved Average) são um dos modelos de séries temporais mais importantes utilizados na previsão do mercado financeiro nas últimas três décadas. As recentes atividades de pesquisa em previsões de séries temporais indicam que duas limitações básicas prejudicam sua popularidade para a previsão de séries temporais financeiras: (a) Os modelos ARIMA assumem que os valores futuros de uma série temporal têm uma relação linear com valores atuais e passados, bem como com ruído branco , Assim as aproximações por modelos ARIMA podem não ser adequadas para problemas não lineares complexos e (b) os modelos ARIMA requerem uma grande quantidade de dados históricos para produzir resultados precisos. Ambos os achados teóricos e empíricos sugeriram que a integração de diferentes modelos pode ser um método eficaz para melhorar seu desempenho preditivo, especialmente quando os modelos no conjunto são bastante diferentes. Neste trabalho, os modelos ARIMA são integrados às Redes Neurais Artificiais (RNAs) e à lógica Fuzzy, para superar as limitações lineares e de dados dos modelos ARIMA, obtendo resultados mais precisos. Os resultados empíricos da previsão dos mercados financeiros indicam que os modelos híbridos exibem uma precisão de previsão efetivamente melhorada, de modo que o modelo proposto pode ser usado como uma alternativa às ferramentas de previsão do mercado financeiro. Auto-Regressivo Média Móvel Integrada (ARIMA) Previsão de séries temporais Redes Neurais Artificiais (RNAs) Lógica fuzzy Mercados Financeiros Taxa de câmbio Fig. 1. A fig. 2. A fig. 3. Tabela 2. Fig. 4. Tabela 4. Fig. 5. A fig. 6. Tabela 6. Fig. 7. A Fig. 8. Mehdi Khashei nasceu em 1979 em Esfahan, no Irã. Estudou engenharia industrial na Universidade de Tecnologia de Isfahan (IUT) e recebeu o grau de MS em engenharia industrial em 2005. Ele é autor ou co-autor de cerca de 13 artigos científicos em revistas internacionais ou comunicações para conferências com comitê de revisão. Sua pesquisa atual combina os modelos Auto-Regressive Integrated Moving Average (ARIMA) com Redes Neurais Artificiais (RNAs) e lógica fuzzy com a previsão de séries temporais. Seus interesses de pesquisa incluem modelos computacionais do cérebro, lógica fuzzy, soft computing, aproximadores não lineares e previsão de séries temporais. Mehdi Bijari recebeu seu BSc em engenharia industrial, 1987, Mestrado em planejamento de sistemas, 1990, ambos da Universidade de Tecnologia de Isfahan (IUT), e PhD em engenharia industrial em 2002, Sharif University of Technology. É professor do Departamento de Engenharia Industrial da IUT desde 1991. Sua pesquisa está na área de gerenciamento de projetos, simulação, planejamento de produção, métodos meta heurísticos, otimização, previsão de séries temporais e sistemas de informação. Ele publicou vários trabalhos em planejamento de produção, previsão de séries temporais e otimização. Gholam Ali Raissi Ardali é professor assistente de engenharia industrial na Isfahan University of Technology (IUT). Recebeu Bsc em estatística e informática, 1975, do Instituto de Estatística e Informática, Teerã, Irã, Mestrado em estatística aplicada, 1977, da Universidade de Brunel, Inglaterra, e PhD em tecnologia industrial, 1980, da Universidade de Bradford, Inglaterra. Seus interesses de pesquisa são gerenciamento de qualidade total, controle de qualidade estatístico, previsão de séries temporais, redes neurais e gerenciamento da cadeia de suprimentos. Autor correspondente. Tel. 98 311 3912550 1 fax: 98 311 3915526. Copyright 2008 Elsevier B. V. Todos os direitos reservados. Citando artigos ()