Mover Média Faísca

A média móvel é um problema complicado para Spark, e qualquer sistema distribuído. Quando os dados estão espalhados por várias máquinas, haverá janelas de tempo que cruzam partições. Temos que duplicar os dados no início das partições, para que o cálculo da média móvel por partição dê uma cobertura completa. Aqui está uma maneira de fazer isso na Spark. Os dados de exemplo: um particionador simples que coloca cada linha na partição que especificamos pela chave: Crie os dados com a primeira janela - 1 linha copiada para a partição anterior: basta calcular a média móvel em cada partição: por causa dos segmentos duplicados Isso não terá lacunas na cobertura. Eu tenho dados de transmissão em tempo real que entram em faísca e eu gostaria de fazer uma previsão média móvel nesses dados da série de tempo. Existe alguma maneira de implementar isso usando uma faísca em Java Ive já mencionada. Gist. github / samklr / 27411098f04fc46dcd05 / revisões e Apache Spark Moving Average, mas ambos esses códigos estão escritos em Scala. Como não estou familiarizado com Scala, não consigo julgar se eu acho útil ou até mesmo converter o código para Java. Existe alguma implementação direta de previsão em Spark Java, pedida 12 de agosto 15 às 12:44