AYX爱游戏app体育官方下载卸料阀门动态 革新Transformer!清华大学挑出崭新主干网络长时序展望达到SOTA

 

尽能够拉长展望时效是时序展望的中央难题,对于能源、交通、经济的永远规划,气象灾难、疾病的早期预警等具有主要意义。

清华大学柔件学院机器学习实验室的钻研人员近日发外了一篇论文,探究了在新闻有限的情况下展望更永远异日的这个难题。

针对上述题目,作者大刀阔斧革新Transformer,挑出崭新的Autoformer模型,在长时序展望方面达到SOTA,在效率性能上均超过Transformer及其变体。

革新Transformer!清华大学挑出崭新主干网络长时序展望达到SOTA

论文链接: https://arxiv.org/abs/2106.13008

钻研背景

固然近期基于Transformer的模型在时序展望上取得了一系列挺进,但是Transformer的固有设计,使得在答对永远序列时仍存在不能:

随着展望时效的拉长,直接行使自仔细力(self-attention)机制难以从复杂时间模式中找到郑重的时序倚赖。 原由自仔细力的二次复杂度题目,模型不得不行使其稀奇版本,但会限定新闻行使效率,影响展望成绩。

作者受到时序分析经典手段和随机过程经典理论的启发,重新设计模型,打破Transformer原有架构,得到Autoformer模型:

深度分解架构:突破将时序分解行为预处理的传统手段,设计序列分解单元以嵌入深度模型,实现渐进式地(progressively)展望,逐渐得到可展望性更强的组分。 自有关(Auto-Correlation)机制:基于随机过程理论,屏舍点向(point-wise)连接的自仔细力机制,实现序列级(series-wise)连接的自有关机制AYX爱游戏app体育官方下载卸料阀门动态,且具有的复杂度,打破新闻行使瓶颈。 答对永远展望题目,Autoformer在能源、交通、经济、气象、疾病五大周围取得了38%的大幅成绩升迁。 手段介绍

作者挑出了Autoformer模型,其中包括内部的序列分解单元、自有关机制AYX爱游戏app体育官方下载卸料阀门动态以及对答的编码器、解码器。

(1)深度分解架构

革新Transformer!清华大学挑出崭新主干网络长时序展望达到SOTA

Autoformer架构

时间序列分解是时序分析的经典手段,能够将时间序列分解为几类湮没的时间模式,如周期项,趋势项等。

在展望义务中,原由异日的不能知性,清淡先对输入进走分解,再每个组分别离展望。

但云云使得展望终局受限于分解成绩AYX爱游戏app体育官方下载卸料阀门动态,并且无视了永远异日中各个组分之间的相互作用。

针对上述题目,作者挑出深度分解架构,在展望过程中,逐渐从隐变量中别离趋势项与周期项,实现渐进式(progressive)分解。

并且模型交替进走展望终局优化和序列分解,能够实现两者的相互促进。

A. 序列分解单元

基于滑动平均思维,腻滑时间序列,别离周期项与趋势项:

革新Transformer!清华大学挑出崭新主干网络长时序展望达到SOTA

其中,为待分解的隐变量,别离为趋势项和周期项,将上述公式记为。

B. 编解码器

编码器:议定上述分解单元,模型能够别离出周期项,。而基于这栽周期性,进一步行使自有关机制AYX爱游戏app体育官方下载卸料阀门动态(),聚相符迥异周期的相通子过程:

革新Transformer!清华大学挑出崭新主干网络长时序展望达到SOTA

解码器:对趋势项与周期项别离展望。

对于周期项,行使自有关机制AYX爱游戏app体育官方下载卸料阀门动态,基于序列的周期性质来进走倚赖发掘,并聚相符具有相通过程的子序列; 对于趋势项,行使累积的手段,逐渐从展望的隐变量中挑掏出趋势新闻。 革新Transformer!清华大学挑出崭新主干网络长时序展望达到SOTA

(2)自有关机制AYX爱游戏app体育官方下载卸料阀门动态

不益看察到,迥异周期的相通相位之间清淡外现出相通的子过程,行使这栽序列固有的周期性来设计自有关机制AYX爱游戏app体育官方下载卸料阀门动态,实现高效的序列级连接。

自有关机制AYX爱游戏app体育官方下载卸料阀门动态包含基于周期的倚赖发现(Period-based dependencies)和时延新闻聚相符(Time delay aggregation)。

革新Transformer!清华大学挑出崭新主干网络长时序展望达到SOTA

自有关机制AYX爱游戏app体育官方下载卸料阀门动态,右侧为时延新闻聚相符

A. 基于周期的倚赖发现

基于上述不益看察,为找到相通子过程,必要推想序列的周期。基于随机过程理论,对于实离散时间过程,能够如下计算其自相有关数:

其中,自相有关数外示序列与它的延宕之间的相通性。

在自有关机制AYX爱游戏app体育官方下载卸料阀门动态中,将这栽时延相通性望作未归一化的周期推想的信任度,即周期长度为的信任度为。

实际上,基于Wiener-Khinchin理论,自相有关数能够行使迅速傅立叶变换(FFT)得到,其计算过程如下:

革新Transformer!清华大学挑出崭新主干网络长时序展望达到SOTA

其中,和别离外示FFT和其反变换。所以,复杂度为。

B. 时延新闻聚相符

为了实现序列级连接,还必要将相通的子序列新闻进走聚相符。自有关机制AYX爱游戏app体育官方下载卸料阀门动态按照推想出的周期长度,最先行使操作进走新闻对齐,再进走新闻聚相符:

革新Transformer!清华大学挑出崭新主干网络长时序展望达到SOTA

这边,照样行使query、key、value的多头样式,从而能够无缝替换自仔细力机制。

同时,挑选最有能够的个周期长度,用于避免融相符无关、甚至相背的相位。整个自有关机制AYX爱游戏app体育官方下载卸料阀门动态的复杂度仍为。

C. 对比分析

革新Transformer!清华大学挑出崭新主干网络长时序展望达到SOTA

自有关机制AYX爱游戏app体育官方下载卸料阀门动态与自仔细力机制对比

相比于之前的点向连接的仔细力机制或者其稀奇变体,自仔细力(Auto-Correlation)机制实现了序列级的高效连接,从而能够更益的进走新闻聚相符,打破了新闻行使瓶颈。

实验

作者在6个数据集上进走了测试,涵盖能源、交通、经济、气象、疾病五大主流周围。

(1) 主要终局

革新Transformer!清华大学挑出崭新主干网络长时序展望达到SOTA

集体实验终局

Autoformer在多个周围的数据集、各栽输入-输出长度的竖立下,取得了相反的最优(SOTA)终局。

在input-96-predict-336竖立下,相比于之前的SOTA终局,Autoformer实现了ETT能源数据集74%的MSE升迁,Electricity能源数据集MSE升迁24%,Exchange经济数据集升迁64%,Traffic交通数据集升迁14%,Weather气象数据集升迁26%,在input-24-predict-60竖立下,ILI疾病数据集升迁30%。

在上述6个数据集,Autoformer在MSE指标上平均升迁38%。

(2) 对比实验

深度分解架构的通用性:将挑出的深度分解架构行使于其他基于Transformer的模型,均能够得到清晰升迁,验证了架构的通用性。

同时随着展望时效的拉长,升迁成绩更添清晰,这也印证了复杂时间模式是永远展望的中央题目。

革新Transformer!清华大学挑出崭新主干网络长时序展望达到SOTA

ETT数据集上的MSE指标对比,Origin外示直接展望,Sep外示先分解后展望,Ours外示深度分解架构。

自有关机制AYX爱游戏app体育官方下载卸料阀门动态 vs. 自仔细力机制:同样基于深度分解架构,在多多输入-输出竖立下,自有关机制AYX爱游戏app体育官方下载卸料阀门动态相反优于自仔细力机制及其变体,比如经典Transformer中的Full Attention,Informer中的PropSparse Attention等。

革新Transformer!清华大学挑出崭新主干网络长时序展望达到SOTA

ETT数据集上对比实验,将Autoformer中的自有关机制AYX爱游戏app体育官方下载卸料阀门动态替换为其他自仔细力机制,得到上述终局。

(3) 模型分析

时序倚赖可视化:

革新Transformer!清华大学挑出崭新主干网络长时序展望达到SOTA

对于序列的末了一个时间点,各模型学到的时序倚赖可视化,图(a)中红色线外示学习到的过程的位置。

议定上图能够验证,Autoformer中自有关机制AYX爱游戏app体育官方下载卸料阀门动态能够切确发掘出每个周期中的降落过程,并且异国误识别和漏识别,而其他仔细力机制存在缺漏甚至舛讹的情况。

效率分析:

革新Transformer!清华大学挑出崭新主干网络长时序展望达到SOTA

效率对比,红色线为自有关机制AYX爱游戏app体育官方下载卸料阀门动态

在显存占用和运走时间两个指标上,自有关机制AYX爱游戏app体育官方下载卸料阀门动态均外现出了特出的空间、时间效率,两个层面均超过自仔细力机制及其稀奇变体,外现出高效的复杂度。

总结

针对长时序列展望中的题目,作者基于时序分析的经典手段和随机过程的经典理论,挑出了基于深度分解架议和自有关机制AYX爱游戏app体育官方下载卸料阀门动态的Autoformer模型。

Autoformer议定渐进式分解和序列级连接,答对复杂时间模式以及新闻行使瓶颈,大幅挑高了长时展望成绩。

同时,Autoformer在五大主流周围均外现出了特出的长时展望终局,模型具有良益的成绩鲁棒性,具有很强的行使落地价值。

【编辑保举】AYX爱游戏app体育官方下载卸料阀门动态

用「最益的说话」PHP,做一个机器学习数据集 追求人造智能在自然说话处理中的异日 AWS、谷歌云、Azure:云计算三巨头坦然功能比较 数据中央必要更多的机器学习来挑高效率 云计算做事负载的高级珍惜