最完美的程序化系统带你创造10年稳赢
返回首页
量化投资,高频交易,程序化交易学习必备~900+个(200G+)培训视频持续更新中!!!

强化学习和神经网络如何在程序化交易领域正确应用(下)

时间:2017-12-16 08:56来源:未知 作者:一个量化投资者 点击:
前面两个部分我们已经探讨过了循环强化学习和agents交易,那么今天我们来看一下 程序化交易 领域中关于LSTM的Dropout用法。 首先什么是Dropout用法,由于各种非线性隐藏层存在于LSTM循环神经网络,这就让LSTM循环神经网络非常有表现力。但是具有表现力的同时
前面两个部分我们已经探讨过了循环强化学习和agents交易,那么今天我们来看一下程序化交易领域中关于LSTM的Dropout用法。
强化学习和神经网络如何在程序化交易领域正确应用(下)
首先什么是Dropout用法,由于各种非线性隐藏层存在于LSTM循环神经网络,这就让LSTM循环神经网络非常有表现力。但是具有表现力的同时,复杂的关系同样容易将采样噪声的结果混于训练集中,而我们实际测试的结果是不包括噪声的。这样就会导致模型过拟合,这时我们就会用Dropout的正则化技术来解决这个问题。它能够在解决模型过拟合的同时,提供一种有效训练多种神经网络架构的方法。
 
事实证明如果不是正确的使用Dropout,对RNN和LSTM是根本无效的。所以我们究竟应该如何正确的将Dropout应用到LSTM中呢?主要的核心理念是将Dropout操作符应用于非循环层。下图.显示了Dropout仅适用于虚线箭头部分,而不适用于实线箭头部分。
强化学习和神经网络如何在程序化交易领域正确应用(下)
根据这几部分的了解,我们发现需要重点解决三个问题
 
1.循环神经网络与LSTM神经网络之间的结果表现问题。实验证明我们会最大限度地提高下行偏差率,并且还会在时间序列一直趋向下降的信号中进行交易。
 
2.等式中的阀值b为什么会影响交易策略和交易频率。个人投资者和投资基金管理需要较少的交易频率,这种类型的就可以由我们的程序化交易agents轻松实现。
 
3.这些FX模拟证明了强化学习模型可以在现实世界金融价格序列中发现有关结构的能力。我们可以通过手动调整参数找出最佳解决方案。
 
下图显示了在迭代1000次的过程中,夏普比率的变化过程。由此表明夏普比率在不断增大,但agents的收益率持续稳定并且风险在降低。
强化学习和神经网络如何在程序化交易领域正确应用(下)
经历过权重优化后的agents模型的收益率明显要超过没优化的模型。
强化学习和神经网络如何在程序化交易领域正确应用(下)
通过这三部分的学习我们了解到强化学习agents,同人类一样都是在不断的试验中学习并发现成功的要诀获得最大的收益。深度神经网络可以实现agents直接从原始输入构建特征和自主学习交易知识。并在没有任何手工特征提取的情况下取得图片的深层特征信息。
 
目前诸多领域都在探索深度学习和LSTM的应用,我们的目标就是让人工智能自主完成交易,减少超参数的存在。利用agents模型,我们还可以探索它在其他证券领域的应用。以上就是我们对David W. Lu“循环强化学习和神经网络在程序化交易中应用”的文章部分主要翻译内容,你了解了吗?
 
文章来源:“Agent Inspired Trading Using Recurrent Reinforcement Learning and LSTM Neural Networks” by David W. Lu
(责任编辑:一个量化投资者)
量化投资,高频交易,程序化交易学习必备~900+个(200G+)培训视频持续更新中!!!
------分隔线----------------------------
云量化商城
如果您会开发策略,请进!大量项目等待与您合作!
推荐内容
量化投资培训