然而,即使应用已超过十年,关于深度学习我们仍然有很多不明白的地方,包括神经网络如何学习、为什么它们的表现如此出色等。
现在,这种状况有可能会改变,这要归功于将信息瓶颈理论应用于深度学习的新理论。
信息瓶颈理论认为,深度神经网络在学习过程中像把无用信息从瓶颈中挤压出去一般,去除噪音信息,而只保留这些噪音所表达的真正信息。
意义:地理解深度学习的工作原理,将有助于使其得到更大的发展和应用。
例如,深度学习可以为网络设计优化和架构选择提供参考。
可以肯定的是,通过探索深度学习理论,更多的场景应用能够被激发,并应用到其他类型的深度神经网络和深度神经网络设计中。
2、胶囊网络:模拟大脑的视觉处理优势简述:胶囊网络是一种新型的深度神经网络架构,它能够用与大脑相同的方式处理视觉信息,这意味着它可以识别特征之间的逻辑和层次结构关系。
这一特性与卷积神经网络形成鲜明对比。
卷积神经网络是醉广泛使用的神经网络之一,但它不能考虑简单和复杂特征之间的重要空间关系,导致错误率较高并经常出现误分类现象。
意义:对于典型的图像识别任务,胶囊网络通过减少误差,保证了50%的较高准确性
同时胶囊网络也不需要那么多的训练样本数据。
预期可以看到胶囊网络在多个问题领域和深度神经网络架构中得到广泛的使用。
3、深度增强学习:交互型问题解决之道简述:深度增强学习是一种通过观察、行动和奖励来与环境互动,从而进行学习的神经网络算法。
它已被用于游戏攻略等,如雅达利(Atari)和围棋,包括击败人类冠0军的著0名的“阿尔法狗”(AlphaGo)等。
意义:获得深度增强学习能力是人工智能应用商业化的重要指标项之一,与其他技术相比,它只需要更少的数据来培训其模型。
更强大的是,它可以通过模拟获得训练,完全不需要标签化数据。
鉴于这些优势,预计未来一年将诞生更多将深度增强学习和基于智能体(agent)模拟相结合的商业应用。
4、生成对抗网络:网络配对促进训练,减轻处理负担简述:生成对抗网络是一种由两个互相竞争的神经网络组成的无监督的深度学习系统——“生成网络”产生看上去很像真实数据集的假数据,“判断网络”吸收真实和合成的数据。
随着时间的推移