神经网络量化

本文并不是为了造轮子，只是通过手动实现来介绍建基本深度学习框架所需组件和步骤   Numpy 已经提供了基本上所有需要的计算操作，我们需要的是一个支持自动微分（autograd）的框架来计算多个操作的梯度，这是模块化方法构建神经网络层的标准化方法，通过自动微分的框架，我们可以将优化器、激活函数等组合在一起用于训练神经网络。   所以一个基本的深度学习框架的组件总结如下：    一个autograd系统  神经网络层  神经网络模型  优化器  激活函数  数据集   接下来，我们将逐一介绍这些组件，看看它们的作用以及如何使用他们，这里将使用 gradflow（这是一个个人开源教育 autogr...

深度学习基础入门篇[9.1]：卷积之标准卷积：卷积核/特征图/卷积计算、填充、感受视野、多通道输入输出、卷积优势和应用案例讲解 1.卷积提出背景 在全连接网络[1]中，一张图片上的所有像素点会被展开成一个1维向量输入网络，如 图1 所示，28 x 28的输入数据被展开成为784 x 1 的数据作为输入。  图1 全连接网络图 这样往往会存在如下两个问题： 1. 输入数据的空间信息被丢失。 空间上相邻的像素点往往具有相似的RGB值，RGB的各个通道之间的数据通常密切相关，但是转化成1维向量时，这些信息被丢失。如 图2 所示，空间位置相邻的两个点A和B，转化成1维向量后并没有体现出他们之间的空间关...

深度学习基础入门篇[9.2]：卷积之1*1 卷积（残差网络）、2D/3D卷积、转置卷积数学推导、应用实例 1.1*1 卷积 1×11\times{1}1×1卷积，与标准卷积完全一样，唯一的特殊点在于卷积核的尺寸是1×11\times{1}1×1，也就是不去考虑输入数据局部信息之间的关系，而把关注点放在不同通道间。当输入矩阵的尺寸为3×33\times{3}3×3，通道数也为3时，使用4个1×11\times{1}1×1卷积核进行卷积计算，最终就会得到与输入矩阵尺寸相同，通道数为4的输出矩阵，如 图1 所示。  图1 1*1 卷积结构示意图  1×11\times{1}1×1卷积的作用    实...

深度学习基础入门篇[一]：神经元简介、单层多层感知机、距离计算方法式、相似度函数 1.神经元 在生物学中，神经元细胞有兴奋与抑制两种状态。大多数神经元细胞在正常情况下处于抑制状态，一旦某个神经元受到刺激并且电位超过一定的阈值后，这个神经元细胞就被激活，处于兴奋状态，并向其他神经元传递信息。基于神经元细胞的结构特性与传递信息方式，神经科学家 Warren McCulloch 和逻辑学家 Walter Pitts 合作提出了“McCulloch–Pitts (MCP) neuron”模型。在人工神经网络中，MCP模型成为人工神经网络中的最基本结构。MCP模型结构如 图1 所示。  图1 MCP 模...

【高频自营•优秀精品•金牌集聚】base北京或上海～1、python交易系统开发工程师：985及以上，精通Python，2年-5年经验。看互联网大厂背景的。2、C++系统开发：985及以上，互联网的也可以，喜欢做底层开发的。 3.量化研究员：985硕士以上，有量化经验优先，机器学习方向博士优先。#腾讯阿里 #美团 #字节 #百度 #快手 #蚂蚁集团 等有大厂背景的it牛人和有acm/noi/imo等金牌银牌获奖者都是属于量化公司看到简历都眼睛👀发亮的呢～ #私募量化 #九坤 #幻方#头部量化 #c++招聘 #python #ACM #NOI #IMO金牌#量化策略#高频，中低频