神经网络编程是什么(神经网络用什么编程)
什么是matlab神经网络
Matlab语言是MathWorks公司推出的一套高性能计算机编程语言，集数学计算、图形显示、语言设计于一体，其强大的扩展功能为用户提供了广阔的应用空问。它附带有30多个工具箱，神经网络工具箱就是其中之一。
神经网络编程入门
听到 神经网络 这个词，从直觉上我们会想到大脑，的确，我们可以将大脑看成一个大型的天然神经网络。然而，人工神经网络又是什么呢？人工是一个与天然相对的词，我们首先想到的就是人工大脑或者机器人，这就是所谓的人工。在这种情况下，受人脑的启发，我们创建出一个和人脑相似的结构，称之为人工智能。
结合人脑的特点和结构，可以说人工神经网络是一种自然启发的方法。每个神经元与许多其他神经元相接，这些神经元又会和其他大量神经元相连，形成一个高度互连的结构。神经元之间的连通性解释了学习能力，因为每个连接都可以根据刺激和期望目标进行配置。
人工神经元
人工神经元是最基本的人工神经元素，已证明生物神经元是信号处理器，神经元中的树突会根据接受信号的强弱和振幅。发送信号到轴突。可以这样认为，神经元在输入上有一个信号收集器，在输出上有一个激活单元，它可以触发一个新的信号，然后传递给其他神经元。
激活函数
激活函数是指一个神经元根据输入信号，执行计算并产生输出。从数学方面讲，激活函数用于为神经网络模型的处理加入非线性因素，从而提供人工神经网络的非线性行为，这对模拟生物神经元的非线性特征非常有用。激活函数通常是一个非线性函数，输出限制在某个区间范围内，但某些特定情况下，也可以是线性函数。
权重
尽管神经网络的结构能固定，但通过神经元之间的连接权重能够增强或减弱接收到的神经信号，所以可以通过修改权重影响神经元的输出。因此，神经元的激活不仅依赖输入信号，还依赖权重。如果输入来自其他神经元或者外部世界，权重可以看成神经网络在神经元之间建立的连接。
偏置
作为一个独立组件，偏置主要为激活函数增加一个额外信号，这对人工神经元非常有用。
层
为抽象化处理层次，如我们大脑处理问题的方式，神经元按层组织。输入层接受外部世界的直接刺激，输出层触发一些行为，对外部世界产生直接影响。输入层和输出层之间，有许多隐含层，某种意义上，这些隐含层对外部世界不可见。在人工神经网络中，同一层的所有神经元具有相同的输入和激活函数。
神经网络可以有不同的布局，主要取决于神经元或层之间是如何连接的，每一个神经网络体系结构都是为特定目标而设计。神经网络可以应用于许多问题，根据问题的性质，神经网络旨在高效解决问题。
单层网络
单层网络体系中，所有神经元都处于同一层，形成单个层。
多层网络
多层网络中，神经元分成多个层，每层对应神经元的一个平行布局，每层神经元都共享相同的输入数据。
前馈网络
神经网络中的信号流动可以是单向的，也可以是递归的。对于第一种结构，称之为前馈网络，输入信号被送入输入层，经过处理后向前传递到下一层。多层感知机和径向基函数都是前馈网络
反馈网络
当神经网络中有某种内部递归时，这意味着信号会反向传递到已经接受或已经处理过信号的神经元或层，这类网络类型为反馈网络。
python神经网络编程有什么用？
预测器
神经网络和计算机一样，对于输入和输出都做了一些处理，当我们不知道这些是什么具体处理的时候，可以使用模型来估计，模型中最重要的就是其中的参数。
对于以前所学的知识都是求出特定的参数，而在这里是使用误差值的大小去多次指导参数的调整，这就是迭代。
误差值=真实值-计算值
分类器
预测器是转换输入和输出之间的关系，分类器是将两类事物划分开，只是预测器的目的是找到输出在直线上，分类器是找到输出分为两类各在直线的上下方。但其实都是找到一个合适的斜率（只考虑简单情况下）
分类器中的误差值E=期望的正确值-基于A的猜测值得到的计算值$ E=t-y \quad E=(ΔA)x $这就是使用误差值E得到ΔA
ΔA=E/x
，再将ΔA作为调整分界线斜率A的量
但是这样会存在一个问题，那就是最终改进的直线会与最后一个训练样本十分匹配，近视可以认识忽略了之前的训练样本，所以要采用一个新的方法：采用ΔA几分之一的一个变化值，这样既能解决上面的问题，又可以有节制地抑制错误和噪声的影响，该方法如下
ΔA=L(E/x)
此处的L称之为调节系数（学习率）
使用学习率可以解决以上问题，但是当数据本身不是由单一线性过程支配时，简单的线性分类器还是不能实现分类，这个时候就要采用多个线性分类器来划分（这就是神经网络的核心思想）
神经网络中追踪信号
对于一个输入，神经元不会立即反应，而是会抑制输入，只有当输入增强到了一定程度，才可以触发输出，并且神经元前后层之间是互相连接的。
神经元的输入和输出一般采用S函数（sigmoid function）
y=11+e?x
。因为神经元存在多个输入，所以需要将输入的总和作为S函数的输出。要控制最后的输出结果，最有效的方式就是调整节点之间的连接强度，这就要使用到矩阵点乘。
一般神经网络分为三层，第一层是输入层，无需任何计算；第二层是隐藏层；最后是输出层。
总体过程如下：（特别注意：权重矩阵是不一样的）
1.输入层接收信号，通过权重比例输出到隐藏层，此处遵守公式
X=W?I
$$
\begin{pmatrix}
w_{1,1} w_{2,1}\\
w_{1,2} w_{2,2}
\end{pmatrix}
\begin{pmatrix}
input1\\
input2
\end{pmatrix}
$$其中W是权重矩阵，I是输入矩阵，X是组合调节后的信号
2.隐藏层使用S函数（激活函数）对输入进行处理，然后输出到输出层
3.按照同样的公式，先经过权重的组合调节再适用S函数（激活函数）得到最后的输出
反向传播误差
误差=期望的输出值-实际的计算值，所以根据误差来调整权重。误差一般使用不等分误差，就是按照权重的比例分割误差。
使用权重，将误差从输出向后传播到网络中，被称为反向传播。
基于matlab或C#的神经网络编程
1.?人工神经元( Artificial Neuron )模型
人工神经元是神经网络的基本元素，其原理可以用下图表示：
图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值 ( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为：
图中 yi表示神经元i的输出，函数f称为激活函数?( Activation Function )或转移函数 ( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为：
若用X表示输入向量，用W表示权重向量，即：
X = [ x0 , x1 , x2 , ....... , xn ]
则神经元的输出可以表示为向量相乘的形式：
若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net为负，则称神经元处于抑制状态。
图1中的这种“阈值加权和”的神经元模型称为M-P模型?( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。
神经网络的编程基础——NG
本章内容主要针对神经网络训练数据的过程前向传播和后向传播的详细介绍。比如逻辑回归的前向传播：
用来预测y值和求代价函数的极小值。
同时后向传播该如何更新参数w，b。
损失函数：
其实都是一个概念，只不过损失函数针对一个样本提出来的定义，代价函数是针对多个样本提出来的概念，但说到底代价函数只不过是损失函数的累加的平均值而已。
后面也涉及到梯度下降法步骤，更新参数w，b的值。
以下内容从定义输入特征向量x，输出值y，y取0或1，以及定义一个独立样本(x,y)，以及m个样本组成的训练集。分别从一个样本开始，介绍了逻辑回归的损失函数和更新w，b参数，里面涉及求导，链式法则等知识，之后介绍了m个样本，逻辑回归的代价函数和如何整体更新参数w，b。因为for循环太慢，所以引入了向量化求解更新方式，也就是我们大学学习的矩阵。
这里存在一个讨论问题，为啥逻辑回归的损失函数是这样定的，大家可以思考下。
说明一下下面那张图，右边不是涂没了，而是dz的转置，即(dz1,dz2,...dzm)的转置。
其实看了for循环和向量化，发现，向量化真的快，以后要养成少些for循环的习惯，多用向量化求解，直观简明，符合矩阵的思想。