k,j]+ *I[k]*Err[j]*g`(in[j]) //隐层权值修正
3.返回V,W,学习完成
可能有些人不明白函数g(x)是如何选取,根据我们识别的特性来看,我们应该选择,S型函数(关于函数的类型请参阅其他书籍),考虑函数的导数在内,应该选择一个比较好导的函数。所以我们选择。
y=f(A)=1/(1+Exp(-A))
y`=f`(A)=y(1-y)
(2)实现识别
1.获取输入层的各个值 a
a[j]=g(in[j])=g( 把P改成m //求隐层的值,其中V是各个权值
//的向量,
o[i]=g(in[i])=g( //求输出层的值,其中W是各个隐层输入的
Err[i]=(T[i]-O[i])2 /2
// 为精度,如果全局误差都小于精度就//证明输出的矩阵O是合法的。
// ε为精度,如果全局误差都小于精度就//证明输出的矩阵O是合法的。
3.3算法实现
设输入层为n个输入,隐层是m个输入,输出层是p个输出。
*这里是一次训练的算法,程序可以根据自己需要实现。
INPUT W,V,P,A //输入权值W,V,精度P,和学习系数A
INPUT i[1],...,i[n],t[1],...,t[p] //输入和输出样板集
Step 1 Set v_sum=0. //设定累加器
Step 2 Set in_i[m],in_j[p]
Step 3 For j=1,...,m do Step 4 and Step 5,Step 7
Step 4 Set in_j[j]=0; //初始化
Step 5 For k=1,...,n do Step6 and Step7
Step 6 Set in_j[j]=a[j]+(v[k,j]*i[k]);
Step 7 Set a[j]=1/(1-Exp(-in_j[j]));
Step 8 For i=1,...,p do Step9 and Step 10,Step 12
Step 9 Set in_i[i]=0;
Step 10 For j=1,...,m do Step 11
Step 11 Set in_i[i]=in_i[i]+(w[j,i]*a[j])
Step 12 Set o[i]=1/(1-Exp(-in_i[i]);
Step 13 For i=1,...,p do Step 14
Step 14 Set Err[i]=t[i]-o[i] //误差
Step 15 For j=1,...,m do Step 16
Step 16 For i=1,...,p do Step 17
Step 17 Set w[j,i]=w[j,i]+A*a[j]*Err[i]* 1/(1-Exp(-in_j[j]))(1-1/(1-Exp(-in_j[j])));//输出层权
//值修正
Step 18 For k=1,...,n do Step 19
Step 19 For j=1,...,m do Step 20
Step 20 Set v[k,j]=v[k,j]*A*i[k]*Err[j]* 1/(1-Exp(-in_j[j]))(1-1/(1-Exp(-in_j[j])));//隐层权值
//修正
Step 21 OUTPUT (Err[1],...,Err[p])
STOP
重复训练过程来对准确权值的收敛,识别过程是学习过程的一部分,所以这里不再重复
3.4 终端处理位置居中
要使识别系统能够处理同一个输入终端但是有坐标偏移的问题,要作一些坐标转换,就是先获取中点坐标,然后根据中点坐标的偏移来平移,注意,这里的平移,包括样本,和输入层的点都要作平移。具体实现请参见附件的源代码
4.实现效果
采样效果

训练后的识别效果

5.总结
通过对手写数字识别系统的开发,熟悉了人工神经网络的基本工作方式,神经网络有很多种,每一种都有自己的特点和功能,人工神经网络还可以拓展到其他领域,我国的人工智能研究起步比较迟,还需要很大的努力才能跟上其他发达国家的水平。 |