深度神经网络课程Python与Matlab实现的差异

系统 1463 0

网络结构定义的差异:

在Python中(network3.py),网络定义时,不但定义了结构参数 layers,还定义了对应的 mini_batch_size。也就是说在 network3.py中定义的网络,是与mini_batch_size有相关性的。如果计算过程中要进行 mini_batch_size的调整,直接更改 mini_batch_size然后重新计算是不可行的。
因此,需要对已有的网络结构进行重新生成。

#网络结构定义
class Network(object):
def init (self, layers, mini_batch_size):
self.layers = layers
self.mini_batch_size = mini_batch_size
self.params = [param for layer in self.layers for param in layer.params]
self.x = T.matrix(“x”)
self.y = T.ivector(“y”)
init_layer = self.layers[0]
init_layer.set_inpt(self.x, self.x, self.mini_batch_size)
for j in range(1, len(self.layers)):
prev_layer, layer = self.layers[j-1], self.layers[j]
layer.set_inpt(
prev_layer.output, prev_layer.output_dropout, self.mini_batch_size)
self.output = self.layers[-1].output
self.output_dropout = self.layers[-1].output_dropout

根据上述的 网络结构参数定义的代码,可以推断出,如果想更改 mini_batch_size的大小,应该需要把原来(已有)的网络参数 net.layers,net.params重新赋值到一个网络中去。

载入已有的数据

step 1:
查找网络的层级结构,

net.layers
[ , ]

step 2:
查找各层的输入与输出参数 n_in, n_out的数值

net.layers[0].n_in
784
net.layers[1].n_in
100
net.layers[0].n_out
100
net.layers[1].n_out
10

step 3:
仔细的推敲了原来的结构,使用如下代码,可以更新mini_batch_size后重新计算。

net = Network(net.layers, NEW_mini_batch_size)
net2.SGD(training_data, epochs, NEW_mini_batch_size, eta,
validation_data, test_data)

看起来还不错。

the old mini_batch_size is: 50
the new mini_batch_size is: 100
Training mini-batch number 0
Epoch 0: validation accuracy 90.53%
This is the best validation accuracy to date.
The corresponding test accuracy is 90.43%
Finished training network.
Best validation accuracy of 90.53% obtained at iteration 499
Corresponding test accuracy of 90.43%

step 4: 实现思路与代码
每次计算完毕后,把网络学习后的参数保存到磁盘。需要使用的时候,再读取到内存,调整mini_batch_size(批处理大小), eta(学习率), epochs(迭代次数)后再进行计算。

实现代码

#读取网络参数
rst_path = “rst/conv_net3.json”
pfile = open(rst_path, ‘rb’) # read current contents
net = pickle.load(pfile)
pfile.close()

#设置 批处理、学习率、迭代数等参数
mini_batch_size = 60
epochs = 5
eta = 0.1

#更新mini_batch_size和网络参数!
#使用已有的 layers 结构和参数。
net = Network(net.layers, mini_batch_size);

#载入训练和测试数据
training_data, validation_data, test_data = network3.load_data_shared()
net.SGD(training_data, epochs, mini_batch_size, eta,
validation_data, test_data)

#保存数据
with open(rst_path, ‘wb’) as save_file:
pickle.dump(net, save_file)
save_file.close()


更多文章、技术交流、商务合作、联系博主

微信扫码或搜索:z360901061

微信扫一扫加我为好友

QQ号联系: 360901061

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描下面二维码支持博主2元、5元、10元、20元等您想捐的金额吧,狠狠点击下面给点支持吧,站长非常感激您!手机微信长按不能支付解决办法:请将微信支付二维码保存到相册,切换到微信,然后点击微信右上角扫一扫功能,选择支付二维码完成支付。

【本文对您有帮助就好】

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描上面二维码支持博主2元、5元、10元、自定义金额等您想捐的金额吧,站长会非常 感谢您的哦!!!

发表我的评论
最新评论 总共0条评论