maml_torch

Part 1. Introduction

As we all know, deep learning need vast data. If you don't have this condition, you can use pre-training weights. Most of data can be fitted be pre-training weights, but there all still some data that can't converge to the global lowest point. So it is exist one weights that can let all task get best result?

Yes, this is "Model-Agnostic Meta-Learning". The biggest difference between MAML and pre-training weights：Pre-training weights minimize only for original task loss. MAML can minimize all task loss with a few steps of training.

Part 2. Quick Start

Pull repository.

git clone https://github.com/Runist/torch_maml.git

You need to install some dependency package.

cd torch_maml
pip installl -r requirements.txt

Download the Omiglot dataset.

mkdir data
cd data
wget https://github.com/Runist/MAML-keras/releases/download/v1.0/Omniglot.tar
tar -xvf Omniglot.tar

Start training.

python train.py

📂 D:\Project\PycharmProject\meta-learning\torch_maml> python train.py
epoch 1: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:23<00:00,  5.87s/it, loss=1.1743]
=> loss: 1.2787   acc: 0.4875   val_loss: 1.0097   val_acc: 0.7051
epoch 2: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.41s/it, loss=1.0693]
=> loss: 1.1016   acc: 0.6760   val_loss: 0.9331   val_acc: 0.6838
epoch 3: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.39s/it, loss=0.9547] 
=> loss: 0.9869   acc: 0.7063   val_loss: 0.8927   val_acc: 0.7421
epoch 4: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.39s/it, loss=0.8187] 
=> loss: 0.8566   acc: 0.7740   val_loss: 0.8489   val_acc: 0.7435
epoch 5: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.39s/it, loss=0.7298] 
=> loss: 0.7588   acc: 0.7849   val_loss: 0.6961   val_acc: 0.8347
epoch 6: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.37s/it, loss=0.6411] 
=> loss: 0.6531   acc: 0.8010   val_loss: 0.6462   val_acc: 0.7764
epoch 7: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.38s/it, loss=0.5924] 
=> loss: 0.6357   acc: 0.8036   val_loss: 0.6301   val_acc: 0.7954
epoch 8: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.40s/it, loss=0.4573] 
=> loss: 0.5320   acc: 0.8474   val_loss: 0.7400   val_acc: 0.7227
epoch 9: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.39s/it, loss=0.5229] 
=> loss: 0.5007   acc: 0.8422   val_loss: 0.5483   val_acc: 0.8093
epoch 10: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.49s/it, loss=0.4246] 
=> loss: 0.4653   acc: 0.8484   val_loss: 0.5271   val_acc: 0.8338
epoch 11: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.39s/it, loss=0.4052] 
=> loss: 0.4448   acc: 0.8719   val_loss: 0.5485   val_acc: 0.8569
epoch 12: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.39s/it, loss=0.4270] 
=> loss: 0.4296   acc: 0.8755   val_loss: 0.4695   val_acc: 0.8417
epoch 13: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.39s/it, loss=0.3606] 
=> loss: 0.4008   acc: 0.8771   val_loss: 0.4271   val_acc: 0.8889
epoch 14: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.39s/it, loss=0.3789] 
=> loss: 0.3842   acc: 0.8724   val_loss: 0.4453   val_acc: 0.8630
epoch 15: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.39s/it, loss=0.3391] 
=> loss: 0.3365   acc: 0.9078   val_loss: 0.4711   val_acc: 0.8301
epoch 16: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.42s/it, loss=0.3370] 
=> loss: 0.3706   acc: 0.8911   val_loss: 0.4980   val_acc: 0.8218
epoch 17: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.41s/it, loss=0.3088] 
=> loss: 0.3277   acc: 0.9021   val_loss: 0.4144   val_acc: 0.8500
epoch 18: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.58s/it, loss=0.2884] 
=> loss: 0.3262   acc: 0.9000   val_loss: 0.3395   val_acc: 0.8838
epoch 19: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.54s/it, loss=0.3142] 
=> loss: 0.3365   acc: 0.9021   val_loss: 0.3669   val_acc: 0.8796
epoch 20: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.53s/it, loss=0.2608] 
=> loss: 0.3155   acc: 0.9016   val_loss: 0.3525   val_acc: 0.8963
=> loss: 0.2632   acc: 0.9057   val_loss: 0.3526   val_acc: 0.8731
epoch 30: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.44s/it, loss=0.2463] 
=> loss: 0.2472   acc: 0.9276   val_loss: 0.3137   val_acc: 0.8856
epoch 31: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.44s/it, loss=0.1954] 
=> loss: 0.2421   acc: 0.9214   val_loss: 0.3519   val_acc: 0.8847
epoch 32: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.44s/it, loss=0.2241] 
=> loss: 0.2174   acc: 0.9349   val_loss: 0.2912   val_acc: 0.9269
epoch 33: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.44s/it, loss=0.2604] 
=> loss: 0.2461   acc: 0.9193   val_loss: 0.3719   val_acc: 0.8773
epoch 34: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.57s/it, loss=0.2305] 
=> loss: 0.2101   acc: 0.9370   val_loss: 0.2837   val_acc: 0.9255
epoch 35: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.68s/it, loss=0.3017] 
=> loss: 0.2318   acc: 0.9281   val_loss: 0.3359   val_acc: 0.8838
epoch 36: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:19<00:00,  4.88s/it, loss=0.1916] 
=> loss: 0.2044   acc: 0.9302   val_loss: 0.3705   val_acc: 0.8639
epoch 37: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.46s/it, loss=0.2420] 
=> loss: 0.2346   acc: 0.9167   val_loss: 0.3386   val_acc: 0.8963
epoch 38: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.47s/it, loss=0.2465] 
=> loss: 0.2306   acc: 0.9281   val_loss: 0.2690   val_acc: 0.9227
epoch 39: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.46s/it, loss=0.3123] 
=> loss: 0.2259   acc: 0.9245   val_loss: 0.3907   val_acc: 0.8472
epoch 40: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.45s/it, loss=0.2130] 
=> loss: 0.2168   acc: 0.9318   val_loss: 0.2451   val_acc: 0.9037
epoch 41: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.48s/it, loss=0.1830] 
=> loss: 0.2101   acc: 0.9333   val_loss: 0.3580   val_acc: 0.8792
epoch 42: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.49s/it, loss=0.2006] 
=> loss: 0.2407   acc: 0.9255   val_loss: 0.2819   val_acc: 0.9120
epoch 43: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.46s/it, loss=0.2414] 
=> loss: 0.2685   acc: 0.9172   val_loss: 0.2838   val_acc: 0.8889
epoch 44: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.47s/it, loss=0.3090] 
=> loss: 0.2473   acc: 0.9203   val_loss: 0.2593   val_acc: 0.9153
epoch 45: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.55s/it, loss=0.2398] 
=> loss: 0.2599   acc: 0.9135   val_loss: 0.2581   val_acc: 0.9139
epoch 46: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.47s/it, loss=0.2263] 
=> loss: 0.1915   acc: 0.9385   val_loss: 0.2459   val_acc: 0.9046
epoch 47: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.48s/it, loss=0.1584] 
=> loss: 0.2061   acc: 0.9417   val_loss: 0.2303   val_acc: 0.9343
epoch 48: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.50s/it, loss=0.2782] 
=> loss: 0.2388   acc: 0.9141   val_loss: 0.2254   val_acc: 0.9245
epoch 49: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.47s/it, loss=0.1847] 
=> loss: 0.1931   acc: 0.9443   val_loss: 0.2470   val_acc: 0.9102
epoch 50: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.48s/it, loss=0.2025] 
=> loss: 0.2535   acc: 0.9219   val_loss: 0.2644   val_acc: 0.8981
epoch 51: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.51s/it, loss=0.1399] 
=> loss: 0.1858   acc: 0.9474   val_loss: 0.2852   val_acc: 0.8889
epoch 52: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.59s/it, loss=0.1754] 
=> loss: 0.2063   acc: 0.9339   val_loss: 0.2984   val_acc: 0.8898
epoch 53: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.47s/it, loss=0.2186] 
=> loss: 0.2058   acc: 0.9292   val_loss: 0.3300   val_acc: 0.8903
epoch 54: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.48s/it, loss=0.2796] 
=> loss: 0.2115   acc: 0.9339   val_loss: 0.2653   val_acc: 0.9120
epoch 55: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.47s/it, loss=0.1592] 
=> loss: 0.2081   acc: 0.9250   val_loss: 0.3142   val_acc: 0.8963
epoch 56: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.48s/it, loss=0.1393] 
=> loss: 0.1700   acc: 0.9594   val_loss: 0.2857   val_acc: 0.8963
epoch 57: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.49s/it, loss=0.1609] 
=> loss: 0.2252   acc: 0.9151   val_loss: 0.3261   val_acc: 0.8722
epoch 58: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.48s/it, loss=0.2672] 
=> loss: 0.2146   acc: 0.9292   val_loss: 0.1960   val_acc: 0.9468
epoch 59: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.49s/it, loss=0.1900] 
=> loss: 0.2088   acc: 0.9344   val_loss: 0.3075   val_acc: 0.8856
epoch 60: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.49s/it, loss=0.1501] 
=> loss: 0.1923   acc: 0.9406   val_loss: 0.3069   val_acc: 0.8972
epoch 61: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.49s/it, loss=0.1210] 
=> loss: 0.1849   acc: 0.9411   val_loss: 0.2046   val_acc: 0.9444
epoch 62: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.50s/it, loss=0.1057] 
=> loss: 0.1667   acc: 0.9615   val_loss: 0.2852   val_acc: 0.8704
epoch 63: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.49s/it, loss=0.2624] 
=> loss: 0.2138   acc: 0.9349   val_loss: 0.2348   val_acc: 0.9245
epoch 64: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.51s/it, loss=0.2535] 
=> loss: 0.2031   acc: 0.9359   val_loss: 0.3830   val_acc: 0.8556
epoch 65: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.51s/it, loss=0.1625] 
=> loss: 0.1686   acc: 0.9500   val_loss: 0.2560   val_acc: 0.8963
epoch 66: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.50s/it, loss=0.1426] 
=> loss: 0.1741   acc: 0.9542   val_loss: 0.2626   val_acc: 0.9097
epoch 67: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.50s/it, loss=0.2304] 
=> loss: 0.2280   acc: 0.9250   val_loss: 0.2551   val_acc: 0.9296
epoch 68: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.48s/it, loss=0.1911] 
=> loss: 0.2032   acc: 0.9432   val_loss: 0.2756   val_acc: 0.8829
epoch 69: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.51s/it, loss=0.2287] 
=> loss: 0.2100   acc: 0.9312   val_loss: 0.2418   val_acc: 0.8880
epoch 70: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.51s/it, loss=0.2269] 
=> loss: 0.1805   acc: 0.9396   val_loss: 0.2529   val_acc: 0.9120
epoch 71: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.50s/it, loss=0.2278] 
=> loss: 0.2004   acc: 0.9333   val_loss: 0.3293   val_acc: 0.8847
epoch 72: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.50s/it, loss=0.2843] 
=> loss: 0.2190   acc: 0.9318   val_loss: 0.2010   val_acc: 0.9528
epoch 73: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.49s/it, loss=0.1696] 
=> loss: 0.1608   acc: 0.9464   val_loss: 0.2368   val_acc: 0.9106
epoch 74: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.51s/it, loss=0.1702] 
=> loss: 0.2028   acc: 0.9286   val_loss: 0.2693   val_acc: 0.9139
epoch 75: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.51s/it, loss=0.2240] 
=> loss: 0.2104   acc: 0.9260   val_loss: 0.3673   val_acc: 0.8616
epoch 76: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.50s/it, loss=0.1861] 
=> loss: 0.1906   acc: 0.9484   val_loss: 0.2067   val_acc: 0.9403
epoch 77: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.56s/it, loss=0.1104] 
=> loss: 0.1578   acc: 0.9479   val_loss: 0.2596   val_acc: 0.8931
epoch 78: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.50s/it, loss=0.1739] 
=> loss: 0.1863   acc: 0.9557   val_loss: 0.2426   val_acc: 0.9088
epoch 79: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.52s/it, loss=0.2283] 
=> loss: 0.1911   acc: 0.9411   val_loss: 0.2176   val_acc: 0.9162
epoch 80: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.49s/it, loss=0.2052] 
=> loss: 0.1613   acc: 0.9505   val_loss: 0.3198   val_acc: 0.8931
epoch 81: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.54s/it, loss=0.2082] 
=> loss: 0.1711   acc: 0.9443   val_loss: 0.3029   val_acc: 0.8972
epoch 82: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.50s/it, loss=0.1442] 
=> loss: 0.1347   acc: 0.9594   val_loss: 0.2400   val_acc: 0.9176
epoch 83: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.53s/it, loss=0.0943] 
=> loss: 0.1564   acc: 0.9547   val_loss: 0.1767   val_acc: 0.9370
epoch 84: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.51s/it, loss=0.1367] 
=> loss: 0.1681   acc: 0.9422   val_loss: 0.2178   val_acc: 0.9370
epoch 85: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:17<00:00,  4.49s/it, loss=0.0944] 
=> loss: 0.1318   acc: 0.9583   val_loss: 0.3784   val_acc: 0.8486
epoch 86: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.57s/it, loss=0.1559] 
=> loss: 0.1826   acc: 0.9443   val_loss: 0.2204   val_acc: 0.9153
epoch 87: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.51s/it, loss=0.1637] 
=> loss: 0.1806   acc: 0.9443   val_loss: 0.1868   val_acc: 0.9287
epoch 88: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.52s/it, loss=0.2083] 
=> loss: 0.1588   acc: 0.9516   val_loss: 0.2280   val_acc: 0.9269
epoch 89: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.52s/it, loss=0.1089] 
=> loss: 0.1587   acc: 0.9510   val_loss: 0.2686   val_acc: 0.9014
epoch 90: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.54s/it, loss=0.1239] 
=> loss: 0.1572   acc: 0.9458   val_loss: 0.2313   val_acc: 0.9139
epoch 91: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.52s/it, loss=0.0947] 
=> loss: 0.1691   acc: 0.9484   val_loss: 0.2289   val_acc: 0.9019
epoch 92: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.52s/it, loss=0.1288] 
=> loss: 0.1848   acc: 0.9411   val_loss: 0.2358   val_acc: 0.9319
epoch 93: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.52s/it, loss=0.1345] 
=> loss: 0.1595   acc: 0.9438   val_loss: 0.2486   val_acc: 0.9120
epoch 94: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.52s/it, loss=0.1175] 
=> loss: 0.1538   acc: 0.9557   val_loss: 0.2092   val_acc: 0.9148
epoch 95: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.55s/it, loss=0.0839] 
=> loss: 0.1137   acc: 0.9682   val_loss: 0.3513   val_acc: 0.8755
epoch 96: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.54s/it, loss=0.1327] 
=> loss: 0.1436   acc: 0.9568   val_loss: 0.1518   val_acc: 0.9551
epoch 97: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.55s/it, loss=0.1060] 
=> loss: 0.1744   acc: 0.9354   val_loss: 0.1875   val_acc: 0.9417
epoch 98: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.54s/it, loss=0.1253] 
=> loss: 0.1790   acc: 0.9495   val_loss: 0.2388   val_acc: 0.9222
epoch 99: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.55s/it, loss=0.1510] 
=> loss: 0.1525   acc: 0.9490   val_loss: 0.1852   val_acc: 0.9560
epoch 100: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.52s/it, loss=0.0874] 
=> loss: 0.1273   acc: 0.9573   val_loss: 0.1701   val_acc: 0.9551
epoch 101: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.54s/it, loss=0.1852] 
=> loss: 0.1696   acc: 0.9500   val_loss: 0.2575   val_acc: 0.9069
epoch 102: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.55s/it, loss=0.1546] 
=> loss: 0.1344   acc: 0.9661   val_loss: 0.2428   val_acc: 0.9403
epoch 103: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.50s/it, loss=0.2449] 
=> loss: 0.1643   acc: 0.9349   val_loss: 0.2420   val_acc: 0.9139
epoch 104: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.64s/it, loss=0.1551] 
=> loss: 0.1465   acc: 0.9615   val_loss: 0.1834   val_acc: 0.9384
epoch 105: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.54s/it, loss=0.1251] 
=> loss: 0.1326   acc: 0.9589   val_loss: 0.2494   val_acc: 0.9014
epoch 106: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.52s/it, loss=0.1428] 
=> loss: 0.1663   acc: 0.9427   val_loss: 0.2274   val_acc: 0.9301
epoch 107: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.56s/it, loss=0.1166] 
=> loss: 0.1762   acc: 0.9406   val_loss: 0.2007   val_acc: 0.9352
epoch 108: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.53s/it, loss=0.2075] 
=> loss: 0.1509   acc: 0.9448   val_loss: 0.1930   val_acc: 0.9394
epoch 109: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.57s/it, loss=0.1456] 
=> loss: 0.1616   acc: 0.9505   val_loss: 0.2464   val_acc: 0.9032
epoch 110: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.55s/it, loss=0.1384] 
=> loss: 0.1057   acc: 0.9724   val_loss: 0.1942   val_acc: 0.9468
epoch 111: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.53s/it, loss=0.0964] 
=> loss: 0.1239   acc: 0.9620   val_loss: 0.1673   val_acc: 0.9509
epoch 112: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.55s/it, loss=0.0816] 
=> loss: 0.1107   acc: 0.9667   val_loss: 0.1635   val_acc: 0.9426
epoch 113: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.53s/it, loss=0.1003] 
=> loss: 0.1240   acc: 0.9578   val_loss: 0.2049   val_acc: 0.9278
epoch 114: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.57s/it, loss=0.0854] 
=> loss: 0.1516   acc: 0.9474   val_loss: 0.1071   val_acc: 0.9727
epoch 115: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.54s/it, loss=0.1121] 
=> loss: 0.1185   acc: 0.9589   val_loss: 0.3242   val_acc: 0.8755
epoch 116: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.54s/it, loss=0.1862] 
=> loss: 0.1596   acc: 0.9490   val_loss: 0.2452   val_acc: 0.9014
epoch 117: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.53s/it, loss=0.1630] 
=> loss: 0.1317   acc: 0.9578   val_loss: 0.1381   val_acc: 0.9644
epoch 118: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.58s/it, loss=0.0942] 
=> loss: 0.1391   acc: 0.9542   val_loss: 0.1245   val_acc: 0.9477
epoch 119: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.53s/it, loss=0.0928] 
=> loss: 0.1355   acc: 0.9536   val_loss: 0.1122   val_acc: 0.9662
epoch 120: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.54s/it, loss=0.1093] 
=> loss: 0.1271   acc: 0.9667   val_loss: 0.2112   val_acc: 0.9190
epoch 121: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.56s/it, loss=0.1479] 
=> loss: 0.1449   acc: 0.9536   val_loss: 0.2363   val_acc: 0.9194
epoch 122: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.56s/it, loss=0.1404] 
=> loss: 0.1374   acc: 0.9490   val_loss: 0.1633   val_acc: 0.9528
epoch 123: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.56s/it, loss=0.0874] 
=> loss: 0.1186   acc: 0.9573   val_loss: 0.2437   val_acc: 0.9264
epoch 124: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.59s/it, loss=0.0953] 
=> loss: 0.1050   acc: 0.9766   val_loss: 0.2703   val_acc: 0.9046
epoch 125: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.57s/it, loss=0.0772] 
=> loss: 0.1096   acc: 0.9724   val_loss: 0.1839   val_acc: 0.9213
epoch 126: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.57s/it, loss=0.1453] 
=> loss: 0.1479   acc: 0.9443   val_loss: 0.2026   val_acc: 0.9204
epoch 127: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.56s/it, loss=0.1355] 
=> loss: 0.0998   acc: 0.9641   val_loss: 0.2172   val_acc: 0.9370
epoch 128: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.55s/it, loss=0.0423] 
=> loss: 0.0900   acc: 0.9781   val_loss: 0.1886   val_acc: 0.9477
epoch 129: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.58s/it, loss=0.0985] 
=> loss: 0.1081   acc: 0.9661   val_loss: 0.2291   val_acc: 0.9338
epoch 130: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.60s/it, loss=0.0916] 
=> loss: 0.1010   acc: 0.9672   val_loss: 0.2025   val_acc: 0.9444
epoch 131: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.60s/it, loss=0.1275] 
=> loss: 0.0979   acc: 0.9667   val_loss: 0.1370   val_acc: 0.9509
epoch 132: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.57s/it, loss=0.1646] 
=> loss: 0.1377   acc: 0.9495   val_loss: 0.2226   val_acc: 0.9236
epoch 133: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.58s/it, loss=0.0923] 
=> loss: 0.1317   acc: 0.9599   val_loss: 0.1983   val_acc: 0.9301
epoch 134: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.59s/it, loss=0.1300] 
=> loss: 0.1207   acc: 0.9703   val_loss: 0.1574   val_acc: 0.9634
epoch 135: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.59s/it, loss=0.1101] 
=> loss: 0.1115   acc: 0.9693   val_loss: 0.1519   val_acc: 0.9403
epoch 136: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.58s/it, loss=0.2028] 
=> loss: 0.1257   acc: 0.9651   val_loss: 0.1428   val_acc: 0.9477
epoch 137: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.57s/it, loss=0.2447] 
=> loss: 0.1303   acc: 0.9635   val_loss: 0.1509   val_acc: 0.9542
epoch 138: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.60s/it, loss=0.0656] 
=> loss: 0.1031   acc: 0.9693   val_loss: 0.1291   val_acc: 0.9463
epoch 139: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:20<00:00,  5.11s/it, loss=0.0965] 
=> loss: 0.1446   acc: 0.9469   val_loss: 0.1789   val_acc: 0.9468
epoch 140: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.67s/it, loss=0.0601] 
=> loss: 0.0838   acc: 0.9776   val_loss: 0.2036   val_acc: 0.9245
epoch 141: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.59s/it, loss=0.1859] 
=> loss: 0.1299   acc: 0.9615   val_loss: 0.1321   val_acc: 0.9509
epoch 142: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.56s/it, loss=0.1089] 
=> loss: 0.1215   acc: 0.9620   val_loss: 0.1706   val_acc: 0.9528
epoch 143: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.60s/it, loss=0.0766] 
=> loss: 0.0802   acc: 0.9656   val_loss: 0.1229   val_acc: 0.9644
epoch 144: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.55s/it, loss=0.1345] 
=> loss: 0.1171   acc: 0.9589   val_loss: 0.1693   val_acc: 0.9583
epoch 145: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.54s/it, loss=0.1162] 
=> loss: 0.0988   acc: 0.9682   val_loss: 0.1778   val_acc: 0.9468
epoch 146: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.63s/it, loss=0.1219] 
=> loss: 0.0852   acc: 0.9807   val_loss: 0.1585   val_acc: 0.9343
epoch 147: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.59s/it, loss=0.1458] 
=> loss: 0.1014   acc: 0.9656   val_loss: 0.1525   val_acc: 0.9426
epoch 148: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.61s/it, loss=0.1334] 
=> loss: 0.1445   acc: 0.9505   val_loss: 0.1260   val_acc: 0.9477
epoch 149: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.59s/it, loss=0.1831] 
=> loss: 0.0942   acc: 0.9781   val_loss: 0.1478   val_acc: 0.9620
epoch 150: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.57s/it, loss=0.1357] 
=> loss: 0.1123   acc: 0.9656   val_loss: 0.1432   val_acc: 0.9551

Part 3. Train your own dataset

You should set same parameters in args.py. More detail you can get in my blog.

parser.add_argument('--train_data_dir', type=str,
                    default="./data/Omniglot/images_background/",
                    help='The directory containing the train image data.')
parser.add_argument('--val_data_dir', type=str,
                    default="./data/Omniglot/images_evaluation/",
                    help='The directory containing the validation image data.')
parser.add_argument('--n_way', type=int, default=10,
                    help='The number of class of every task.')
parser.add_argument('--k_shot', type=int, default=1,
                    help='The number of support set image for every task.')
parser.add_argument('--q_query', type=int, default=1,
                    help='The number of query set image for every task.')

Start training.

python train.py --n_way=5 --k_shot=1 --q_query=1

xatucsjy / maml-torch Goto Github PK

maml-torch's Introduction

maml_torch

Part 1. Introduction

Part 2. Quick Start

Part 3. Train your own dataset

Part 4. Paper and other implement

maml-torch

Recommend Projects

React

Vue.js

Typescript

TensorFlow

Django

Laravel

D3

Recommend Topics

javascript

web

server

Machine learning

Visualization

Game

Recommend Org

Facebook

Microsoft

Google

Alibaba

D3

Tencent