UOMOP

우선, 과적합이란 "모델이 학습시키는 데이터에만 집중하게 되어 다른 데이터로 성능을 확인할 때는 성능이 떨어지는 현상", 즉, "학습 데이터일 때만 Loss값이 매우 낮고 검증(또는 테스트) 데이터일 때는 Loss값이 상대적으로 높은 현상"을 의미한다. 이때 가중치 규제를 준다는 것은 원래의 손실 함수 출력 값에 아주 작은 값을 추가해 고의적으로 학습 데이터에 대한 Loss를 키운다. 학습 데이터로 얻은 Loss 출력에 일종의 불순물(?)을 넣어주고 이 데이터에만 집중하지 않게 해 줌으로써 검증(또는 테스트) 데이터에도 집중을 하게끔 한다. 이렇게 Overfitting 현상을 방지한다. 만약 가중치의 절댓값을 더해준다면 l1 tensorflow.keras.regularizers.l1(알파값) 가중치의 제..

GAP(GlobalAveragePooling)은 overfitting 현상을 조금 방지할 수 있다. Flatten을 이용해서 1차원 데이터로 만든 후 모든 노드에 연결을 시켜주면 parameter가 상당히 많이 나온다. parameter가 너무 많이 나오면 해당 데이터에만 과도 학습되어 overfitting이 발생하는데, 이를 GAP을 통해서 조금 해결해보도록 한다. GAP는 한 feature map의 하나의 channel 전체 값을 평균 내어 1개의 unit을 생성시킨다. 이 unit들을 노드에 연결시켜 parameter가 과하게 나오는 것을 막는 것이다. import numpy as np import matplotlib.pyplot as plt from sklearn.model_selection im..

1. 각종 모듈 호출 import numpy as np import matplotlib.pyplot as plt from sklearn.model_selection import train_test_split from tensorflow.keras.datasets import cifar10 from tensorflow.keras.utils import to_categorical from tensorflow.keras.models import Model from tensorflow.keras.layers import Input, Conv2D, BatchNormalization, Activation, MaxPooling2D,\ Flatten, Dropout, Dense from tensorflow.keras...

1. 각종 모듈 호출 import numpy as np from sklearn.model_selection import train_test_split from tensorflow.keras.datasets import cifar10 from tensorflow.keras.utils import to_categorical from tensorflow.keras.models import Model from tensorflow.keras.layers import Input, Conv2D, BatchNormalization, Activation, MaxPooling2D,\ Flatten, Dropout, Dense from tensorflow.keras.optimizers import Adam from tens..

1. 각종 모듈 호출 import numpy as np import tensorflow as tf from tensorflow.keras.datasets import cifar10 from tensorflow.keras.utils import to_categorical from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt from tensorflow.keras.models import Model, Sequential from tensorflow.keras.layers import Input, Conv2D, Activation, MaxPooling2D, Flatten, Dense, Dropout,\ Batch..

1. 각종 모듈 호출 import numpy as np from tensorflow.keras.datasets import cifar10 from tensorflow.keras.utils import to_categorical from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt from tensorflow.keras.models import Model, Sequential from tensorflow.keras.layers import Input, Conv2D, Activation, MaxPooling2D, Flatten, Dense,\ Dropout, BatchNormalization from tenso..