[tendorflow]데이터셋 정규화(whitening)의 필요성 데이터셋 정규화(whitening)의 필요성 데이터셋의 값 분포를 0에 맞추는 정규화(whitening)를 하지 않을경우 데이터셋에 0인 부분들이 너무 많아서(희소) 많은 레이어들을 거쳐서 최종적인 output 값이 [[0. 0. 0. 0. 0. 0. 0. 1. 0. 0.]]과 같이된다. (softmax를 거친경우) 그러나 정규화를 해주면[[0.00343778 0.02022134 0.0288361 0.09710948 0.08636719 0.21370631 0.43184397 0.1164527 0.0004596 0.00156549]] 과 같이 된다. 0의 결과는 cross entropy함수의 log 부분에서 nan을 발생시킬 위험이있고1의 결과는 학습이 안이루어지게끔한다. 따라서 softmax 전에 cro.. 더보기 이전 1 2 3 4 5 ··· 27 다음