[Tensorflow] relu 함수 직접 만들어보기 (미완) relu 활성화 함수 직접 구현하기relu는 sigmoid의 경사 감소 소실문제를 해겨하기위해 고안된 많은 방법중 일반적으로 가장 많이 사용되는 활성화 함수입니다.tensorflow에서 relu는 tf.nn.relu() 와 같이 기본 라이브러리로 구현되어있는것을 사용하여 간단하게 사용할 수 있습니다. 하지만 leakyRelu와 같이 변종 relu들이나 자신만의 활성화 함수를 사용해보고 싶을때가 있을 수도 있습니다.그래서 직접 구현해보려고 합니다. 1. Relurelu 함수식은 단순히 max(x,0) 이기 떄문에 매우 간단합니다. def myRelu(self,tensor): return tf.maximum(tensor,0) 2. LeakyReluLeakyRelu 함수식역시 단순히 max(x,ax) 이기 떄.. 더보기 이전 1 2 3 4 5 6 ··· 27 다음