relu 활성화 함수 직접 구현하기
relu는 sigmoid의 경사 감소 소실문제를 해겨하기위해 고안된 많은 방법중 일반적으로 가장 많이 사용되는 활성화 함수입니다.
tensorflow에서 relu는
| tf.nn.relu() |
와 같이 기본 라이브러리로 구현되어있는것을 사용하여 간단하게 사용할 수 있습니다.
하지만 leakyRelu와 같이 변종 relu들이나 자신만의 활성화 함수를 사용해보고 싶을때가 있을 수도 있습니다.
그래서 직접 구현해보려고 합니다.
1. Relu
relu 함수식은 단순히 max(x,0) 이기 떄문에 매우 간단합니다.
def myRelu(self,tensor): |
2. LeakyRelu
LeakyRelu 함수식역시 단순히 max(x,ax) 이기 떄문에 매우 간단합니다.
def myLeakyRelu(self,tensor,a): |