Tensorflow 활성함수 activation functions

선형함수 Dense 이외의 함수 

모델링시에 선형 비선형 선형 비선형으로 모델링을 하게되는데 선형함수안에 activation='relu' 이런 식으로 정의를 해서 코드를 단순화 할 수 있다.

Module: tf.keras.activations

Functions

deserialize(...): Returns activation function given a string identifier. 문자열 식별자를 받은 활성화 함수를 반환합니다.

elu(...): Exponential Linear Unit. 지수 선형 단위.

exponential(...): Exponential activation function. 지수 활성화 기능.

gelu(...): Applies the Gaussian error linear unit (GELU) activation function. 가우시안 오류 선형 장치 (GELU) 활성화 기능을 적용합니다.

get(...): Returns function. 함수를 반환합니다.

hard_sigmoid(...): Hard sigmoid activation function. 하드 시그모이드 활성화 기능.

linear(...): Linear activation function (pass-through). 선형 활성화 함수(통과).

relu(...): Applies the rectified linear unit activation function. 정류선형 단위 활성화 함수를 적용합니다.

selu(...): Scaled Exponential Linear Unit (SELU). 스케일드 지수 선형 단위 (SELU).

serialize(...): Returns the string identifier of an activation function. 활성화 함수의 문자열 식별자를 반환합니다.

sigmoid(...): Sigmoid activation function, sigmoid(x) = 1 / (1 + exp(-x)). 시그모이드 활성화 기능, .sigmoid(x) = 1 / (1 + exp(-x))

softmax(...): Softmax converts a real vector to a vector of categorical probabilities. 소프트맥스는 실제 벡터를 범주형 확률의 벡터로 변환합니다.

softplus(...): Softplus activation function, softplus(x) = log(exp(x) + 1). 소프트플러스 활성화 기능, .softplus(x) = log(exp(x) + 1)

softsign(...): Softsign activation function, softsign(x) = x / (abs(x) + 1). 소프트 사인 활성화 기능, .softsign(x) = x / (abs(x) + 1)

swish(...): Swish activation function, swish(x) = x * sigmoid(x). 스위시 활성화 기능, .swish(x) = x * sigmoid(x)

tanh(...): Hyperbolic tangent activation function. 과복 접선 활성화 기능.

 

마지막 출력층에 따라서 loss가 틀려진다.

마지막출력층이 Dense(1, activation='sigmoid') 인 경우 Loss 는 loss = 'binary_crossentropy'

마지막출력층이 Dense(2이상, activation='softmax') 인 경우

Loss 는 원핫코딩인경우 loss = 'categorical_crossentropy'

Loss 는 원핫코딩이 아닌 경우 loss = 'sparse_categorical_crossentropy'