딥러닝 단어 정리

• 편향(bias, b)
  • 뉴런이 얼마나 쉽게 활성화 되느냐를 제어함
• 가중치(weigh, w)
  • 각 신호의 영향력을 제어
• 활성화 함수(activation fuction)
  • 입력신호의 총합을 출력신호로 변환하는 함수
  • 입력신호의 총합이 활성화를 일으키는지 정하는 역활
  • 종류
    • 계단함수
      • 임계값을 경계로 출력이 바뀌는 함수
    • 시그모이드 함수(sigmoid function)
      • h = \frac{1}{1+exp(-x)}h=1+exp(−x)1​
      • exp(-x) = e^{-x}exp(−x)=e−x
      • e는 자연상수
        • e = 2.7182....의 값을 가지는 실수
      • 비선형 함수에 속함
  • ReLU 함수
    • Rectified Linear Unit
• 뉴런 = 노드
• 경사법 (gradient method)
  • 기울기 함수의 최솟값, 최대값을 찾는 방법
    • 최솟값 찾기 : 경사 하강법(gradient descent method)
      • 딥러닝인 경우 경사 하강법을 많이 사용
      • 확률적 경사 하강법(Stochastic gradient descent, SGD)
        • 데이터를 무작위로 골라내어 경사 하강법으로 매개변수를 갱신하는 방법
    • 최대값 찾기 : 경사 상승법(gradient ascent method
    • numerical gradient : 수치 미분 방식으로 매개변수의 기울기를 계산
      • 오차역전파법 : 수치미분 방식을 이용하여 매개변수 기울기를 계산할때 고속으로 수행하는 방법.
• 에폭 (epoch)
  • 하나의 단위
  • 1에폭은 학습에서 훈련데이터를 모두 소진했을때의 횟수에 해당함.
  • ex ) 10,000개를 100개의 미니배치로 학습할 경우, 확률적 경사 하강법을 100회 반복하면 모든 훈련 데이터를 ‘소진’하게 됨. 이경우 100회가 1에폭이 됨.