- 텐서(Tensor): 매트릭스로 표현될 수 있는 2차원 배열에 더 높은 차원을 추가하는 다차원 배열.
- TensorFlow의 계산은 데이터 흐름 다이어그램으로 이루어집니다.
- 즉, TensorFlow는 Tensor와 같은 데이터가 딥 러닝 모델을 구성하는 작업 그래프를 따라 처리되기 때문에 이름이 붙여졌습니다.
* TensorFlow의 특징
– 사전 학습 모델 제공
– 고급 API 제공 : TensorBoard, Keras 등의 추상화 라이브러리 제공
* 하이퍼파라미터 소개
– 은닉층의 수와 단위의 수
: 일반적으로 각 은닉층의 뉴런은 정규화 기법을 적용하여 모델의 정확도를 높이는 데 기여합니다.
: 뉴런의 수와 레이어의 깊이가 과적합 또는 과소적합에 영향을 미치므로 합리적인 수의 레이어가 필요합니다.
– 가중치 초기화
: 가장 이상적인 방법은 각 레이어에서 사용하는 활성화 함수에 따라 적절한 가중치 초기화 기법을 사용하는 것입니다.
: ReLU, Leaky ReLU 등을 사용하는 경우 그는 초기화사용
: 초기화 시 사용되는 난수는 주로 균등분포를 사용합니다.
– 학습률
: 딥러닝 학습에서 모델로부터 얻은 예측값(output 또는 y_hat)과 기대값(원하는 output 또는 label)의 차이를 계산하여 찾은 비용. – 웨이트(웨이트, W) 사이의 그래디언트를 사용하여 기존 웨이트를 업데이트합니다.
: 이 시점에서 하이퍼파라미터 학습률(Eps)에 따라 그래디언트를 얼마나 이동해야 하는지 결정됩니다.
-> 고정 값을 사용하거나 학습 중에 값을 변경할 수 있습니다(‘Learning Rate Decay’).
: 학습률은 학습속도와 학습성과에 영향을 미치므로 정확한 설정이 필요합니다.
-> 너무 크면 전역 최소값(또는 원하는 극한값)에 도달하지 못할 수 있고, 너무 작으면 학습 시간이 오래 걸릴 수 있습니다.
– 기세
: 경사하강법 최적화 기법의 하나로 전역최소값에 도달하기 위해 학습하는 과정에서 가속도를 주어 가중치(W)를 업데이트하여 가중치를 줄이거나 늘리는 방향으로 더 큰 변화를 줍니다.
: Momentum을 적용하는 이유는 학습 과정의 수를 줄이고 효율성을 높이기 위함입니다.
– 신기원
: 학습 반복 횟수
: 이는 모델이 전체 데이터 세트에 대해 피드 포워드 및 역전파를 통과했음을 의미합니다.
: 즉, 에포크가 있다면 학습을 한 번 완료했다는 뜻입니다.
– 배치 크기
: 각 Lot에 주어진 데이터 샘플 크기