반응형
This post is a summary of Coursera Andrew Ng's lecture:
End-to-end Deep Learning
#1 What is End-to-end Deep Learning?
- 딥러닝/머신러닝 알고리즘은 다수의 processing stage를 거치기 마련인데 End-to-end deep learning은 여러 개의 stage들을 하나의 뉴럴 네트워크로 replace 하는 방식임
- 위의 예시에서는 audio 데이터의 feature를 학습하고 ml 알고리즘으로 phonemes(음소) 인식을 학습하고나서 단어 단위로 학습하는 여러 단계를 거치는게 전통적인 방식이었다면 End-to-end 러닝 방식을 사용하면 오디오 데이터를 사용해서 바로 y 값(transcript)에 대한 예측을 낼 수 있음
- End-to-end deep learning이 잘 동작하기 위해서는 일단 상당한 양의 데이터가 필요함
- 다시 말해, 데이터의 양이 적다면 전통적인 방식이 나을 수 있고, 데이터의 양이 많다면 end-to-end learning의 성능이 기하급수적으로 상승함
- 정통적인 방법보다 적은 stage를 사용하는 두 방식의 중간 정도의 intermediate 방식도 있음
#2 Whether to use End-to-end Deep Learning
- "Let the data speak"의 뜻은 모델을 만드는 사람의 인사이트를 첨부하지 않은 채로 순전히 학습된 모델이 최고 성능을 어떻게 학습해야 낼 수 있는지 알려줄 수 있다는(엔지니어에게 인사이트를 오히려 줄 수 있다)는 뜻임
I believe in the law of attraction and I believe in visualizing clearly.
- Conor Mcgregor -
반응형