ETRI KorBERT 분석

*본 포스팅은 2019.09.05 ETRI 임준호님이 발표하신 자료를 토대로 작성되었음

 

목차

-버트에 대한 간략한 기술적 내용

-코버트 구축에 대한 설명

-코버트 이후에 어떠한 문제들을 가지고 추가 연구가 필요한지

 

Paper Reading Tip

1) 논문에서 해결하고자 하는 문제가 무엇인지

기존 연구/ 제안 방법/ 실험 결과

 

2) 딥러닝 모델 경우

곱하기/더하기 대상이 무엇인가, 차원이 어떻게 바뀌는가?

예 : CNN(max pooling), RNN, Self-Attention

 

3) 모델을 구성 요소 별로 나눠서 생각해보기

필수적인 요소와 부가적인 요소로 구분하여 생각해보기

 

BERT에서 해결하고자 하는 문제는 contextual representation

자연어 처리에서 사람이 사용하는 언어는 모두 심볼인 반면, 딥러닝 모델은 뉴럴넷이기 때문에 모두 실수를 곱하고 더하고 하는 모델.

심볼인 단어를 실수인 벡터로 바꾸어 표현해주어야 하고, 그것을 임베딩이라고 함.

기존의 워드임베딩 방법들은 문맥을 구분하지 못하였음.

NLU Talk (ETRI 임준호)

반면 BERT에서는 Self-attention의 레이어를 거치면서, 'Bank'가 주변 단어들의 벡터를 받고.

마지막에 나오는 Bank 벡터를 ..