이 문서는 토막글입니다.토막글 규정을 유의하시기 바랍니다.
BERT는 구글에서 개발한
자연 언어 처리 모델이다. Transformer 구조에 Encoder를 여러 층 더한 모델이다.
학습은 다음 문장 예측(NSP)과 문장의 가려진 단어 예측(MLP)으로 학습된다.
GPT-3와 함께 대표적인
트랜스포머 활용 구조로 알려져 있다.
논문, 저자 Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
이 문서의 내용 중 전체 또는 일부는 2023-10-20 22:51:11에 나무위키
BERT 문서에서 가져왔습니다.
이 문서의 내용 중 전체 또는 일부는 2023-10-20 22:51:11에 나무위키