구글 BERT의 정석 스터디

Outline

• 원서 제목: Getting Started with Google BERT: Build and train state-of-the-art natural language processing models using BERT
• 도서 링크
• 목표
  • 구글 BERT의 정석 완독
  • 챕터 별 연습문제에 어느 정도 스스로 답할 수 있을 정도의 이해
  • BERT 기반의 다른 NLP 논문을 읽을 수 있을 정도의 이해
• 방식:
  • 주 1회 1챕터를 2명씩 돌아가면서 발제
  • 논문을 참고할 수 있는 챕터는 논문 참고
  • 발제하지 않는 스터디원들은 해당 분량을 완독
  • Chapter 별로 issue 발행하여 궁금하거나 어려운 부분 스터디일에 공유 및 토의
• 기간: 2022.01.12 ~ 2022.03.23(11주)
• 스터디 일시: 매주 수요일 21:00 ~ 22:00(25+25분 발표 + 10분 토의) (스터디원들과의 협의 하에 사전 조정 가능)
• Google Meet Link

Presentation Order

스터디 시작일(220112)을 random seed로 하여 발표 순서를 랜덤으로 배정하였습니다. Code

Chapter	발제자
1. 트랜스포머 입문	이은식(fixed)
2. BERT 이해하기	남수연, 박상일
3. BERT 활용하기	서희, 이은식
4-1. BERT의 파생모델 1 ALBERT, RoBERTa	이은식, 남수연
4-2. BERT의 파생모델 1 ELECTRA, SpanBERT	박상일, 서희
5. BERT의 파생모델 2 지식 증류 기반	박상일, 이은식
6. 텍스트 요약을 위한 BERTSUM 탐색	서희, 남수연
7. 다른 언어에 BERT 적용하기	이은식, 박상일
8. sentence-BERT 및 domain-BERT 살펴보기	남수연, 서희
9. VideoBERT, BART	박상일, 서희
10. 한국어 언어 모델 KoBERT, KoGPT2, KoBART	이은식

Repository Structure

# repo 시작 위치를 /로 표기
/summaries    # 발제 자료 업로드
/images       # 발제 자료 이미지 업로드 (발제 자료에 이미지가 있다면 해당 디렉토리에 업로드해 상대경로로써 이미지 삽입)
/codes        # 발제 내용 기반 예시 코드 등 작성 시 해당 디렉토리에 업로드

• 발제 파일 명명 방식: chapter01_발제자(e.g. eunsiklee.확장자)
• 발제 파일 형식: Markdown, ipynb, pdf 등 자유형식

Contributors

• 남수연(@mori8)
• 박상일(@shyram)
• 서희(@0hee0)
• 이은식(@emphasis10)

그 외의 것들

• 패널티는 따로 정하지 않지만 추후 스터디 운영 상태에 따라 추가될 수 있습니다.