논문

Deep contextualized word representations

https://arxiv.org/abs/1802.05365?ref=hackernoon.com

진행방식

처음부터 구현(reference code 없음)

그때그때 정하자

(예시) . 2주차에는 biLSTM → language modeling . 3주차에는 pretrained weight를 가지고 NER fine-tuning

진행일정

0504 paper review 0511 실전! ELMo 구현(1) 0518 실전! ELMo 구현(2) - LM 0525 실전! ELMo 구현(3) - LM detail + sentiment anlaysis 0601 실전! ELMo 구현(4) - sentiment analysis

1주차 paper review

‣

Paper Review

2주차 실전! ELMo 구현 (1)

CNN+bi-LSTM 구현?

1. 한국어
2. preprocess : 수인님이 특수문자 뺀거 목요일까지 공유해주세요 슬랙에
3. tokenizer : mecab
4. 데이터셋 : https://github.com/lovit/namuwikitext

파라미터는? CNN : filter [ 2, 3, 4] * 100 = 300개 LSTM : l=2, unit=4096

실전! ELMo 구현(1)

3주차 실전! ELMo 구현 (2)

공통의 목표 : ELMo LM가 학습이 된다! 로스가 줄어든다!
(5 이하면 A+, 10이하면 B+, 10이상이면 C+, 20이상이면 퇴소!)

데이터셋 : https://raw.githubusercontent.com/lovit/petitions_archive/master/petitions_2019-08

파라미터 : 알아서 ^^ 스스로의 코드를 반성해보자.... 반성점 저번에 틀렸던 것 3개 찾아오기!