논문

Neural Machine Translation by Jointly Learning to Align and Translate

우리의 스터디의 방향

각자에 따라 관심 분야는 다르겠지만 저희 스터디 방향은 이렇게 합시다

  1. PyTorch를 잘 익히고 2) 구현을 통해 논문에 대한 깊은 이해를 목표로 합니다

성능을 개선시키거나, 다른 데이터셋에 적용해보거나, 수려한 패키징 및 프로그래밍은 개인의 역량으로 두겠습니다 우선 저희의 논의의 방향은 저 두개로 집중했으면 합니다 1달 1논문 구현이 다소 버겁기도 하지만 분명히 배우는 점이 있다고 생각해서 6월까지 이런식으로 진행을 할 예정입니다 화이팅입니다

진행방식

화요일 1조 체제

진행일정

0309 paper review

0316 reference code reading

0323 paper implementation1

0330 paper implementation2

1주차 paper review

https://arxiv.org/pdf/1409.0473.pdf 개인적인 반성은 모르는 개념을 제대로 알지 않고 넘어갔다는 점이 아쉽네요. 그래서 논문 자체의 디테일도 좋지만 기본 개념을 정리했으면 합니다. ‣ 에 5번이 추가되었어요.

2주차 reference code reading

https://github.com/bentrevett/pytorch-seq2seq/blob/master/3 - Neural Machine Translation by Jointly Learning to Align and Translate.ipynb 또 개인적인 반성은 저희가 주요 논의를 할 때, 일부 논문 구현 디테일에 집중했었던 것 같아서 3~4주차에 들어서 오히려 모델 자체 아키텍쳐가 헷갈리는 사태가 벌어졌던 것 같아요. 그래서 이번 달 2주차에는 1) 논문 디테일은 구현하지 말고 안에 있는 torch의 모듈들을 이해하고 논의하는 시간을 가집시다.

  1. 논문이랑도 같이보면서 논문의 어떤 부분이이 코드에서 어떤 라인에서 어떻게 구현이 되었고,

  2. 어떤 점이 다르게 구현되어있는지도 확인하고,

  3. 꼭 예시 데이터 말고 데이터를 바꿔서 코드와 구조를 익히는게 진행하는게 좋을 것 같아요