인공지능/생성모델

Seq2Seq+Attention(TNT 생성 스터디 4주차 리뷰)

이번 스터디는 다음과 같은 순서로 이어졌습니다. 1. NLP 복습 2. Seq2Seq 3. Attention 1. NLP복습 여기서 각각의 값들이 어떻게 계산되는 지 간단히 수식으로 생각해 보자면 다음과 같이 계산이 된다. 즉, 은닉층으로 부터 넘어온 값과 현재 인풋이 각각의 가중치와 곱해진 값을 편향과 더해서 다음 은닉층이 계산되고 이를 이용하여 결과 값을 만들게 된다. -임베딩 단어들은 기본적으로 수치형 데이터가 아니기 때문에 우리가 이를 이용하여 모델을 만들기 위해서는 이를 수치형으로 바꿔주는 과정이 필요하다. 원래는 이러한 경우 주로 O-H 인코딩을 많이 사용하였었지만 이를 이용하여 문제점이 두가지 정도 존재하는데 첫번째는 인풋이 너무 커진다는 것이다. 사전의 모든 단어들을 기반으로 O-H를 진해..