nlp3 [Pytorch] Seq2Seq Transformer 실습 ※ 해당 실습 이론은 https://nusnxxy.tistory.com/71 에 포스팅 되어있습니다. 위키북스 파이토치 트랜스포머를 활용한 자연어 처리와 컴퓨터비전 심층학습 서포터즈가 되어 교재 7장 실습 포스팅을 진행하게 되었습니다. 이번 포스팅에선 교재에 나와있는 실습 중, 파이토치에서 제공하는 트랜스포머 모델을 활용해 영어-독일어 번역 모델 실습을 진행하도록 하겠습니다...! 코드가 길기 때문에 위키북스 Git으로 먼저 들어가서 코드를 참조하셔도 좋습니다. git link : https://github.com/wikibook/pytorchtrf 학습에 사용되는 데이터세트는 Multi30k 입니다. https://github.com/multi30k/dataset GitHub - multi30k/dat.. 2024. 2. 4. [Pytorch] Transformer Transformer Model은 2017년 https://arxiv.org/abs/1706.03762 논문을 통해 소개된 모델입니다. Transformer Model의 주요 기능은 Sequential Processing, Recurrent Connections에 의존하지 않고 입력들 사이의 패턴을 찾아내 병렬로 sequence를 처리합니다. 때문에 Big Data를 처리하기에 매우 효율적인 모델이라 할 수 있습니다. Transformer 모델은 크게 인코더(Encoder)와 디코더(Decoder)로 이루어져 있습니다. 먼저 인코더(Encoder)는, input sequence를 Embedding하여 고차원의 벡터로 변환하는 과정을 거칩니다. 디코더(Decoder)는, 인코더의 출력을 입력으로 받아 출력.. 2024. 1. 28. [책리뷰] 파이토치 트랜스포머를 활용한 자연어 처리와 컴퓨터비전 심층학습 위키북스 서포터즈 활동을 하며 파이토치 트랜스포머를 활용한 자연어 처리와 컴퓨터 비전 심층학습 책을 리뷰하게 되었습니다. 이제 막 2년차 Data Scientist인 저는 현재 Pytorch를 주 딥러닝 프레임워크로 사용하며 업무를 수행하고 있습니다. 업무에서는 만드는 모델은 NLP, 컴퓨터 비전과는 거리가 멀지만, 가장 Hot 한 모델인 Transformer모델은 주 업무에서도 종종 사용하고 있고 업무 확장을 위해 NLP, 컴퓨터 비전을 공부하고 싶어 위키북스 '파이토치 트랜스포머를 활용한 자연어 처리와 컴퓨터 비전 심층학습' 서포터즈를 지원하게 되었습니다. 서포터즈가 되자마자 바로 'Yes24'에서 책을 주문하였고 다음날 아침7시 전에 배송이 왔습니다. 책을 처음 보자마자 들었던 생각은 '책이 매우 .. 2024. 1. 21. 이전 1 다음
