본문 바로가기

AI13

Clustering 평가 방법 보호되어 있는 글 입니다. 2024. 7. 9.
[Pytorch] Seq2Seq Transformer 실습 ※ 해당 실습 이론은 https://nusnxxy.tistory.com/71 에 포스팅 되어있습니다. 위키북스 파이토치 트랜스포머를 활용한 자연어 처리와 컴퓨터비전 심층학습 서포터즈가 되어 교재 7장 실습 포스팅을 진행하게 되었습니다. 이번 포스팅에선 교재에 나와있는 실습 중, 파이토치에서 제공하는 트랜스포머 모델을 활용해 영어-독일어 번역 모델 실습을 진행하도록 하겠습니다...! 코드가 길기 때문에 위키북스 Git으로 먼저 들어가서 코드를 참조하셔도 좋습니다. git link : https://github.com/wikibook/pytorchtrf 학습에 사용되는 데이터세트는 Multi30k 입니다. https://github.com/multi30k/dataset GitHub - multi30k/dat.. 2024. 2. 4.
[Pytorch] Transformer Transformer Model은 2017년 https://arxiv.org/abs/1706.03762 논문을 통해 소개된 모델입니다. Transformer Model의 주요 기능은 Sequential Processing, Recurrent Connections에 의존하지 않고 입력들 사이의 패턴을 찾아내 병렬로 sequence를 처리합니다. 때문에 Big Data를 처리하기에 매우 효율적인 모델이라 할 수 있습니다. Transformer 모델은 크게 인코더(Encoder)와 디코더(Decoder)로 이루어져 있습니다. 먼저 인코더(Encoder)는, input sequence를 Embedding하여 고차원의 벡터로 변환하는 과정을 거칩니다. 디코더(Decoder)는, 인코더의 출력을 입력으로 받아 출력.. 2024. 1. 28.
[Pytorch] 가중치 초기화(Weight Initialization) 💡 가중치 초기화 : 모델 초기 가중치 값을 설정 : 초기 가중치에 따라 모델을 최적화 하는 데 많은 어려움을 겪을 수 있음 💡 가중치 초기화 방법 1. 상수 초기화 - 가중치를 모두 같은 값으로 초기화 - 구현이 간단하고 계산 비용이 거의 들지 않음 - 대칭 파괴(Breaking Symmetry) 현상 발생 * 대칭 파괴 ** 예를들어 가중치 값을 모두 0으로 할당하면 역전파 과정에서 모든 가중치가 동일한 값으로 갱신 - 스칼라값을 입력으로 받는 매우 작은 모델이나 퍼셉트론에 적용 - 주로 0 or 0.01등의 형태로 초기화 2. 무작위 초기화 - random 값이나 특정 분포 형태로 초기화 * Random, Unifom Distribution, Normal Distribution, Truncated .. 2024. 1. 16.
[Pytorch] train(), eval(), torch.no_grad()의 차이점 model.train() * Dropout Layer 활성화 * Batch Normalization Layer 활성화 model.eval() * model.train(False)와 동일한 기능 * evaluation mode로 바꿔주어 Dropout Layer 비활성화, Batch Normalization Layer는 훈려중에 계산된 통계값(평균, 분산의 이동평균)을 사용하게 함 ** Batch Normalization : 각 batch 별로 평균, 분산을 이용하여 정규화 torch.no_grad() * Gradient 계산을 비활성화 -> 메모리 사용량을 줄이고 계산 속도를 빠르게 만들 수 있음 -> 최근엔 torch.inference_mode()를 주로 사용 즉, train()과 eval()은 Lay.. 2023. 8. 26.
[SQL / PostgresSQL] CASE, COALESCE , CAST, NULLIF , views CASE -특정 조건이 충족되었을 때 실행하기 위해 case를 사용한다. -IF/ELSE와 유사하다. CASE WHEN condition1 THEN result1 WHEN condition2 THEN result2 ELSE some_other_result END #1 SELECT a, CASE WHEN a = 1 THEN 'one' WHEN a = 2 THEN 'two' ELSE 'other' AS label END FROM test; #2 SELECT a, CASE a WHEN 1 THEN 'one' WHEN 2 THEN 'two' ELSE 'other' AS label END FROM test; a label 1 one 2 two 실습 COALESCE -NULL이 아닌 첫번째 인자 값을 반환한다. e.. 2022. 7. 11.
[SQL / postgreSQL] 데이터 유형 , 제약조건 (Constraints), CREATE , ALTER, DELETE, UPDATE, INSERT, DROP, CHECK 제약조건 SQL 데이터 유형 Boolean - True or False Character - char, varchar, and text Numeric -integer and floating-point number Temporal -date, time, timestamp ... UUID -Universally Unique Identifiers (특정 열의 고유 식별자를 만들기 위한 본질적인 알고리즘 고유 코드) JSON, Array ....etc.. --> 상황에 따라 어떤 데이터 유형을 저장할지 고민해야 한다..! 참고 : postgresql.org/docs/current/datatype.html 제약조건 (Constraints) - 표에 있는 데이터 열에 적용되는 규칙을 제약 조건이라고 한다. - 제약조건으로 .. 2022. 7. 11.
데이터베이스(2) KEY 학번 전공 이름 전화번호 학년 주소 1 전자 신짱구 010 3 부산 2 전기 김철수 011 2 경기 3 컴퓨터 이훈이 016 4 서울 기본키 (Primary Key) : 후보키 중에서 기본적으로 사용하기 위해 선택하는 키 ex) 학번(or 전화번호) - Null 값은 허용하지 않는다 - 구분할 수 있는 고유값을 가져야 한다. - 최대한 적은 수의 속성을 가진 것 이어야 한다. - 릴레이션 스키마를 표현할 때 밑줄을 그어 표현한다 ex)학생(학번,전공,이름,전화번호,학년,주소) 후보키 (Candidate Key) : 유일성과 최소성을 만족하는 속성의 최소 집합 ex) 학번, 전화번호 슈퍼키 (Super Key) : 유일성을 만족하는 속성(속성들의 집합) ex) 학번, 전화번호, 학번+이름, 학번+전.. 2022. 3. 21.
데이터베이스(1) DBMS? - 조직에서 필요한 데이터를 데이터베이스에 통합하여 저장하고 관리함 - 사용자가 DB에 접근하여 검색 저장 하기 위한 중간역할 담당 DBMS는 파일시스템의 데이터 일관성과 데이터 무결성 문제로 등장하였다. DBMS의 장단점은 다음과 같다. DBMS 장점 - 중복 최소화 - 독립성 확보 - 데이터 동시 공유 - 데이터 보안 향상 - 무결성 유지 - 표준화 가능 - 장애 발생 시 회복 가능 - 응용 프로그램 개발 비용 down DBMS단점 - 중앙 집중 관리로 인한 취약점이 존재 - 백업 및 회복 방법 복잡 DB사용자 - DB 관리자 : DDL, DCL * db 구성요소 선정 및 스키마 정의, 물리적 저장 구조와 접근 방법 결정, 무결성 유지 위한 제약조건 정의, 백업 및 회복 기법 정의, 보안 .. 2022. 3. 21.

티스토리툴바