전체 글420 [2026-1] 김효민 - GQA: Training Generalized Multi-Query Transformer Models fromMulti-Head Checkpoints [Paper]GQA : https://arxiv.org/abs/2305.13245 GQA: Training Generalized Multi-Query Transformer Models from Multi-Head CheckpointsMulti-query attention (MQA), which only uses a single key-value head, drastically speeds up decoder inference. However, MQA can lead to quality degradation, and moreover it may not be desirable to train a separate model just for faster inference. We (1) prarxiv.org MQ.. 2026. 2. 28. [2026-1] 박승원 - RoFormer: Enhanced Transformer with Rotary Position Embedding 논문 정보게재 학술지: Neurocomputing, Volume 568, 1 February 2024, 127063저자: (Zhuiyi Technology)Jainlin Su, Murtadha Ahmed, Yu Lu, Shengfeng Pan, Wen Bo, Yunfeng Liuhttps://arxiv.org/abs/2104.09864 RoFormer: Enhanced Transformer with Rotary Position EmbeddingPosition encoding recently has shown effective in the transformer architecture. It enables valuable supervision for dependency modeling between elem.. 2026. 2. 27. [2026-1] 김지원 - LoBERT: Generative AI Foundation Model for Limit Order Book Messages 논문 소개제목: LoBERT: Generative AI Foundation Model for Limit Order Book Messages(2025)논문 링크: https://arxiv.org/pdf/2511.12563논문 정보: LOB Level 3 시퀀스 데이터를 양자화 및 트랜스포머 모듈을 통해 모델링에 성공함 초록금융 지정가 주문장(LOB)의 역학을 메시지 수준에서 모델링하는 것은 불규칙적인 이벤트 발생 시점, 급격한 시장 상황(regime) 변화, 그리고 고빈도 거래자들이 가시적인 주문 흐름에 보이는 반응 때문에 어렵다.기존의 LOB 모델들은 복잡한 데이터 표현 방식을 요구하고 원래의 작업 외에는 적응성이 부족했다. 이러한 문제점을 해결하기 위해, 본 논문에서는 다운스트림 미세 조정에 적합한 범.. 2026. 2. 21. [2026-1] 정유림 - FiLM: Visual Reasoning with a General Conditioning Layer paper link : https://arxiv.org/pdf/1709.07871 CLEVR datset : 다단계 추론의 학습이 필요. 기존 방법의 성능이 좋지않았음.reasoninng 능력 평가 : CLEVR datset : 다단계 추론의 학습이 필요. 기존 방법의 성능이 좋지않았음.FiLM (Feature-wise Linear Modulation): 조건 입력(질문)에 따라, 신경망 중간 feature에 대해, feature별 변환 수행. 시각적 추론에서, FiLM layer를 추가해서, 질문을 처리하는 RNN이 이미지 처리를 담당하는 CNN의 계산에 영향을 미치게됨.즉, 질문의 내용에 따라 이미지를 처리하는 방식 자체가 달라짐.→ Conditional Normalization의 일반화로 볼수있.. 2026. 2. 21. 이전 1 ··· 5 6 7 8 9 10 11 ··· 105 다음
