전체 글391 [2026-1] 김지원 - LoBERT: Generative AI Foundation Model for Limit Order Book Messages 논문 소개제목: LoBERT: Generative AI Foundation Model for Limit Order Book Messages(2025)논문 링크: https://arxiv.org/pdf/2511.12563논문 정보: LOB Level 3 시퀀스 데이터를 양자화 및 트랜스포머 모듈을 통해 모델링에 성공함 초록금융 지정가 주문장(LOB)의 역학을 메시지 수준에서 모델링하는 것은 불규칙적인 이벤트 발생 시점, 급격한 시장 상황(regime) 변화, 그리고 고빈도 거래자들이 가시적인 주문 흐름에 보이는 반응 때문에 어렵다.기존의 LOB 모델들은 복잡한 데이터 표현 방식을 요구하고 원래의 작업 외에는 적응성이 부족했다. 이러한 문제점을 해결하기 위해, 본 논문에서는 다운스트림 미세 조정에 적합한 범.. 2026. 2. 21. [2026-1] 정유림 - FiLM: Visual Reasoning with a General Conditioning Layer paper link : https://arxiv.org/pdf/1709.07871 CLEVR datset : 다단계 추론의 학습이 필요. 기존 방법의 성능이 좋지않았음.reasoninng 능력 평가 : CLEVR datset : 다단계 추론의 학습이 필요. 기존 방법의 성능이 좋지않았음.FiLM (Feature-wise Linear Modulation): 조건 입력(질문)에 따라, 신경망 중간 feature에 대해, feature별 변환 수행. 시각적 추론에서, FiLM layer를 추가해서, 질문을 처리하는 RNN이 이미지 처리를 담당하는 CNN의 계산에 영향을 미치게됨.즉, 질문의 내용에 따라 이미지를 처리하는 방식 자체가 달라짐.→ Conditional Normalization의 일반화로 볼수있.. 2026. 2. 21. [2026-1] 정재훈 - CoCa: Contrastive Captioners are Image-Text Foundation Models https://arxiv.org/abs/2205.01917v2 1. Introduction최근 BERT, T5, GPT-3와 같이 web-scale data로 pretrained된 기반 언어 모델들이 zero-shot, few-shot, 전이학습 등을 통해 대규모 멀티태스킹 능력을 증명하며 부상하고 있습니다. 각각 task에 전문화된 개별 모델에 비해 대규모 downstream을 위해 pretrained된 모델은 학습비용을 상각할 수 있어 인간 수준 지능의 모델을 위한 한계를 뛰어넘을 수 있는 가능성을 제시합니다. vision-language problem에 대하여 여러 기반 모델들이 후보로 탐색되었다.1. Single-encoder : 이전 연구들은 cross-entropy loss로 pretraine.. 2026. 2. 21. [2026-1] 장인영 - BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Model 논문 링크 : https://arxiv.org/abs/2301.12597 BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language ModelsThe cost of vision-and-language pre-training has become increasingly prohibitive due to end-to-end training of large-scale models. This paper proposes BLIP-2, a generic and efficient pre-training strategy that bootstraps vision-language pre-training from .. 2026. 2. 21. 이전 1 2 3 4 ··· 98 다음
