전체 글75 [2023-2] 김민재 - CCpdf: Building a High Quality Corpus for Visually Rich Documents from Web Crawl Data https://arxiv.org/abs/2304.14953 Introduction GPT-3와 T5와 같은 모델은 대규모 텍스트 corpus를 활용한 사전 훈련을 통해 높은 성능을 보여주며, 이를 위해 Common Crawl과 같은 데이터 소스가 사용 이 논문의 목표는 language model의 pretraining을 위한 다양하고 다국어의 대규모 PDF 파일 corpus를 만드는 것 Common Crawl을 활용하여 PDF 파일의 색인 형태나 다운로드 스크립트를 공유하여 언어 모델 사전 훈련에 활용할 수 있는 CCpdf corpus를 제공 이를 통해 연구자들이 더 나은 다국어 언어 모델을 개발할 수 있는 기회를 제공 Related works 이 연구와 관련된 이전 연구들은 대부분 단일 도메인, 단일 .. 2024. 2. 13. [2023-2] 백승우 - LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS LoRA: Low-Rank Adaptation of Large Language Models An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes le arxiv.org 0. Abstrct 대규모 모델을 사전 학습할수록 모든 모델 파라미터를 재학습하는 전체 미세 조정은 실현 가능성이 낮아진다. 사전 학습된 모델 .. 2024. 2. 13. [2023-2] 김경훈 - Finding Tiny Faces 원본 논문 링크 : https://arxiv.org/abs/1612.04402 Finding Tiny Faces Though tremendous strides have been made in object recognition, one of the remaining open challenges is detecting small objects. We explore three aspects of the problem in the context of finding small faces: the role of scale invariance, image resolution, arxiv.org 0. Introduction 객체 탐지 기술은 컴퓨터 비전과 이미지 처리 분야에서 중요한 위치를 차지하며, 특히 디지털 이미.. 2024. 2. 6. [2023-2] 김동한 - Variable Selection via the Sparse Net Variable Selection via the Sparse Net https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002484008 Variable Selection via the Sparse Net Variable selection is an important problem when the model includes many noisy variables. For years, the sparse penalized approaches have been proposed for the problem. Examples are the least absolute selectio.. 2024. 2. 4. 이전 1 ··· 9 10 11 12 13 14 15 ··· 19 다음
