전체 글332 [2025-2] 정유림 - BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding BERT : "대규모 unlabeled 데이터로 양방향 문맥을 깊이 있게 사전 학습한 후, 다양한 NLP task에 fine-tuning하면 강력한 성능을 발휘할 수 있다"는 것을 처음으로 입증한 모델BERT vs GPTBERTBidirectional LMLoves Fine TuningGPTLeft to Right LMHates Fine Tuningorange : pretrained modelsize : model size.배경 및 한계기존의 언어 모델들은 대부분 unidirectional (좌→우 또는 우→좌)이라 문맥을 한 방향에서만 볼 수 있었습니다.예: OpenAI GPT는 좌→우 방식이고, ELMo는 좌→우, 우→좌 독립적으로 훈련한 후 결합하는 구조였습니다.이 접근법은 문맥의 Bidirecti.. 2025. 7. 13. [2025-2] 이루가 - LEGAL-BERT: The Muppets straight out of Law School 논문링크: https://arxiv.org/abs/2010.02559 LEGAL-BERT: The Muppets straight out of Law SchoolBERT has achieved impressive performance in several NLP tasks. However, there has been limited investigation on its adaptation guidelines in specialised domains. Here we focus on the legal domain, where we explore several approaches for applying BERT modelarxiv.org 0. ABSTRACT 법률 도메인에 BERT를 적용하는 다양한 방법을 실험하고.. 2025. 7. 13. [2025-2] 김지원 - From Transcripts to Insights:Uncovering Corporate Risks UsingGenerative AI 논문 정보: Kim, A., Muhn, M., & Nikolaev, V. (2023). From transcripts to insights: Uncovering corporate risks using generative ai. arXiv preprint arXiv:2310.17721.논문 링크 : https://arxiv.org/pdf/2310.17721 전세계적 정치적 불안정, 기후 불확실, 그리고 갑작스러운 기술 변화의 시대에 기업들은 전통적 금융 평가들이 의미가 없어진 다양한 리스크들을 직면하고 있다.이 연구는 생성형 AI 기술과 리스크 평가 방법론 사이의 갭을 메우기 위해 진행되었다.즉 LLM의 이러한 기업 리스크들의 치명적인 측면들을 감지하고 분석하는 잠재성을 평가하고자 한다. 최근 LLM 기.. 2025. 7. 13. [2025-1] 박서형 - UNIFORMER https://arxiv.org/pdf/2201.04676 0. Abstract 고차원 비디오로부터 풍부하고 다중 스케일의 시공간 의미를 학습하는 것은 어려운 과제이다. 비디오 프레임 간에 지역적 중복이 크고, 전역적인 의존성이 복잡하기 때문이다. 이 연구 분야의 최근 발전은 주로 3D CNN과 vision transformer에 의해 이루어졌는데 3D CNN은 멀리 있는 프레임 간 global 정보는 잘 보지 못하고 vision transformer는 가까운 프레임 사이의 지역적인 중복은 잘 제거하지 못한다. 본 논문은 위 두 방식을 적절히 섞은 UNIFORMER라는 모델을 제안하는데 이 모델은 얕은 layer에서는 3D 합성곱처럼 지역 정보를 잘 처리하고 깊은 layer에서는 트랜스포머처럼 glo.. 2025. 7. 12. 이전 1 ··· 3 4 5 6 7 8 9 ··· 83 다음
