Natural Language Processing30 [2025-1] 정규원 AD-NLP: A Benchmark for Anomaly Detection in Natural Language Processing https://aclanthology.org/2023.emnlp-main.664/ AD-NLP: A Benchmark for Anomaly Detection in Natural Language ProcessingMatei Bejan, Andrei Manolache, Marius Popescu. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. 2023.aclanthology.org 이전까지는 데이터셋의 일부 클래스를 다운샘플링 하였는데 이는 재현성 문제와 특정 유형의 이상을 감지하는 데 편향된 모델이라는 점에서 정교한 시나리오 인식이 어렵다는 문제를 야기했다. 본 논문에서는 통합된 벤치 마크를 제공.. 2025. 2. 11. [2025-1] 정유림 - SimCSE: Simple Contrastive Learning of Sentence Embeddings 1. 논문 개요논문 제목: SimCSE: Simple Contrastive Learning of Sentence Embeddings게재 연도: 2021 (EMNLP 2021 Accepted)인용 횟수: 3449회 (2025.02.08 기준)주요 성과:SimCSE는 간단한 대조 학습(Contrastive Learning) 프레임워크로 기존 문장 임베딩(Sentence Embedding) 성능을 획기적으로 개선.비지도 학습(Unsupervised): 입력 문장을 두 번 인코딩하여 드롭아웃(Dropout) 노이즈로 양성 쌍 생성.지도 학습(Supervised): NLI 데이터셋의 Entailment 쌍(Positive Pair)과 Contradiction 쌍(Hard Negative Pair) 활용.평가 결과.. 2025. 2. 8. [2025-1] 염제원 - RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs이 글에서는 “RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs” 논문을 간단히 정리한다. 해당 논문은 기존 RAG(Retrieval-Augmented Generation)에 별도 랭킹 모델을 사용하지 않고, 하나의 LLM만으로 질문과 문서 간의 적합도를 판단해 상위 문서를 선별(reranking)하고 답변까지 생성하는 새로운 방법을 제안한다.1. 배경과 문제 설정대형 언어 모델(LLM)은 거대한 파라미터로 다양한 질의에 답변할 수 있지만, 모든 지식을 파라미터에 내재화하기는 현실.. 2025. 2. 5. [2025-1] 김민정 - LargeConceptModels: Language Modeling in a Sentence Representation Space 1. IntroductionLCM의 현황LLM : NLP의 표준 기술로 자리잡았으나, 토큰 수준에서 동작하며 인간처럼 다층적인 추론 및 창의적 콘텐츠 생성에는 한계 有암묵적으로 계층적 구조를 포함하고 있지만, 명백한 계층적 구조를 가진 모델이 일관된 장문의 출력을 만드는데 적합 인간은 단어 수준이 아닌, 개념적이고 추상적인 레벨에서 정보를 처리하고 생성하기에 명백한 계층적 구조를 가진 모델 필요 LCM의 목표LCM(Large Concept Models)은 "개념"을 중심으로 작동하며, 언어와 모달리티에 독립적인 구조를 가짐SONAR라는 문장 임베딩 공간을 활용하여 200개 언어의 텍스트와 76개 언어의 음성을 지원 기존 LLM과의 차별점현재 LLM들은 단순히 다음 토큰을 예측하지만, LCM은 계층적 정보.. 2025. 1. 25. 이전 1 2 3 4 ··· 8 다음
