Natural Language Processing21 [2024-1] 현시은 - Optimizing LLM Queries in Relational Workloads 원본 논문 링크 : https://arxiv.org/abs/2403.05821 Optimizing LLM Queries in Relational WorkloadsAnalytical database providers (e.g., Redshift, Databricks, BigQuery) have rapidly added support for invoking Large Language Models (LLMs) through native user-defined functions (UDFs) to help users perform natural language tasks, such as classification, entarxiv.org Abstract LLM은 굉장히 범용적으로 사용되고 있지만, LLM infe.. 2024. 5. 14. [2024-1] 박태호 - Chain-of-Thought Reasoning Without Prompting https://arxiv.org/abs/2402.10200 Chain-of-Thought Reasoning Without PromptingIn enhancing the reasoning capabilities of large language models (LLMs), prior research primarily focuses on specific prompting techniques such as few-shot or zero-shot chain-of-thought (CoT) prompting. These methods, while effective, often involve manuallarxiv.orgAbstractLLM의 decoding 과정에서 CoT path를 찾음으로써 프롬프트 없이 효과적을 .. 2024. 5. 11. [2024-1] 박태호 - Large Language Models are Human-Level Prompt Engineers https://arxiv.org/abs/2211.01910 Large Language Models Are Human-Level Prompt Engineers By conditioning on natural language instructions, large language models (LLMs) have displayed impressive capabilities as general-purpose computers. However, task performance depends significantly on the quality of the prompt used to steer the model, and mo arxiv.org Abstract. LLM은 여러 방면으로 높은 성능을 보이지만, 모델을 조종하.. 2024. 4. 12. [2024-1] 김동한 - ResLoRA: Identity Residual Mapping in Low-Rank Adaption Abstract LLM에서의 fine-tuning할때 효율성때문에 LoRA를 적용함. 그러나, 기존 모델의 계산 경로가 길기때문에, LoRA 가중치를 효과적으로 업데이트하기에는 어려움이 있음. > 이에 대한 해결책으로 ResLoRA 제안 : 훈련중에 residual path를 추가하고, 이후에 병합하는 과정으로 접근함으로써, 추론에서의 추가적인 경로를 제거하고, LoRA보다 효율적으로 파라미터와 추론 cost를 줄일 수 있음. Introduction LLM에서 수많은 파라미터에 의해 cost가 큰 경우가 많았음. PEFT 방법이 제안되었음 : 몇개의 파라미터만 조정하는 방식임. LoRA의 경우에는 두 개의 행렬을 병렬로 사용, 고정된 선형 layer를 사용하며, 훈련중에 훈련가능한 파라미터가 적었음. >.. 2024. 3. 19. 이전 1 2 3 4 5 6 다음
