카테고리 없음

[2026-2] 이루가 - Gradient Boosting Trees and Large LanguageModels for Tabular Data Few-Shot Learning

wnfladl 2026. 11. 22. 14:12

논문링크: https://arxiv.org/abs/2411.04324

 

Gradient Boosting Trees and Large Language Models for Tabular Data Few-Shot Learning

Large Language Models (LLM) have brought numerous of new applications to Machine Learning (ML). In the context of tabular data (TD), recent studies show that TabLLM is a very powerful mechanism for few-shot-learning (FSL) applications, even if gradient boo

arxiv.org

 

Abstract

1. 연구 배경 (Background)

  • Tabular Data에서의 GBDT

    • 전통적으로 정형 데이터(Tabular Data) 분야에서 우수한 성능을 보여온 모델

  • LLM 기반 Few-Shot Learning(FSL)의 등장

    • 최근 연구에서 TabLLM이 적은 학습 데이터만으로도 높은 예측 성능을 달성할 수 있음을 확인

    • 기존 GBDT 대비 LLM의 경쟁력 확인

  • 기존 연구의 한계

    • LLM과 비교하는 GBDT Baseline의 성능 개선 여지가 존재

2. 연구 목적 및 방법 (Methodology)

- 기존 Benchmark 재현 및 LightGBM 개선

  • 공개 Benchmark 실험 재현

  • 소수의 샘플에서도 트리 노드 분할(Node Splitting)이 발생하도록 설정

  • Few-shot 환경에서 GBDT 학습을 위한 핵심 요소로 Node Splitting에 주목

  • 기존 Baseline 대비 LightGBM 성능 290% 개선

3. 주요 실험 결과 (Results)

  • TabLLM vs. GBDT

    • 8-shot 이하: TabLLM이 GBDT보다 우수한 성능

    • 학습 샘플 수 증가 시: GBDT가 경쟁력 있는 성능 달성

    • GBDT는 TabLLM 대비 훨씬 적은 실행 시간(Runtime) 필요

  • 실제 대규모 데이터 환경에서 FSL 활용

    • 충분한 학습 데이터가 존재하더라도 FSL을 통해 모델 다양성(Model Diversity) 향상 가능

    • ExtraTrees와 FSL을 결합하여 과적합(Overfitting)에 대한 강건성 확보

    • ML Competition에서 제안 방법론을 검증하여 1위 달성

       

I. Introduction

1. 연구 배경 (Background)

  • Deep Learning(DL)의 발전

    • NLP 분야에서 Transformer, DeBERTa 등 대규모 사전 학습 모델을 통한 SOTA 성능 달성

    • CV 분야에서도 CNN, EfficientNet, ViT 등의 발전을 통한 성능 개선

    • 그러나 Tabular Data에서는 GBDT를 일관되게 능가하는 DL 기반 모델이 부재

  • Tabular Data에서 GBDT의 강점

    • 정형 데이터는 다양한 실제 산업 및 연구 분야에서 가장 보편적으로 사용되는 데이터 형태

    • Wide&Deep, DeepFM, TabNet, TabTransformer, SAINT 등 다양한 DL 기반 모델의 등장

    • 특정 데이터셋이나 환경에서는 DL이 우수하지만, 다양한 조건에서 GBDT를 지속적으로 능가한다는 근거는 부족

2. LLM의 등장과 Few-Shot Learning

  • LLM의 발전

    • NLP, 코드 생성 등 다양한 작업에서 높은 성능 달성

    • Representation Learning, Sequential Processing, Generalization 측면에서 GBDT 대비 잠재적 이점 보유

    • 이러한 특성을 바탕으로 LLM을 Tabular Data에 적용하려는 연구 증가

  • Few-Shot Learning(FSL)에서의 LLM의 강점

    • 학습 데이터가 제한적인 환경에서는 LLM 기반 접근법이 유리할 가능성

    • Zero-Shot Learning(ZSL): 별도의 학습 예시 없이 새로운 작업 수행

    • Few-Shot Learning(FSL): 소수의 학습 예시만 활용하여 새로운 작업 수행

    • GBDT는 Zero-Shot 환경에서 무작위 예측 수준의 성능을 보일 것으로 예상

    • 기존 연구에서 Few-Shot 환경의 LLM이 XGBoost보다 우수한 성능을 보인 사례 확인

3. 기존 연구의 한계 (Research Gap)

  • DL과 GBDT의 성능 비교에 대한 문제

    • 기존 연구에서 DL이 GBDT보다 우수하다는 주장이 특정 데이터셋이나 실험 환경에 한정되는 경우 존재

    • 실험 설정에 따른 편향(Bias)으로 인해 GBDT 성능이 과소평가되었을 가능성

  • Few-Shot 환경에서의 비교 검증 필요성

    • 기존 연구는 LLM이 Few-Shot 환경에서 GBDT보다 우수하다는 결과 제시

    • 그러나 GBDT Baseline이 충분히 최적화되었는지에 대한 추가 검증 필요

4. 연구 목적 (Research Objective)

  • Few-Shot 환경에서 GBDT 성능 재평가

    • Few-Shot Learning 설정에서 GBDT의 성능을 심층적으로 분석

    • 기존 실험을 개선하여 보다 강력한 GBDT Baseline 구축

  • LLM과 GBDT의 공정한 성능 비교

    • 기존 연구에서 제시된 LLM의 우수성이 적절한 GBDT Baseline에서도 유지되는지 검증

    • Few-Shot 환경에서 LLM이 GBDT보다 우수하다는 기존 결론의 타당성 재검토

       

II. Related Work

1. Zero-Shot / Few-Shot Learning의 평가 문제

  • ZSL 및 FSL의 정의

    • Zero-Shot Learning (ZSL): 학습 과정에서 해당 데이터 샘플을 전혀 보지 않은 상태에서 예측 수행

    • Few-Shot Learning (FSL): 소수의 데이터 샘플만 활용하여 학습 및 예측 수행

  • 사전 학습된 LLM의 Data Contamination 문제

    • 사전 학습 과정에서 평가 데이터셋을 이미 접했을 가능성 존재

    • GPT-3.5, GPT-4가 Adult Income, FICO 등 공개 데이터셋을 학습 과정에서 접했다는 연구 결과 존재

    • 일부 데이터셋에서는 **LLM이 실제 데이터 샘플을 그대로 암기(Memorization)**한 사례 확인

    • GBDT는 평가 데이터에 대한 사전 노출 여부를 통제할 수 있지만, LLM은 이를 보장하기 어려움

    • 따라서 LLM과 GBDT의 공정한 Few-Shot 성능 비교에 어려움 존재

2. 기존 연구: LLM의 Memorization 문제 (Bordt et al.)

  • 20-Shot Learning 환경에서 LLM과 GBDT 비교

    • GPT-3.5 및 GPT-4의 데이터 암기 여부와 예측 성능 분석

    • LLM도 일정 수준의 예측 성능을 달성하지만, GBDT 대비 성능 격차 존재

    • GBDT는 상대적으로 단순한 구조와 빠른 실행 속도를 바탕으로 높은 효율성 확보

  • Memorization에 의한 성능 과대평가
    • Kaggle Titanic 데이터셋에서 GPT-4의 높은 성능이 실제 학습 능력보다는 데이터 암기에 기인한 것으로 확인

    • Tabular Data 외 다른 도메인에서도 유사한 현상 관찰

    • 다만 암기되지 않은 데이터셋에서도 LLM의 일정 수준의 학습 능력 확인

    • 특히 극소량의 학습 데이터가 주어지는 환경에서 LLM의 활용 가능성 존재
    •  

3. 기존 연구: TabLLM (Hegselmann et al.)

  • TabLLM의 핵심 아이디어

    • LLM을 활용한 Tabular Data의 Few-Shot Classification 방법 제안

    • Serialization을 통해 정형 데이터를 자연어 형태로 변환한 뒤 LLM에 입력

    • 다양한 Serialization 기법을 비교한 결과, 단순한 Text Template 방식도 효과적인 성능 달성

  • Text Template 방식

    • 각 Feature를 "The <column name> is <value>" 형태의 자연어 문장으로 변환

    • 변환된 데이터에 Task-specific Prompt를 추가

    • 이후 Few-Shot 환경에 맞춰 Fine-tuning 수행

  • 실험 설정

    • Binary Classification 및 Multiclass Classification 데이터셋에서 성능 평가

    • 본 논문에서는 동일한 평가 목적과 지표를 유지하기 위해 Binary Classification에 집중

    • 주요 평가 지표로 AUC 활용

4. 기존 Few-Shot Benchmark 결과

  • TabLLM 및 TabPFN의 우수한 성능

    • 기존 실험에서 NN 기반 모델인 TabLLM과 TabPFN이 LightGBM보다 높은 Few-Shot 성능 달성

    • 4~64-Shot 범위에서 TabLLM과 LightGBM 간 큰 성능 격차 관찰

  • 데이터셋별 성능 차이

    • Bank Dataset

      • TabLLM AUC: 0.642

      • LightGBM AUC: 0.554

      • 무작위 예측 수준(AUC 0.5)을 기준으로 계산 시 163%의 상대 성능

    • Credit-g Dataset

      • TabLLM AUC: 0.686

      • LightGBM AUC: 0.522

      • 동일한 계산 방식으로 745%의 상대 성능

    • 위 수치는 단순 AUC 비율이 아니라 AUC 0.5를 초과하는 성능을 기준으로 계산한 비율

  • 기존 Benchmark의 문제점

    • LightGBM의 성능이 극단적으로 낮게 측정된 사례 존재

    • Few-Shot 환경에 적합하지 않은 LightGBM 설정이 성능 격차의 원인일 가능성

    • LightGBM의 Baseline 설정을 재검토할 필요성 제기

       

5. 본 연구와의 연결

  • 기존 연구의 핵심 한계

    • LLM의 사전 학습 데이터 노출에 따른 공정성 문제

    • Few-Shot 환경에서 LightGBM의 낮은 성능과 부적절한 Baseline 설정 가능성

  • 본 연구의 접근 방향

    • 기존 TabLLM Benchmark에서 나타난 LightGBM의 성능 저하 원인 분석

    • Few-Shot 환경에 적합한 LightGBM 설정 제안

    • 강력하고 공정한 GBDT Baseline 구축을 통한 기존 연구 결과 재검증

       

III. Proposed Solution

1. Few-Shot Learning에서 LightGBM의 문제점

  • Few-Shot Learning(FSL)의 특성

    • 소수의 학습 샘플만을 활용하여 모델을 학습하는 방식

    • FSL 환경에 적합한 모델 구축을 위해 LightGBM의 학습 메커니즘에 대한 이해 필요

  • LightGBM의 학습 방식

    • Decision Tree를 기반으로 Gradient Boosting 수행

    • Loss Function의 Negative Gradient를 학습하도록 트리 구성

    • 각 노드에서 Information Gain을 최대화하는 Feature와 Split Point 선택

    • Split 과정에서 각 Leaf Node에 포함되는 최소 샘플 수에 대한 제약 존재

2. 핵심 문제: Minimum Samples per Leaf

  • min_data_in_leaf 파라미터

    • 하나의 Leaf Node에 포함되어야 하는 최소 데이터 수를 제어하는 파라미터

    • LightGBM의 기본 설정값은 20

    • 노드를 분할하려면 양쪽 자식 노드가 최소 샘플 수 조건을 충족해야 함

  • Few-Shot 환경에서의 문제

    • 학습 데이터가 극히 적은 경우 최소 샘플 수 조건을 충족하기 어려움

    • 조건을 만족하지 못하면 Node Splitting이 발생하지 않아 트리 학습이 사실상 중단

    • 결과적으로 기존 Benchmark에서 LightGBM이 무작위 예측 수준인 AUC ≈ 0.5를 기록하는 주요 원인

       

  • 기존 연구의 한계

    • 기존 연구에서도 하이퍼파라미터 튜닝을 수행했으나 최소 Leaf 샘플 수 문제를 해결하지 못함

    • Few-Shot 환경에 적합하지 않은 기본 설정으로 인해 LightGBM의 성능이 과소평가되었을 가능성

3. 제안 방법: Few-Shot에 특화된 LightGBM 설정

  • min_data_in_leaf 제약 완화

    • FSL 환경에서 가장 중요한 하이퍼파라미터

    • 소수의 샘플에서도 Node Splitting이 가능하도록 최소 Leaf 샘플 수 축소

    • 이를 통해 트리 학습이 정상적으로 진행될 수 있도록 개선

  • 샘플 수 기반 제약 조건 최소화

    • min_data_per_group 등 샘플 수에 따라 분할이나 그룹화를 제한하는 파라미터 조정

    • 극소량의 데이터에서도 학습이 가능하도록 제약 완화

  • 주의 사항

    • 이러한 설정은 FSL 환경에 특화된 접근 방식

    • 일반적인 데이터 규모에서는 제약 완화로 인해 과적합(Overfitting) 위험 증가

    • 따라서 Non-FSL 환경에서는 신중한 적용 필요

       

4. Extremely Randomized Trees 활용

  • 기존 Decision Tree 분할의 한계

    • 적은 학습 샘플로 인해 Feature Histogram 및 분할 후보가 제한됨

    • 최적의 분할 지점을 탐색하는 Greedy 방식이 Few-Shot 환경에서 불리하게 작용할 가능성

  • Extremely Randomized Trees 적용

    • 분할 지점 선택에 무작위성을 도입하여 제한적인 데이터에서도 다양한 Partition 생성 유도

    • 특정 분할 기준에 지나치게 의존하는 문제 완화

    • 트리 구조 내 분할의 다양성을 확보하여 Few-Shot 학습 성능 개선 시도

5. 핵심 요약

  • 기존 LightGBM의 Few-Shot 성능 저하는 모델 자체의 한계보다는 최소 샘플 수에 대한 제약 조건에서 비롯될 가능성

  • min_data_in_leaf 감소를 통해 소수의 학습 데이터에서도 Node Splitting 활성화

  • 샘플 수 기반 제약 완화 및 Extremely Randomized Trees 활용을 통해 Few-Shot 환경에 적합한 학습 구조 구성

  • 다만 해당 설정은 과적합 위험이 존재하므로 일반적인 학습 환경과 구분하여 적용할 필요성

     

IV. Experiments

1. 실험 개요 (Experimental Setup)

  • 실험 목적

    • Few-Shot 환경에서 제안한 LightGBM 설정의 성능 검증

    • 대규모 데이터 환경에서도 FSL을 활용한 성능 개선 가능성 확인

  • 실험 구성

    • Experiment A: TabLLM Benchmark 재현

      • 기존 연구의 실험을 재현하고 제안한 LightGBM 설정 적용

      • TabLLM, TabPFN과의 성능 비교

    • Experiment B: FedCSIS 2024 Data Science Challenge

      • 실제 주식 투자 전략 예측 문제에 FSL 적용

      • Sample Selection 및 Ensemble 기법을 통한 모델 다양성 및 일반화 성능 개선

2. Experiment A: TabLLM Experiment Replication

2.1. 기존 Benchmark의 문제점

  • 기존 연구 결과

    • TabPFN과 TabLLM은 평균적으로 유사한 성능을 보이며, TabPFN이 약 1% 우세

    • 두 모델 모두 기존 LightGBM 대비 평균 343%의 상대 성능 기록

    • Credit-g 데이터셋에서는 TabLLM이 LightGBM 대비 745%의 상대 성능 기록

  • 기존 LightGBM의 성능 저하 원인

    • 기존 Benchmark 결과 자체는 재현 가능

    • 다만 LightGBM의 극단적으로 낮은 성능은 부적절한 하이퍼파라미터 설정에 기인

    • Few-Shot 환경에서 Node Splitting을 제한하는 설정이 핵심 문제

2.2. 제안 방법 적용

  • LightGBM 실험 설정

    • 기존 연구의 Binary Classification 데이터셋 재현

    • Section III에서 제안한 FSL 전용 하이퍼파라미터 적용

    • 별도의 Hyperparameter Tuning 없이 고정된 파라미터 사용

    • 튜닝 효과를 배제하고 제안 설정 자체의 효과를 검증하기 위한 실험 설계

  • 주요 결과

    • 기존 LightGBM 대비 290% 성능 개선

    • TabLLM 및 TabPFN의 기존 성능 우위를 84.5% 감소

    • 기존 Benchmark에서 과소평가된 GBDT의 경쟁력 확인

2.3. Shot 수에 따른 성능 비교

  • 4~8 Shot

    • LightGBM의 성능이 개선되었지만 전반적으로 TabLLM보다 낮은 성능

    • 추가 하이퍼파라미터 튜닝을 통한 개선 가능성 존재

    • 다만 여전히 상당한 성능 격차 존재

  • 16 Shot 이상

    • LightGBM과 LLM 기반 모델 간 성능 격차 감소

    • Shot 수가 증가할수록 LightGBM의 경쟁력 강화

  • 64 Shot

    • 6개 데이터셋 중 5개에서 LightGBM이 TabLLM과 동등하거나 우수한 성능 달성

    • Income 데이터셋에서만 TabLLM의 우위 유지

    • Income 데이터셋의 TabLLM 성능이 Shot 수와 관계없이 일정하게 유지되는 현상 관찰

    • 해당 현상에 대해 Memorization 가능성에 대한 추가 검토 필요성 제기

  • 실행 효율성

    • 학습 데이터가 충분해질수록 TabLLM 및 TabPFN의 성능상 이점 감소

    • LightGBM이 훨씬 적은 실행 시간으로 경쟁력 있는 성능 달성

       

3. Experiment B: FedCSIS 2024 Data Science Challenge

3.1. Competition 개요

  • 대회 목적

    • 주식의 재무 지표를 기반으로 최적의 투자 전략 예측

    • 예측 대상: Buy / Hold / Sell 중 하나의 행동

  • 데이터 구성

    • 총 116개 재무 Feature 제공

    • Static Features (I1~I58)

      • 현재 Trailing Twelve Months(TTM) 기준 재무 지표

      • Dividend Payout Ratio, Gross Profit Margin 등

    • Relative Features (dI1~dI58)

      • 각 재무 지표의 전년 대비 상대적 변화량

      • 총 58개 Feature

3.2. Initial Model: Baseline 구축

  • 초기 모델 설정

    • Feature Engineering 없이 모든 Feature를 그대로 사용

    • LightGBM Regression 모델 적용

    • 이산형 Target인 Class(Buy / Hold / Sell)를 예측

  • Baseline 성능

    • MAE: 0.8439

  • Feature Importance 분석

    • 중요도 상위 5개 Feature 중 4개가 Relative Features(dI*)

    • Static Features보다 재무 지표의 변화량이 예측에 더 중요한 역할 수행

    • Feature Selection을 통한 일반화 성능 개선 가능성 확인

       

3.3. Sample and Feature Selection

- Feature Selection

  • Occam's Razor 원칙에 따라 불필요한 Feature 제거 검토

  • 전체 Feature와 Relative Features만 사용한 모델 비교

Feature 구성AUC특징
전체 Feature (I* + dI*) 0.6018 116개 Feature
Relative Features (dI*) 0.5963 58개 Feature

- 주요 결과

  • Feature 수를 50% 줄이면서도 기존 예측력의 약 95% 유지(논문 기준)

  • Feature 구성을 달리하여 서로 다른 Decision Boundary를 형성하는 모델 구축 가능

  • Ensemble 과정에서 모델 간 다양성 확보에 활용

  • Sample Selection

    • 학습 샘플 수를 점진적으로 줄이면서 예측 성능 변화 분석

    • 전체 6,864개 → 4,118개로 약 40% 감소시켜도 성능 저하가 관찰되지 않음

    • 샘플 수를 추가로 줄여도 성능 감소는 제한적

  • 핵심 Insight

    • 전체 데이터를 사용하지 않아도 유사한 예측 성능 유지 가능

    • 서로 겹치지 않는 학습 샘플로 여러 모델을 생성하여 Ensemble 다양성 확보 가능

    • Few-Shot 방식의 Sample Selection을 Stacking에 적용할 근거 확보

       

4. Stacking 기반 Ensemble

4.1. Level-0 Models: Base Model 구축

  • 핵심 아이디어

    • FSL을 활용하여 서로 다른 데이터로 학습된 다수의 Base Model 구축

    • Feature 및 Sample 구성을 다양화하여 모델 간 상관관계 감소 유도

  • Target 변경

    • 기존: Class (Buy / Hold / Sell)

    • 변경: Perform (연속형 투자 성과)

    • 동일한 Buy 예측이라도 실제 수익률은 다를 수 있으므로 연속형 Target이 더 풍부한 정보 제공

    • Target 변경에 따라 평가 지표를 MAE → MSE로 전환

  • Base Model 학습 설정

    • 각 모델에 약 3,000개 학습 샘플(3k-shot) 사용

    • 서로 다른 Sample 구성을 통한 모델 다양성 확보

    • FSL 환경에서 강점을 보인 ExtraTrees 활용

    • 별도의 새로운 Feature Engineering 없이 기존 재무 지표 활용

    • Relative Features(dI*)만 사용하고, 동일 종목의 여러 연도 데이터를 결합하여 Feature Set 구성

       

4.2. Level-1 Model: Meta Model 구축

- Stacking 구조

  • 서로 다른 설정으로 학습한 5개의 Level-0 모델 사용

  • 각 Base Model의 예측 결과를 Level-1 Meta Model의 입력으로 활용

  • Meta Model을 통해 여러 예측 결과를 통합

- Meta Model 설정

 

Model MLPRegressor
Hidden Layers 2개
Neurons 10, 5
Activation ReLU
Optimizer Adam
Target Perform
Validation Split 10%
Early Stopping 기준 R² Score
Max Epochs 64

- 최종 예측 변환

  • Meta Model이 연속형 투자 성과(Perform) 예측

  • 대회 제출을 위해 연속형 예측값을 Buy / Hold / Sell로 변환

  • Train과 Test의 Action Distribution이 동일하도록 Threshold 최적화

5. Competition 결과

  • 최종 성능

    • FedCSIS 2024 Data Science Challenge 1위 달성

    • 최종 MAE: 0.772

    • 2위 대비 3.66% 상대 개선

    • 10위 대비 7.12% 상대 개선

  • 주요 성과

    • FSL 기반 Sample Selection으로 모델 간 다양성 확보

    • ExtraTrees 및 Stacking을 활용한 일반화 성능 강화

    • 대규모 데이터에서도 전체 샘플을 모두 사용하지 않는 학습 전략의 유용성 확인

6. 핵심 요약 (Key Takeaways)

  • Few-Shot Benchmark

    • LightGBM의 적절한 하이퍼파라미터 설정만으로 기존 대비 290% 성능 개선

    • 8-shot 이하에서는 TabLLM이 우세하지만, 데이터 수 증가에 따라 LightGBM의 경쟁력 강화

    • 64-shot에서는 대부분의 데이터셋에서 TabLLM과 동등하거나 우수한 성능 달성

  • 실제 데이터 활용

    • Feature 및 Sample Selection을 통해 모델의 다양성 확보

    • FSL + ExtraTrees + Stacking을 활용한 효과적인 Ensemble 구성

    • FedCSIS 2024 대회에서 1위를 기록하며 제안 방법의 실용성 확인

 

V. Conclusions

1. Baseline 설정의 중요성

  • 공정한 성능 비교를 위한 강력한 Baseline의 필요성

    • 새로운 모델의 우수성은 비교 대상인 Baseline의 성능에 크게 의존

    • 성능이 낮은 Baseline을 사용하면 새로운 모델의 성능이 과대평가될 가능성

    • 새로운 모델 개발뿐 아니라 기존 Baseline을 최적화하는 과정 역시 중요

  • LightGBM 성능 개선

    • Few-Shot 환경에 적합한 파라미터 설정을 통해 기존 연구 대비 290% 성능 개선

    • 단순한 파라미터 최적화만으로 이례적으로 큰 성능 향상 달성

    • 알고리즘 자체의 한계와 부적절한 설정으로 인한 성능 저하를 구분할 필요성

2. Few-Shot Learning에서 GBDT의 가능성

  • 소량의 데이터에서도 GBDT의 경쟁력 확인

    • 최소 8-shot 수준의 데이터에서도 유의미한 예측 성능 달성 가능

    • 적절한 파라미터 설정을 통해 기존에 과소평가되었던 GBDT의 Few-Shot 학습 능력 확인

  • Ensemble 및 Stacking에서의 FSL 활용

    • 충분한 학습 데이터가 존재하더라도 FSL을 활용할 가치 존재

    • 서로 다른 소규모 학습 샘플을 활용하여 모델 간 다양성(Model Diversity) 확보

    • Ensemble 및 Stacking 구조에서 개별 모델의 상관관계를 낮추는 전략으로 활용 가능

3. 알고리즘 이해의 중요성

  • 알고리즘의 특성을 고려한 최적화

    • 계산 비용으로 인해 Global Optimum을 탐색하는 것은 현실적으로 어려움

    • 대신 알고리즘의 내부 동작 원리와 제약 조건을 이해하여 성능을 개선하는 접근 필요

  • 실제 Competition에서의 검증

    • FSL 기반 Sample Selection을 통한 모델 다양성 확보

    • ExtraTrees를 활용한 Overfitting 완화

    • 두 접근법을 결합하여 FedCSIS 2024 Data Science Challenge 1위 달성

4. 핵심 결론 (Key Takeaways)

  • Strong Baseline의 중요성: 새로운 모델과의 공정한 성능 비교를 위해 기존 모델에 대한 충분한 최적화 필요

  • GBDT의 Few-Shot Learning 가능성: 적절한 파라미터 설정만으로 극소량의 데이터에서도 경쟁력 있는 성능 확보 가능

  • FSL의 새로운 활용 방식: 단순히 데이터 부족 문제를 해결하는 것을 넘어 Ensemble의 모델 다양성 확보에도 활용 가능

  • 알고리즘 이해 기반 최적화: 모델의 내부 동작 원리와 특성을 이해하는 것이 새로운 모델 개발만큼 중요할 수 있음을 확인