[AI] DeepFM 추천 시스템 성능 향상(+트러블 슈팅)

1. 추천 시스템 성능 테스트 시, 랜덤 추천 성능 메트릭보다는 높지만, 인기순 추천 성능 메트릭보다는 낮은 상황 발생. → 따라서 성능 향상을 위해 파생 피처 추가 진행했으나 성능 메트릭이 오히려 0으로 나오는 상황 발생.

[문제상황/원인분석]

1. 문제상황
   1. 목표 성능 미달 → 파생 피처 추가 후 성능 메트릭 0

   {
     "auc": 0.5060968660968661,
     "ndcg@5": 0.0,
     "ndcg@10": 0.0,
     "recall@5": 0.0,
     "recall@10": 0.0,
   }
   

2. 원인 분석
   1. 목표 성능 미달
      1. 피처 수는 많지만 피처에 실제로 모델이 학습할 수 있는 preference signal의 부족.
   2. 파생 피처 추가 후 성능 메트릭 0
      1. 새 feature들이 너무 한쪽으로 치우쳐 있고(train/test 분포도 다르고), 그 결과 모델이 거의 모든 샘플을 positive처럼 보는 방향으로 무너진 것

[대처 방안/해결]

1. 대처 방안
   1. 전체 추가 피처 중 몇개의 피처만 추가해서 성능 측정 진행

   기존 baseline +
   
   * `user_category_match`
   * `user_region_match`
   * `price_diff`
   

2. 해결 (해결 완료)
   1. 목표 성능 달성 및 성능 메트릭 0 문제 해결

   {
     "auc": 0.6426139601139602,
     "ndcg@5": 0.22093023283013208,
     "ndcg@10": 0.22093023283013208,
     "recall@5": 0.22093023283013208,
     "recall@10": 0.22093023283013208,
   }
   

   목표 성능 달성 및 이전 모델 baseline보다 향상.
   
   * 이전 모델 baseline: `recall@10 ≈ 0.058`
   * popularity baseline: `recall@10 ≈ 0.186`
   * 이번 실험 1: `recall@10 ≈ 0.221`