1. 추천 시스템 성능 테스트 시, 랜덤 추천 성능 메트릭보다는 높지만, 인기순 추천 성능 메트릭보다는 낮은 상황 발생. → 따라서 성능 향상을 위해 파생 피처 추가 진행했으나 성능 메트릭이 오히려 0으로 나오는 상황 발생.[문제상황/원인분석]문제상황목표 성능 미달 → 파생 피처 추가 후 성능 메트릭 0{ "auc": 0.5060968660968661, "ndcg@5": 0.0, "ndcg@10": 0.0, "recall@5": 0.0, "recall@10": 0.0,}원인 분석목표 성능 미달피처 수는 많지만 피처에 실제로 모델이 학습할 수 있는 preference signal의 부족.파생 피처 추가 후 성능 메트릭 0새 feature들이 너무 한쪽으로 치우쳐 있고(train/test 분포도 다..
[AI] evidence 학습이 LLM의 JSON 구조화 능력에 미치는 영향
배경 Qwen2.5-0.5B를 GPT-4o-mini로 Knowledge Distillation할 때, 학습 라벨에 evidence(근거 문장) 필드를 포함시켰다. 그런데 모델은 evidence를 제대로 출력하지 못했고 — bullets와 매칭되지 않거나 0으로 채우는 경우가 많았다. 프롬프트 제약, few-shot 변경, 후처리 로직 추가 등 다양한 시도를 해봤지만 성능 변화가 없었다.가설 그렇다면 처음부터 evidence 없는 라벨로 학습시키는 게 낫지 않을까? 티처 모델도 evidence 생성에 capacity를 쓰지 않으면 나머지 태스크 품질이 더 높아질 것이고, 학생 모델도 그걸 더 잘 학습할 것이다.실험 설계A: evidence 포함 라벨로 학습 → 추론/후처리/최종 출력에서 evidence 제..
배경아키텍쳐 선택을 위해 동기, 비동기 파이프라인 각각에 대해 부하테스트(ramp-up test)를 수행.new_sync 파이프라인 요약 (완전 동기)배치 내 단일 파이프라인 내 동기, 배치 내 단일 파이프라인 간 동기new_async 파이프라인 요약 (완전 비동기)배치 내 단일 파이프라인 내 비동기, 배치 내 단일 파이프라인 간 비동기결과sync와 async가 다운된 이유(로그 분석)1) new_sync: “모델 파일이 없어서” 바로 예외로 터짐 (NoSuchFile)new_sync는 요청 처리 중 get_vector_search → VectorSearch → fastembed(TextEmbedding) → onnxruntime.InferenceSession으로 가다가,/tmp/fastembed_cac..
0. GC(Garbage Collection)란?GC(Garbage Collection)는 프로그램이 더 이상 참조하지 않는 객체를 자동으로 메모리에서 해제하는 메모리 관리 메커니즘이다.Python은 기본적으로 Reference Counting 방식을 사용하며, 순환 참조는 별도의 GC가 주기적으로 회수한다.이 특성 때문에 객체 참조가 남아 있으면 메모리가 즉시 반환되지 않을 수 있다. 1. Trouble Shooting 총 문제가 3개 발생했다. 1. Eval 단계에서 OOM (가장 빈번)2026-03-01T00:35:51.150992577Z torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 9.27 GiB. GPU 0 has a total ..
[AI] Prefect로 지식증류(Knowledge Distillation) 파이프라인을 완전 자동화 해보자!
0. Prefect란? https://www.prefect.io/ Prefect - Workflow Orchestration & AI InfrastructureOrchestrate workflows with Prefect. Build AI applications with Horizon. Open-source foundations, production-ready platforms.www.prefect.ioAirflow, Dagster와 동일한 워크플로우 완전 자동화 오케스트레이션 프레임워크이다. 하지만, prefect만의 장점은 Pythonic한 점이고, 데코레이터 기반 동작이라 셋팅이 매우 가볍다. 이러한 특성 때문에, 복잡한 워크플로우와 파이썬 환경에 해당하는 ML 워크플로우에서 가장 사용하기 좋은 오..
도메인은 정상인데 왜 접속이 안 될까? — ISP DNS 캐시가 만든 SERVFAIL 트러블슈팅안녕하세요, Tasteam에서 Cloud 팀을 맡고 있는 clay입니다. "저는 접속이 되는데, 다른 팀원은 접속이 안 돼요."인프라를 운영하다 보면 이런 제보를 종종 받게 됩니다. 도메인 설정은 분명히 끝냈는데, 특정 사용자만 접속이 안 되는 상황.가비아에서 구매한 tasteam.kr 도메인을 Cloudflare에 연결한 직후, 저희도 정확히 이 문제를 마주했습니다. 특히 KT 네트워크 환경에서 nslookup tasteam.kr을 실행하면 IP 주소를 찾지 못하고 SERVFAIL 오류를 반환했어요. 모든 설정은 정상이었는데, 대체 무엇이 문제였을까요?오늘은 이 문제를 어떻게 진단하고 해결했는지, 그 과정을 ..