2강 — 결과 검증과 품질 관리

# ① 환경 준비 (이 강의 첫 셀에서 한 번만)
!pip install openai -q

import json
import re
import random
from collections import Counter
from google.colab import userdata
from openai import OpenAI

MODEL = "mistralai/devstral-2512:free"
api_key = userdata.get('OPENROUTER_API_KEY')
client = OpenAI(base_url="https://openrouter.ai/api/v1", api_key=api_key)

def clean_json_response(text):
    """LLM 응답에서 순수 JSON 문자열만 추출."""
    text = text.strip()
    if '```json' in text:
        m = re.search(r'```json\s*([\s\S]*?)\s*```', text)
        if m: return m.group(1).strip()
    if '```' in text:
        m = re.search(r'```\s*([\s\S]*?)\s*```', text)
        if m: return m.group(1).strip()
    m = re.search(r'(\{[\s\S]*\}|\[[\s\S]*\])', text)
    return m.group(1).strip() if m else text

def call_llm(system_prompt, user_message):
    res = client.chat.completions.create(
        model=MODEL,
        messages=[{"role": "system", "content": system_prompt},
                  {"role": "user", "content": user_message}],
    )
    return res.choices[0].message.content

def call_llm_json(system_prompt, user_message):
    return json.loads(clean_json_response(call_llm(system_prompt, user_message)))

print("준비 완료!")

# 실제로는 24차시 대량 분석 결과를 쓰지만, 여기서는 '검증'에 집중하기 위해
# 이미 분석이 끝난 것처럼 시뮬레이션 데이터를 만듭니다.
sample_ai_results = [
    {"id": 1,  "review": "게임 정말 재밌어요! 강추!", "sentiment": "POSITIVE", "confidence": 0.95},
    {"id": 2,  "review": "최악... 돈 아깝다",         "sentiment": "NEGATIVE", "confidence": 0.92},
    {"id": 3,  "review": "그냥 그래요",               "sentiment": "NEUTRAL",  "confidence": 0.78},
    {"id": 4,  "review": "아쉽네요 기대했는데",       "sentiment": "POSITIVE", "confidence": 0.65},  # 오분류
    {"id": 5,  "review": "할만해요 나쁘진 않음",      "sentiment": "POSITIVE", "confidence": 0.72},
    {"id": 6,  "review": "버그 너무 많아서 진짜 화남","sentiment": "NEGATIVE", "confidence": 0.88},
    {"id": 7,  "review": "ㅋㅋㅋㅋ",                  "sentiment": "POSITIVE", "confidence": 0.52},  # 애매
    {"id": 8,  "review": "시간 때우기 좋음",          "sentiment": "POSITIVE", "confidence": 0.70},
    {"id": 9,  "review": "환불함",                    "sentiment": "NEGATIVE", "confidence": 0.85},
    {"id": 10, "review": "친구랑 하면 재밌음",        "sentiment": "POSITIVE", "confidence": 0.80},
]

# 사람이 직접 읽고 만든 정답(레이블). 실전에서는 이 단계에 시간이 가장 많이 듭니다.
human_labels = {
    1: "POSITIVE", 2: "NEGATIVE", 3: "NEUTRAL",
    4: "NEGATIVE",   # "아쉽네요 기대했는데" → 실제로는 부정 (AI가 긍정으로 오분류)
    5: "NEUTRAL",    # "할만해요" → 중립에 가까움
    6: "NEGATIVE", 7: "NEUTRAL", 8: "NEUTRAL",
    9: "NEGATIVE", 10: "POSITIVE",
}
print("정답 분포:", Counter(human_labels.values()))

def validate_sample(ai_results, human_labels):
    """AI 결과와 사람 정답을 비교해 정확도와 오류 목록을 계산."""
    correct, errors = 0, []
    for r in ai_results:
        human = human_labels.get(r['id'])
        if human is None:
            continue
        if r['sentiment'] == human:
            correct += 1
        else:
            errors.append({'id': r['id'], 'review': r['review'],
                           'ai': r['sentiment'], 'human': human,
                           'confidence': r.get('confidence', 0)})
    total = len([r for r in ai_results if r['id'] in human_labels])
    accuracy = correct / total * 100 if total else 0
    return {'accuracy': accuracy, 'correct': correct, 'total': total, 'errors': errors}

v = validate_sample(sample_ai_results, human_labels)
print(f"정확도: {v['accuracy']:.1f}%  (맞춘 수 {v['correct']}/{v['total']})")
print("✓ 목표 달성(80%↑)" if v['accuracy'] >= 80
      else "△ 개선 권장(70~80%)" if v['accuracy'] >= 70
      else "✗ 개선 필요(70% 미만)")

# 오류를 'AI판단 → 실제정답' 형태로 집계해 패턴을 찾습니다
error_patterns = Counter(f"{e['ai']} → {e['human']}" for e in v['errors'])

print("=== 오류 상세 ===")
for e in v['errors']:
    print(f"ID {e['id']} \"{e['review']}\": AI={e['ai']}({e['confidence']*100:.0f}%) / 정답={e['human']}")

print("\n=== 오류 패턴 집계 ===")
for pattern, count in error_patterns.most_common():
    print(f"  {pattern}: {count}건")

print("\n=== 개선 포인트 ===")
if error_patterns.get("POSITIVE → NEGATIVE", 0):
    print("  - 부정적 뉘앙스 단어 인식 강화 필요")
if error_patterns.get("POSITIVE → NEUTRAL", 0):
    print("  - 중립 기준 명확화 필요(미적지근한 표현)")

SENTIMENT_PROMPT = """너는 게임 리뷰 감성 분석 전문가야.
리뷰를 읽고 감성을 분류해줘: POSITIVE / NEGATIVE / NEUTRAL
JSON 형식으로 응답: {"sentiment": "POSITIVE/NEGATIVE/NEUTRAL"}
"""

def check_consistency(review, num_trials=3):
    """같은 리뷰를 num_trials번 분석해 결과가 얼마나 일치하는지 본다."""
    results = [call_llm_json(SENTIMENT_PROMPT, f"리뷰: {review}").get('sentiment', 'UNKNOWN')
               for _ in range(num_trials)]
    dominant, count = Counter(results).most_common(1)[0]
    return {'review': review, 'results': results, 'dominant': dominant,
            'consistency': count / num_trials * 100,
            'is_consistent': len(set(results)) == 1}

# API 호출을 아끼기 위해 2개만, 각 3번씩 분석
for review in ["게임 재밌어요!", "뭐... 할만해요"]:
    r = check_consistency(review, num_trials=3)
    mark = "OK " if r['is_consistent'] else "주의"
    print(f"[{mark}] \"{review}\" → {r['results']} (일관성 {r['consistency']:.0f}%)")

def check_distribution(ai_results):
    """감성 비율을 계산하고, 극단적 쏠림 등 이상 징후를 경고로 띄운다."""
    sentiments = [r['sentiment'] for r in ai_results]
    dist = Counter(sentiments)
    total = len(sentiments)
    ratios = {k: v / total * 100 for k, v in dist.items()}
    warnings = []
    for s, ratio in ratios.items():
        if ratio > 90:
            warnings.append(f"{s}가 {ratio:.0f}%로 극단적 쏠림")
        elif ratio < 5 and total > 20:
            warnings.append(f"{s}가 {ratio:.0f}%로 거의 없음")
    return {'dist': dist, 'ratios': ratios, 'warnings': warnings, 'healthy': not warnings}

d = check_distribution(sample_ai_results)
for s, c in d['dist'].items():
    bar = "█" * int(d['ratios'][s] / 5)
    print(f"  {s:10}: {c:2}개 ({d['ratios'][s]:4.0f}%) {bar}")
print("분포 정상" if d['healthy'] else "경고: " + ", ".join(d['warnings']))

def quality_dashboard(ai_results, human_labels, conf_threshold=0.7):
    """정확도·채택률·분포 건강도를 한 번에 보여주는 품질 대시보드."""
    accuracy = validate_sample(ai_results, human_labels)['accuracy']
    confident = sum(1 for r in ai_results if r.get('confidence', 0) >= conf_threshold)
    adoption = confident / len(ai_results) * 100 if ai_results else 0
    healthy = 100 if check_distribution(ai_results)['healthy'] else 50
    return {
        '정확도':   {'value': accuracy, 'target': 80},
        '채택률':   {'value': adoption, 'target': 70},
        '분포건강': {'value': healthy,  'target': 100},
    }

print("=" * 40)
print("        품질 지표 대시보드")
print("=" * 40)
for name, m in quality_dashboard(sample_ai_results, human_labels).items():
    mark = "OK " if m['value'] >= m['target'] else "미달"
    print(f"  [{mark}] {name:8}: {m['value']:5.1f}  (목표 {m['target']})")