1강 — 확률과 신뢰도 해석

# ① 라이브러리 설치 & API 준비 (이 강의 첫 셀에서 한 번만)
!pip install openai -q

import json
import re
import numpy as np
import matplotlib.pyplot as plt
from collections import Counter
from google.colab import userdata   # Colab Secrets에 저장한 키를 불러옴(코드에 키를 직접 쓰지 않기 위함)
from openai import OpenAI

# 그래프에서 음수 부호가 깨지지 않도록 하는 설정(한글 폰트가 약한 matplotlib 보완)
plt.rcParams['font.family'] = 'DejaVu Sans'
plt.rcParams['axes.unicode_minus'] = False

# ② 모델을 맨 앞에서 한 번만 정해두면 아래 모든 함수가 이 모델을 씁니다.
#    OpenRouter에는 모델이 아주 많으니, 이 줄만 바꿔 다른 모델로 실험해 보세요.
MODEL = "mistralai/devstral-2512:free"
api_key = userdata.get('OPENROUTER_API_KEY')
client = OpenAI(base_url="https://openrouter.ai/api/v1", api_key=api_key)

# ③ LLM이 JSON을 코드블록(```)으로 감싸 보낼 때가 있어, 순수 JSON만 뽑아내는 헬퍼
def clean_json_response(text):
    """응답 문자열에서 ```json ... ``` 같은 군더더기를 걷어내고 JSON 본문만 남긴다."""
    text = text.strip()
    if '```json' in text:
        m = re.search(r'```json\s*([\s\S]*?)\s*```', text)
        if m:
            return m.group(1).strip()
    if '```' in text:
        m = re.search(r'```\s*([\s\S]*?)\s*```', text)
        if m:
            return m.group(1).strip()
    m = re.search(r'(\{[\s\S]*\}|\[[\s\S]*\])', text)   # 중괄호/대괄호 덩어리를 직접 탐색
    return m.group(1).strip() if m else text

# ④ 호출이 반복되니 함수로 묶어 재사용성을 높입니다.
def call_llm(system_prompt, user_message):
    """LLM에 system+user 메시지를 보내고 텍스트 응답을 받는다."""
    res = client.chat.completions.create(
        model=MODEL,
        messages=[
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": user_message},
        ],
    )
    return res.choices[0].message.content

def call_llm_json(system_prompt, user_message):
    """LLM 응답을 JSON(dict)으로 파싱해서 돌려준다."""
    return json.loads(clean_json_response(call_llm(system_prompt, user_message)))

print("준비 완료!")

# 확률값(confidence)을 함께 출력하도록 요청하는 프롬프트
# 핵심은 '판단 결과'뿐 아니라 '그 판단을 얼마나 확신하는지'를 숫자로 받는 것
SYSTEM_PROMPT_WITH_CONFIDENCE = """너는 게임 리뷰 감성 분석 전문가야.

리뷰를 분석해서 다음 JSON 형식으로 응답해줘:
{
    "sentiment": "POSITIVE" 또는 "NEGATIVE" 또는 "NEUTRAL",
    "confidence": 0.0~1.0 사이의 확률값 (네가 얼마나 확신하는지),
    "reason": "판단 근거 한 줄"
}

confidence 기준:
- 0.9 이상: 매우 확실함
- 0.7~0.9: 꽤 확실함
- 0.5~0.7: 애매함
- 0.5 미만: 거의 찍는 수준

솔직하게 확신 정도를 표현해줘. 애매하면 낮은 confidence를 줘도 돼.
"""

# 명확한 것부터 애매한 것까지 일부러 섞은 테스트 리뷰
test_reviews = [
    "게임 정말 재밌어요! 강추합니다!",   # 명확한 긍정
    "최악의 게임... 돈 아깝다",          # 명확한 부정
    "뭐... 할만해요",                   # 애매함
    "기대했는데 생각보다...",            # 미완성 문장, 부정 뉘앙스
    "그냥 그래요. 나쁘지도 좋지도 않고",  # 중립
]

print("=== 확률값 포함 분석 테스트 ===\n")
for review in test_reviews:
    result = call_llm_json(SYSTEM_PROMPT_WITH_CONFIDENCE, f"리뷰: {review}")
    conf_pct = result['confidence'] * 100   # 사람이 읽기 쉽게 퍼센트로 변환
    print(f"리뷰: {review}")
    print(f"  → {result['sentiment']} ({conf_pct:.0f}% 확신) / 이유: {result['reason']}\n")

def filter_by_confidence(results, threshold=0.7):
    """분석 결과를 신뢰도 기준으로 '채택(confident)'과 '보류(uncertain)'로 분류."""
    confident, uncertain = [], []
    for r in results:
        if r.get('confidence', 0) >= threshold:   # 임계값 이상이면 채택
            confident.append(r)
        else:                                      # 미달이면 보류
            uncertain.append(r)
    ratio = len(confident) / len(results) * 100 if results else 0
    return {
        'confident': confident,
        'uncertain': uncertain,
        'stats': {'total': len(results), 'confident': len(confident),
                  'uncertain': len(uncertain), 'confident_ratio': ratio},
    }

# 실제 대량 분석 결과 대신, 확인용 샘플 데이터로 동작을 봅니다
sample_results = [
    {"review_id": 1, "sentiment": "POSITIVE", "confidence": 0.95},
    {"review_id": 2, "sentiment": "NEGATIVE", "confidence": 0.88},
    {"review_id": 3, "sentiment": "POSITIVE", "confidence": 0.72},
    {"review_id": 4, "sentiment": "NEUTRAL",  "confidence": 0.65},
    {"review_id": 5, "sentiment": "POSITIVE", "confidence": 0.52},
    {"review_id": 6, "sentiment": "NEGATIVE", "confidence": 0.91},
    {"review_id": 7, "sentiment": "POSITIVE", "confidence": 0.78},
    {"review_id": 8, "sentiment": "NEUTRAL",  "confidence": 0.45},
    {"review_id": 9, "sentiment": "NEGATIVE", "confidence": 0.83},
    {"review_id": 10, "sentiment": "POSITIVE", "confidence": 0.59},
]

filtered = filter_by_confidence(sample_results, threshold=0.7)
s = filtered['stats']
print(f"전체 {s['total']}개 → 채택 {s['confident']}개({s['confident_ratio']:.0f}%) / 보류 {s['uncertain']}개\n")
print("보류된 결과(추가 검토 필요):")
for r in filtered['uncertain']:
    print(f"  ID {r['review_id']}: {r['sentiment']} ({r['confidence']*100:.0f}%)")

print(f"{'임계값':^8} | {'채택':^6} | {'보류':^6} | {'채택률':^8}")
print("-" * 36)
for threshold in [0.5, 0.6, 0.7, 0.8, 0.9]:
    s = filter_by_confidence(sample_results, threshold=threshold)['stats']
    print(f"{threshold*100:^7.0f}% | {s['confident']:^6} | {s['uncertain']:^6} | {s['confident_ratio']:^7.0f}%")

# 실제 분석에서 자주 보이는 '양봉(두 봉우리) 분포'를 시뮬레이션해 봅니다
np.random.seed(42)
confident_samples = np.random.normal(0.85, 0.08, 70)   # 확신 높은 그룹 70개
uncertain_samples = np.random.normal(0.55, 0.10, 30)   # 애매한 그룹 30개
all_conf = np.clip(np.concatenate([confident_samples, uncertain_samples]), 0, 1)  # 0~1로 제한

plt.figure(figsize=(10, 6))
plt.hist(all_conf * 100, bins=20, edgecolor='black', alpha=0.7, color='steelblue')
plt.axvline(x=70, color='red', linestyle='--', linewidth=2, label='Threshold (70%)')  # 임계값 선
plt.xlabel('Confidence (%)'); plt.ylabel('Count')
plt.title('Confidence Distribution (Simulated 100 Reviews)')
plt.legend(); plt.grid(axis='y', alpha=0.3)
plt.tight_layout(); plt.show()

print(f"평균 confidence: {np.mean(all_conf)*100:.1f}% / 표준편차: {np.std(all_conf)*100:.1f}%")

def process_uncertain_results(uncertain_results, strategy='separate'):
    """보류된 결과를 전략에 따라 처리. separate=별도 분류 / flag=검토 플래그 / exclude=제외"""
    if strategy == 'exclude':
        return {"action": "excluded", "count": len(uncertain_results)}
    if strategy == 'separate':
        for r in uncertain_results:
            r['original_sentiment'] = r.get('sentiment', 'UNKNOWN')
            r['sentiment'] = 'UNCERTAIN'   # 별도 카테고리로 표시
        return uncertain_results
    if strategy == 'flag':
        for r in uncertain_results:
            r['needs_review'] = True       # '사람이 봐야 함' 표시만 달기
        return uncertain_results
    return uncertain_results

uncertain_samples = [
    {"review_id": 4, "sentiment": "NEUTRAL",  "confidence": 0.65},
    {"review_id": 5, "sentiment": "POSITIVE", "confidence": 0.52},
    {"review_id": 8, "sentiment": "NEUTRAL",  "confidence": 0.45},
]
print("[제외 전략]", process_uncertain_results([dict(r) for r in uncertain_samples], 'exclude'))
flagged = process_uncertain_results([dict(r) for r in uncertain_samples], 'flag')
print("[플래그 전략] 각 결과에 needs_review=True 추가됨:",
      [r['review_id'] for r in flagged])