📊 관리자 대시보드

실증 패널

620/1,000
확보율 62%
목표 대비 -38%

오늘 활성 패널

438
기록 제출
70.6%

AI 대화 (Think Aloud)

14,320
오늘 누적
▲ 23.6%

추천 채택률

68%
목표 70%
D-2%p

Privacy Gate

v1 통과 · 정상
PII 차단 3,241건/일

AI Agent API

142ms 정상
K8s · Seoul · 3 replicas

온디바이스 모델

v0.5 배포 중 34%
v0.4 → v0.5 롤아웃

MOS 달성도

4.2 / 4.5
목표 4.5 — 93% 달성

주간 패널 활동 히트맵

월화수목금토일

핵심 성능 지표 달성 현황

취향 예측 정확도 (목표 85~90%)82%
멀티모달 비식별화 정확도 (≥95%)94.1%
Precision@10 (목표 0.35)0.33
사기 탐지율 (≥98%)97.2%
온디바이스 추론 지연 (≤120ms)118ms ✓
🎯 KPI 실시간 모니터링

실증 패널 모집 현황

620/1,000명
1차 250명 ✓ · 2차 350명 진행 중 · 3차 400명 예정

MOS (Mean Opinion Score)

4.2/ 5.0점
목표 4.5 (3차년도)93.3% 달성
평가집단 22명 | ITU-T P.800 기준

미션 완수율 트렌드

목표 80% 74% 5월1주최근

📋 주간 미션별 완수 현황

미션 항목목표완수완수율상태
시청 기록 매일 1건620명512명82.6%양호
Think Aloud 3회/주620명389명62.7%주의
플랫폼 기록 업로드620명298명48.1%미달
별점/후기 작성620명541명87.3%양호
성향 퀴즈 완료620명601명96.9%우수

📐 성능 지표 vs. 목표 비교 (개발계획서 기준)

지표글로벌현재목표달성
취향 예측 정확도85~90%82%≥85%근접
Cold-start 저하율≤5~8%11.2%≤10%미달
Precision@100.40~0.500.330.35+근접
CTR 개선률+25~40%+17%+20%진행
비식별화 정확도97~98%94.1%≥95%근접
사기 탐지율99%97.2%≥98%근접
🔄 사용자 데이터 흐름 확인

Privacy-by-Design 데이터 파이프라인

📱 단말 원문
시청로그·음성·텍스트
→
⚙️ 온디바이스 전처리
범주화·해시·특징화
→
🔐 Privacy Gate ◆
DLP·PII필터·허용목록
→
✅ 비가역 feature
서버 저장 허용
→
🗄️ RAG 벡터 DB
482K vectors
→
🤖 AI Agent Core
🚫 원문 로그
→
🚫 PII (이름·전화·계정)
→
🚫 원본 미디어
← 외부 전달 완전 차단

데이터 수집 현황

명시적 이용이력 (1차 목표 200명)214명 ✓
내재적 이용이력 (1차 목표 50명)63명 ✓
Think Aloud 임베딩142,300건
콘텐츠 메타데이터48.2만 건

데이터 유형별 흐름

재생 이벤트
38,412
상호작용
28,440
선호 명시
19,834
단말·환경
16,800
피드백
14,520

동의 · 철회 현황

이중 동의 수집620/620 ✓
철회 요청 처리 (7일 내)12/12 ✓
항목별 on/off 이용자184명
재식별 위험률 0.003% (목표 <0.01% 충족)
k-익명성 k≥10 · l-다양성 적용 · '26.06.01 검증

실시간 데이터 이벤트 스트림

09:41:12
RECV
패널 P-0438 — 비식별 특징 벡터 수신 (장르:요리, 시간대:심야, 단말:mobile)
09:41:09
GATE
Privacy Gate 통과 — feature 6개 허용, 원문 0건 외부 전달
09:41:07
BLOCK
PII 탐지 차단 — user_0512 프롬프트 내 이메일 감지, 마스킹 처리
09:41:03
RECV
패널 P-0201 — Think Aloud 텍스트 수신, 온디바이스 범주화 완료
09:40:58
EMB
콘텐츠 메타데이터 임베딩 갱신 — 482,142 vectors (Qdrant 18ms)
09:40:51
CTRL
패널 P-0088 — 데이터 삭제 요청 수신, 7일 내 처리 스케줄 등록
🧹 데이터 품질 관리

전체 품질 점수

92.4점
100점 기준
양호

누락 이벤트

3.1%
자동 보정 중
모니터링

이상치 감지

127건
오늘 누적
검토 필요

중복 제거율

99.6%
중복 0.4%
정상

데이터 유형별 품질 점수

재생 이벤트
96.2%
상호작용
94.1%
Think Aloud
88.3%
단말 환경
91.0%
명시적 선호
97.4%
* 이상치 기준: 재생시간 <2초 또는 >300분 | 중복 <1분 간격

이상치 패턴 분류

이상치 유형건수비율처리
시청 시간 이상 (2초 미만)48건37.8%필터링
세션 간격 이상 (0초)31건24.4%병합
동일 콘텐츠 반복 (1분 내)27건21.3%중복제거
단말 신호 결측14건11.0%보정
장르 라벨 불일치7건5.5%검토

품질 파이프라인 자동화 로그

09:40:00
AUTO
누락 이벤트 자동 보정 완료 — 38건 스킵, 품질 점수 92.1→92.4 갱신
09:35:22
ALERT
패널 P-0301 — 장르 라벨 불일치 7건 감지, 수동 검토 큐 등록
09:30:10
AUTO
중복 이벤트 27건 제거 — Dedup 파이프라인 정상
09:00:00
SCAN
일일 스키마 검증 완료 — 표준 이벤트 스키마 v1.3 일치
⭐ Trust Score 확인

전체 Trust Score

78 / 100점 양호 · 목표 ≥80

Trust Score 구성 요소 (4축)

데이터 품질 (30%)92.4 → 27.7점
사기 탐지율 (25%)97.2% → 24.3점
비식별화 정확도 (25%)94.1% → 23.5점
사용자 동의 완결성 (20%)100% → 20.0점

패널별 Trust Score 분포

90~100점
218명
80~89점
258명
70~79점
112명
60~69점
62명
60점 미만
28명
60점 미만 → 자동 재검토 큐 등록

Trust Score 주간 변화

목표 80점 78.2 4주전이번주

Trust Score 주요 감점·가점 요인

요인영향상태
플랫폼 업로드 미달 (48%)-4.2점부정
Think Aloud 참여 저조-2.8점부정
Cold-start 저하율 11%-1.5점주의
동의서 100% 수집+5.0점긍정
PII 차단 오탐율 0%+3.8점긍정
🚨 Fraud 탐지 및 차단

사기 탐지율

97.2%
목표 ≥98%
근접

오탐율 (False Positive)

1.3%
목표 ≤2%
충족 ✓

오늘 차단 건수

23
보상 부정 포함
자동 차단

Sybil 의심 계정

4
다중 기기 감지
검토 중

3계층 Fraud Prevention Framework

Layer 1 — 신원 검증
Device FingerprintBehavioral BiometricsZKP 신원 확인
Layer 2 — 행동 분석
시청 패턴 분석상호작용 분석시간 이상치 탐지
Layer 3 — ML 기반 탐지
Isolation ForestLSTM AutoencoderGraph Attention Net

Fraud 유형별 탐지 현황 (오늘)

공격 유형위험도탐지탐지율
Sybil Attack (다중 계정)HIGH8건 차단100%
Bot AutomationHIGH11건 차단100%
허위 시청 (짧은 재생)MID3건 차단100%
Collusion (공모 사기)MID1건 차단100%
정상 사용자 오탐—3건 복구오탐 1.3%
연합학습 Gradient 집계 완료 — 428개 디바이스
차분 프라이버시 ε≤1.0 적용 · 원본 데이터 미전송

실시간 Fraud 이벤트 로그

09:41:18
BLOCK
Bot 탐지 — user_3821 비정상 재생 패턴 (12회/30초), 보상 요청 차단
09:38:04
SYBIL
Sybil 의심 — IP 동일 4계정 감지, Device Fingerprint 일치율 94%
09:30:47
WARN
Graph 분석 — user_2201·user_2202 공모 패턴 의심 (엣지 가중치 0.87)
09:22:11
RESTORE
오탐 복구 — user_0884 정상 판정, 차단 해제 및 포인트 복원
📋 데이터 활용 · 감사 로그

오늘 API 호출

14,320
추천·변환·설명·통제

감사 로그 보관

90일
관리자 행위 전체 기록

접근통제 위반

0건
RBAC 이상 없음

API 활용 목적

추천 생성
9,738
변환·요약
2,864
모델 학습
1,718

이용자 데이터 통제 이벤트 (최근 7일)

이벤트건수평균 처리완료율
데이터 항목 on/off 변경342건즉시100%
동의 철회 요청12건4.2시간100%
데이터 삭제 요청8건1.3일100%
활용 범위 조회184건즉시100%
학습 반영 제외 요청3건2.1일100%

관리자 감사 로그 (최근)

09:41
OK
RBAC v2.1 정책 갱신 완료 — admin@wizbase
09:20
BLOCK
PII 포함 프롬프트 차단 — user_0284 (이메일 패턴)
09:10
ACCESS
패널 상세 조회 — analyst@sogang (P-0001~P-0050)
08:55
OK
TLS 인증서 갱신 완료 — AES-256 키 로테이션
08:30
EXPORT
익명 통계 리포트 다운로드 — PM_report_2026Q1.pdf
06:00
SCAN
취약점 스캔 완료 — Critical 0건, High 0건
🗓️ Rolling Plan & 운영 정책 관리

현재 연차 / 단계

1차년도 Q1
'26.04~'26.12 (9개월) · TRL 2→7
진행 중

다음 Quarterly Review

2026.07.01
Steering Committee · 월 1회
D-34

연차별 Rolling Plan 타임라인

1차년도 '26.04~'26.12 — 기반 구축 & MVP
데이터 스키마 v1 · AI Agent MVP v0.1 · 패널 250명
Privacy Gate v1 · 내부 파일럿 20명 · Baseline 모델 · Think Aloud 챗봇
2차년도 '27.01~'27.12 — 고도화 & 중간 실증
통합 AI Agent Beta v0.9 · 패널 350명 · 중간 실증 200명
장·단기 선호 통합 · 멀티모달 콘텐츠 고도화 · MOS 4.2 · A/B 테스트
3차년도 '28.01~'28.12 — 최종 실증 & 사업화
패널 1,000명 MOS≥4.5 · API/SDK 기술이전 · B2B 실증
설명 가능한 개인화 · 데이터 주권 강화 UI · PPL/커머스 B2B 실증

거버넌스 3층 구조

Steering Committee (월 1회)
기관장/PM · 일정·예산·리스크 · Rolling Plan 승인
Tech WG (주 1회)
데이터·모델·플랫폼·보안 기술 이슈 해소
Privacy & Security Board (분기 1회)
비식별·외부연동 점검 · 삭제·회수 정책 · IRB 자문

릴리즈 게이트 (마일스톤)

◆ Privacy Gate v1 통과 '26.09
직접식별정보·원문로그·원본미디어 외부 전달 차단 검증 완료
◆ Go/No-Go — 200명 MOS≥4.2, 리텐션≥60% 예정 '27.06
통과 시 1,000명 패널 확대 승인 · SC 의결
◆ 최종 실증 — 1,000명 MOS≥4.5, 평가집단≥20명 예정 '28.05
독립 검증 + 비식별 재현율 + 사업화 전환 조건

Moving Target — 외부 환경 변화 대응

HIGH
Netflix API 정책 변경
→ 자체 업로드 방식 전환, 연동 범위 재정의
MID
외부 LLM 비용 급등 (GPT-5급)
→ 온디바이스 소형 모델 비중 확대
MID
개인정보 보호법 강화
→ Privacy Gate 범위 확대, IRB 자문 요청
LOW
온디바이스 AI 확산 (기회)
→ 온디바이스 처리 비중 조기 확대
🖥️ API · 서버 · RAG 상태

AI Agent API

정상 142ms
K8s · Seoul · 3 replicas

RAG 벡터 DB

정상 18ms
Qdrant · 482,100 vectors

온디바이스 모델

배포 중 34%
v0.4 → v0.5 롤아웃

Privacy Gate (DLP)

정상 4ms
차단 3,241건 · 오탐 0건

서버 리소스

🤖
AI Agent API (K8s)
Seoul · 3 replicas · 99.9% uptime
34%
CPU
62%
Memory
142ms
Latency
🗄️
Vector DB (Qdrant)
482,100 vectors · 콘텐츠+선호 임베딩
482K
Vectors
99.9%
Uptime
18ms
Query

API 모듈별 호출 현황 (오늘)

추천 API
9,738
변환 API
5,841
설명 API
3,712
통제 API
1,942
분석 API
887
시스템 로그
09:41:02
INFO
RAG index sync completed (482,100 vectors)
09:38:17
WARN
Ondevice model v0.5 rollout 34% — 진행 중
09:20:11
ERR
LLM rate limit (GPT-4o) — fallback 온디바이스 전환
09:19:58
INFO
Fallback model (v0.4) activated OK
🎮 관리자 데모 시연
AI Media Mate — 관리자 기능 자동 시연 (3분)
방통위 과제(TRL 2→7) 실증 운영을 위한 9가지 핵심 관리 기능을 순서대로 시연합니다.
대시보드 → KPI → 데이터 흐름 → 품질 관리 → Trust Score → Fraud 탐지 → 감사 로그 → Rolling Plan → API 상태

시나리오 목록 (클릭 → 해당 장면으로 이동)

#장면핵심 포인트타이밍
🤖
AI Media Mate · 관리자 시연
0초 / 180초