평균의 함정

상황 설명 (시작 에피소드)

한 AI 챗봇 회사에 보안 담당자가 있었다. 그는 위험 사용자를 걸러내는 감시 시스템을 관리했다. 시스템은 이렇게 작동했다. 사용자의 최근 대화 백 건을 모아 위험도 점수를 매기고, 그 평균이 기준선을 넘으면 계정을 자동 정지시킨다. 어느 사용자가 넉 달에 걸쳐 범행 계획을 이야기했다. 그런데 그의 계정은 한 번도 잠기지 않았다. 감시망은 멀쩡했다. 그의 대화도 전부 기록에 남아 있었고, 점수도 정상적으로 매겨졌다. 그리고 넉 달 뒤, 우려하던 일이 벌어졌다. 감시망은 왜 그를 놓쳤을까?