AI 챗봇 제안 칩 82%, 내가 물어본 것만 세고 있었다

사용자 행동 데이터를 보고 "사람들은 이걸 안 원하는구나"라고 판단한 적이 있다면, 그때 화면에 어떤 선택지가 있었는지 기억나는가. 나는 기억하지 못한 채로 며칠치 설계를 그렸다.

전시장에서 쓰는 AI 안내 챗봇을 만들었다. 관람객이 작품에 붙은 QR을 찍으면 채팅방이 열리고, 작품 카드 아래에 제안 칩 세 개가 뜬다. 눌러도 되고 직접 쳐도 된다.

첫 현장 이틀치 기록을 세어 봤다.

질문 39건
├─ 제안 칩          32건  (82%)
└─ 직접 친 질문       7건  (18%)  ← 그중 4건은 우리 테스트

진짜 자유 질문은 3건이었다.

82%를 처음 읽은 방식

숫자를 보고 결론을 냈다. 사람들은 대화를 원한 게 아니라 빠른 답을 원했다는 것. 그럴듯했다. 전시장은 서서 보는 곳이고, 폰에 긴 문장을 치는 사람은 드물다.

그 결론 위에 설계를 얹었다. 자주 눌리는 것은 AI를 안 거치고 즉답하게 하고, AI는 뒤로 물리는 구조. 기다림도 줄고 지어낼 위험도 준다. 며칠을 그 방향으로 그렸다.

그러다 칩을 손보려고 실제 문구 다섯 개를 한 화면에 꺼내 놓았다.

{작가} 작가가 어떤 전시에 나왔는지 알려주세요
{작가} 작가에 대해 더 알고 싶어요
{작가} 작가와 {갤러리}가 함께한 전시를 알려주세요
{갤러리}에 대해 더 알고 싶어요
이 작품 가격이 궁금해요

작가 둘, 갤러리 둘, 가격 하나.

작품에 대한 칩이 없었다. 관람객은 그림 앞에 서서 그 그림이 궁금해서 QR을 찍었는데, 그 그림을 물어볼 버튼이 하나도 없었다.

82%는 그대로다. 그런데 그게 무슨 뜻인지가 뒤집혔다.

두 해석이 같은 데이터에서 나온다. 눈앞의 숫자만으로는 갈리지 않는다. 가르는 것은 데이터 밖에 있었다. 선택지 목록을 펼쳐 보는 것. 그걸 안 하면 "사용자가 안 원한다"와 "우리가 안 물어봤다"가 똑같은 모양으로 보인다.

더 고약한 건 방향이다. 이 오해는 스스로를 강화한다. 작품 칩이 없으니 작품 질문이 안 잡히고, 안 잡히니 작품은 덜 궁금한가 보다 싶어 다음에도 안 만든다. 빈칸이 데이터가 되고, 그 데이터가 다시 빈칸을 정당화한다.

그리고 이건 조용하다. 에러가 안 난다. 숫자는 예쁘게 쌓이고 그래프도 그려진다. 82%라는 값은 어느 쪽 해석에서도 똑같이 참이라, 틀렸다는 신호가 어디에서도 안 온다.

칩 목록에 작품을 묻는 자리를 새로 만들었다. 그리고 설계 문서 맨 앞에 한 줄을 박아 뒀다.

"39건 중 82%가 칩" 은
「관람객이 작품을 안 궁금해했다」가 아니라
「우리가 물어보지 않았다」는 뜻이다.

즉답 구조로 간다는 방향 자체는 안 바뀌었다. 바뀐 건 무엇을 즉답할지 고르는 근거다. 이전 데이터를 근거로 삼았으면 있던 다섯 개를 더 빠르게 만들고 끝났을 것이다. 없던 자리는 영영 안 생겼을 것이고.

버릇 하나를 얻었다. 사용자 행동 데이터를 읽기 전에 그때 화면에 있던 선택지 전부를 먼저 나열해 본다. 클릭률·전환율·질문 분포는 전부 우리가 깔아 둔 판 위에서 나온 값이다. 판을 안 보고 값만 보면, 내가 만든 한계를 사용자의 취향으로 착각하게 된다.