이런 경험 있으시죠?

AI를 써보면 처음엔 신기하다가 어느 순간 “이게 왜 이러지?”라는 순간이 옵니다. 그 답답함에는 대부분 이유가 있습니다. 경험한 증상을 찾아보세요.


”AI가 아까 말한 걸 까먹어요”

대화를 이어가다 보면 AI가 앞에서 했던 말을 갑자기 모른 척합니다.

→ 무상태성, 컨텍스트 윈도우

AI는 기본적으로 대화와 대화 사이에 기억을 저장하지 않습니다. 그리고 한 번의 대화 안에서도 처리할 수 있는 길이에 한계가 있습니다.


”AI가 갑자기 딴소리를 해요”

분명히 특정 방향으로 이야기하고 있었는데, AI가 전혀 다른 결론을 냅니다.

→ 컨텍스트 오염, 환각

대화가 길어지면서 앞쪽 내용이 AI의 판단에 영향을 미치거나, 일관성이 무너지는 현상입니다.


”AI가 자신 있게 틀린 답을 해요”

분명히 잘못된 정보인데, AI는 확신에 차서 말합니다.

→ 환각, 확률적 생성

AI는 정보를 검색해서 가져오는 게 아니라 확률적으로 텍스트를 생성합니다. 그럴듯하게 들리는 것과 사실인 것은 다릅니다.


”AI한테 뭘 시켰는데 원하는 게 안 나와요”

분명히 요청했는데 결과물이 영 다른 방향입니다.

→ 프롬프트, 기획

AI는 당신의 의도를 추측하는 게 아니라 텍스트에서 단서를 찾습니다. 맥락이 부족하면 결과도 어긋납니다.


”같은 질문인데 매번 다른 답이 나와요”

어제 물어봤을 때와 오늘 물어봤을 때 답이 다릅니다.

→ 확률적 생성

AI의 답은 고정된 데이터베이스를 조회하는 게 아닙니다. 매번 확률에 따라 생성되기 때문에 완전히 같은 답을 보장하지 않습니다.


”긴 대화를 하면 점점 답이 이상해져요”

처음에는 잘 따라오다가 대화가 길어질수록 AI의 답이 흔들립니다.

→ 컨텍스트 윈도우, 컨텍스트 오염

AI가 한 번에 처리할 수 있는 텍스트 양에는 한계가 있습니다. 그 한계에 가까워지면 앞의 내용이 밀려나거나 뒤섞이기 시작합니다.


”AI가 계산을 틀려요”

간단한 계산인데 AI가 틀린 답을 냅니다.

→ 벡터화, 확률적 생성

AI는 숫자를 계산하는 도구가 아닙니다. 언어 패턴을 기반으로 작동하기 때문에 계산에는 구조적으로 취약합니다.


”AI한테 점점 더 시켰더니 앞에 한 걸 망쳤어요”

처음에는 잘 해주더니, 새로운 요청을 추가할수록 이전 작업이 무너집니다.

→ 컨텍스트 오염, 기획, 검증

대화가 길어지면 앞의 맥락이 흐려지고, 새 지시가 이전 결과와 충돌할 수 있습니다. 복잡한 작업일수록 한 번에 다 시키기보다, 단계별로 나눠서 중간 결과를 확인하는 것이 중요합니다.


다음 길잡이

증상의 원인을 파악했다면, 다음 단계로 넘어가 보세요.