CodeLog

참고자료를 AI한테 붙이면 무조건 똑똑해질까요? Google AI 연구에서도 최근 나온 얘기가, AI한테 참고자료 없이 답하게 하면 오답률이 10%였고, 애매하거나 부족한 참고자료를 주면 오히려 66%로 튀었다고 해요. 자료를 줬는데 더 틀리는 상황이 생긴다는 거죠. 저도 옵시디언에 메모 쌓아두고 “내 메모 참고해서 답해” 연결해놨거든요. 처음엔 메모가 10개 정도일 땐 괜찮았어요. AI가 다 읽어도 무리가 없으니까. 근데 100개, 200개 넘어가면 달라져요. 필요한 걸 놓치기 시작해요. 분명 어딘가 적어놨는데 “관련 자료를 찾지 못했습니다” 뜨고, 더 문제는 관련 없는 메모를 근거로 잡고 “이 방향이 좋습니다” 같은 말을 되게 자신 있게 한다는 거예요. 모르면 모른다 하면 차라리 괜찮은데, 뭔가 주어지면 일단 그걸로 답을 만들어버리니까… 그게 위험함. 그래서 결론은 이거였어요. 기록을 쌓는 건 1단계, AI에 연결하는 건 2단계고, 진짜 중요한 건 3단계: AI가 ‘잘 찾게’ 설계하는 것. 제가 바꾼 것도 두 가지예요. 메모 자체를 태그/폴더/제목/요약으로 정리해서 “재료”를 정돈했고, 검색도 키워드 검색 + 의미 기반 검색을 같이 써서 서로 약점을 보완했어요. 그냥 “참고해~”만 던지면 결국 운에 맡기는 구조가 되더라구요. 요약하면, 메모가 많아질수록 연결만 해선 안 되고 검색/리트리벌을 설계해야 진짜 시스템이 됩니다.