PDF나 우리 회사 문서를 올려서 AI가 그걸 보고 답하게 만들고 싶은데, 자꾸 "임베딩을 생성해야 한다"는 안내가 나와서 막막해지는 경우가 많습니다.
한 줄 정의
임베딩은 글이나 문장을 컴퓨터가 "의미 기준으로" 비교할 수 있도록 숫자 목록(벡터)으로 바꾼 것입니다.
왜 필요한가
컴퓨터는 원래 글자를 그대로 두면 똑같은 단어인지만 비교할 수 있어요. 임베딩으로 바꿔두면 의미가 비슷한 문장끼리 가까운 숫자로 묶이기 때문에, 사용자가 "환불"이라고 검색해도 "반품"이라고 적힌 문서를 찾아줄 수 있습니다.
실전에서 이렇게
문서 업로드 기능이 있는 툴에서는 보통 이런 순서로 일이 벌어져요.
- 업로드한 문서를 잘게 쪼갠다
- 각 조각을 임베딩(숫자 벡터)으로 바꿔서 저장한다 (이게 쌓이는 곳이 벡터DB)
- 사용자가 질문하면 그 질문도 임베딩으로 바꿔서, 가장 가까운 조각을 찾아 AI에게 참고자료로 건네준다
"임베딩 생성 중"이라는 로딩 문구가 뜨면 바로 이 변환 작업이 돌고 있는 거예요.
비유
단어들을 지도 위에 좌표로 찍어두는 것과 비슷합니다. 의미가 비슷한 단어일수록 지도에서 가까운 위치에 놓이기 때문에, "가까운 동네"를 찾으면 관련 있는 것들이 자연스럽게 딸려 나오는 거예요.
#RAG#수파베이스
댓글 0
첫 댓글을 남겨보세요!