LLM Wiki
최근 Andre Karpathy 가 제안한 LLM Wiki 아이디어가 많은 개발자들 사이에서 큰 반응을 얻고 있습니다.
그는 LLM을 기존의 RAG로써의 활용을 넘어,
지식을 계속 쌓아나가며 유지보수하는 위키 방식으로의 제안을 하였습니다.
카파시가 제공한 Gist에서의 방식을 통해, 어떻게 그가 LLM을 Wiki로 활용하는지 볼 수 있었습니다.
이번 글에서는 카파시가 LLM Wiki를 어떻게 제안했는지, 왜 필요하다고 보았는지,
그리고 어떤 결과를 기대할 수 있는지를 중심으로 정리해보겠습니다.
LLM Wiki
대부분의 유저들은 LLM을 사용할 때, 문서를 업로드하고 질문을 던져서 답변을 받아봅니다.
이 방식은 분명 강력합니다.
문서가 많아도 필요한 내용을 빠르게 끌어올 수 있고, 검색과 요약을 동시에 수행해냅니다.
다만 카파시는 여기서 한 가지 발전된 방식을 제안했습니다.
기존의 구조에서는 질문할 때마다, 필요한 지식을 다시 찾아야 한다는 단점이 있단 것입니다.
예를 들어 여러 문서를 함께 엮어 답해야 하는 질문이 있다면,
LLM은 관련 내용을 다시 찾고, 연결하고, 다시 해석해야 합니다.
이러한 과정에서, 답변은 얻을 수 있지만 결과가 계속 축적되지는 않는 것입니다.
카파시는 바로 이 지점을 개선한 것입니다.
LLM이 매번 검색해서 답변을 찾는 도구가 아닌, 위키 계층으로 두어 이를 관리하자는 것입니다.
새로운 자료가 들어올 때 이것을 인덱싱으로 그치지 않고,
원문을 읽어 핵심내용을 정리한뒤,
기존에 작성된 위키 문서와 연결하고,
충돌하는 정보를 점검, 개념 문서 및 요약 문서를 갱신해 위키에 반영하는,
한 번 정리된 지식을 계속 유지하고 발전시키는 구조로 개선하자고 주장하였습니다.
카파시의 위키 사용법
카파시의 LLM Wiki는 현실적인 작업 흐름으로 제안되고 있습니다.
사용자는 대화하면서 자료를 넣고 방향을 제시합니다.
LLM은 지시에 따라 Markdown 파일을 수정하거나 생성합니다.
이를 Obsidian과 같은 도구에서 관리하며 유저가 빠르게 이를 읽고, 검토할 수 있습니다.
즉, 지식이 파일 업로드 -> 질문 -> 답변으로 일회성 소비가 아닌,
지속적으로 갱신되고 유지보수되는 시스템으로 개선해내는 것입니다.
이러한 LLM 구조를, 카파시는 3개의 층으로 나눠 설명합니다.
Raw Sources
논문, 기사, 리포트, 이미지, 데이터 파일 등 사용자가 모아둔 원본 자료입니다.
이 영역은 원본 내용을 그대로 활용하며, 수정되지 않습니다.
Wiki
LLM이 직접 생성하고 유지하는 위키 계층입니다.
이 영역은 Markdown 파일들의 모음으로 구성되며,
요약, 개념, 엔티티, 종합 정리 문서 등이 여기에 포함됩니다.
이러한 요약 및 개념 정리를 사람이 아닌 LLM에게 할당합니다.
이로써 더 빠르고 간편하게, 자신의 지식 저장소를 갱신하고 발전시켜나갈 수 있습니다.
Schema
AGENTS.md나 CLAUDE.md 같은 운영 규칙 문서입니다.
이 문서를 통해 LLM이 어떻게 위키를 다루고, 관리해야 하는지 알 수 있습니다.
이 문서는 LLM에게 다음 기준을 줍니다.
- 위키를 어떤 구조로 관리할 것인지
- 자료를 ingest할 때 어떤 순서로 반영할 것인지
- 질문에 답할 때 어떤 문서를 먼저 참고할 것인지
- 어떤 경우 사람 승인을 받아야 하는지
위키 운영 흐름
카파시는 운영 흐름을 크게 Ingest, Query, Lint 로 나눠 설명합니다.
Ingest
Ingest는 새로운 자료가 위키에 편입되는 단계입니다.
새로운 문서나 이미지 등이 들어오면 LLM은 이를 읽고 핵심 내용을 정리한 뒤,
- 요약 문서 작성
- 관련 개념 문서를 업데이트
- index.md와 log.md 갱신
- 필요하면 기존 주장과 충돌하는 내용 반영
등의 작업을 진행합니다.
카파시는 자료 하나가 단일 요약으로 끝나는 것이 아니고,
위키 전체에 파급되어 여러 페이지를 동시에 수정할 수도 있다고 봅니다.
Ingest는 수집으로 끝나는 것이 아닌, 위키 전체를 확장하고 정교화하는 일종의 갱신 과정입니다.
Query
카파시는 산출물 뿐만 아니라, 질문과 답변 역시 중요하다고 봅니다.
좋은 질문과 답변이 대화창에서 사라지면 아까운? 것이죠.
예를 들어 좋은 질문을 통해 얻은 비교 정리나 분석 결과가 나왔다면,
그것도 Markdown 문서나 비교 테이블, 슬라이드 같은 형태로 다시 위키에 편입될 수 있어야 한다는 것입니다.
즉, 질문도 그냥 소비되는 것이 아니라 지식 축적 과정의 일부로,
지식을 더 정리하고 구조화하는 과정의 일부로 사용하고자 합니다.
Lint
Lint는 위키의 품질과 정합성을 점검하는 단계입니다
.
Karpathy는 시간이 지날수록 위키 내부에 여러 문제가 자연스럽게 쌓일 수 있다고 봅니다.
문서 간 내용이 충돌할 수도 있고, 오래된 주장이 그대로 남아 있을 수도 있다는 것입니다.
그래서 LLM Wiki에는 주기적인 점검 과정이 필요합니다.
LLM은 위키 전체를 살펴보며, 오래되었거나 불완전한 부분을 찾아내고, 빠진 연결이나 보강이 필요한 지점을 표시할 수 있습니다.
필요하다면 사용자에게 추가 자료 조사나 검토가 필요한 영역을 제안하는 방식으로 운영될 수도 있습니다.
즉, Lint는 단순 오류 검사가 아니라,
위키가 장기적으로 무너지지 않도록 유지하는 Health Check 역할을 합니다.
Index와 Log의 중요성
카파시는 위키가 커질수록 index.md와 log.md가 매우 중요하다고 설명합니다.
index.md는 위키 전체의 카탈로그입니다.
각 문서의 링크와 한 줄 요약, 날짜나 source count 같은 메타데이터를 함께 두면
LLM과 사람이 모두 위키 구조를 빠르게 파악할 수 있습니다.
카파시는 질문이 들어오면 LLM이 index를 보고 관련 문서를 좁힌 뒤 세부 페이지를 읽는 흐름을 제안합니다.
log.md는 시간순 기록입니다.
언제 어떤 자료를 ingest했는지, 어떤 질문을 했는지, 어떤 lint를 돌렸는지를 남겨두는 파일입니다.
검색 인프라
카파시는 처음부터 거창한 검색 인프라를 만들 필요는 없다고 봅니다.
작은 규모에서는 index만으로도 충분할 수 있고,
문서가 늘어났을 때에야 더 나은 검색 도구를 붙이면 된다는 입장입니다.
예를 들어 Karpathy의 Gist에서는 qmd 같은 로컬 Markdown 검색 도구를 언급합니다.
다만 더 복잡한 관계 추론이 필요 시 GraphRAG나 별도 검색 계층을 검토하는 식의 확장을 제안합니다.
즉, 처음부터 무겁게 가지 말고 문서 규모와 질문 복잡도에 맞춰 확장하라는 것입니다.
Obisidian
LLM Wiki는 특정 어플리케이션을 통한 위키가 아니라,
LLM을 통한 지식을 관리하는 구조입니다.
다만, 이러한 LLM 사용 시에 이를 활용하는 사용자와 LLM 서로가 편리한 구조여야합니다.
그렇기에, 사용되는 것이 Obsidian입니다.
옵시디언은 마크다운 파일을 다루기에, LLM이 생성하거나 수정한 결과를 읽고 관리하기에 유용합니다.
또한 옵시디언은 링크, 백링크, 폴더 구조, 태그 등을 통해 개념 간 연결을 쉽게 확인할 수 있어,
사용자가 위키의 구조를 파악하고 다루기에도 유용합니다.
LLM이 문서를 생성하고 관계를 설정하면, 사람이 이를 빠르게 이를 검토하고 이용할 수 있는 것입니다.
마무리
이러한 LLM 기반의 위키 작업을 통한 지식 관리에는 큰 장점이 있다고 여겨졌습니다.
우리의 지식을 관리하는 위키를 만드는 과정에서 가장 귀찮은 일이었던,
읽거나 생각하는 것이 아니라 유지보수가 간편해진 것입니다.
새로운 자료를 발견하면 예전 요약을 수정해야 하고,
서로 충돌하는 내용을 개선하며,
문서의 구조도 이전과 유사하게 계속 맞춰나가야 합니다.
이러한 유지보수의 비용을 LLM에 위임해 훨씬 빠르고 간편하게 사용할 수 있게 해줍니다.
(위키를 채우는건 본인이 해야하긴 하지만..)
마무리를 하자면, LLM Wiki는 LLM을 검색기처럼 쓰는 관점에서 한 단계 더 나아간 아이디어라고 생각합니다.
원문을 그때그때 다시 읽게 하는 구조가 아니라,
한 번 읽은 지식을 계속 축적하고 정리하고 연결하며 유지보수하는 위키 구조를 둬서,
흩어져있는 기록과 경험을 언제든 꺼내 다시 사용가능한 구조로 개선할 수 있다는 점입니다.
저 역시 이 관점을 보며 앞으로는 옵시디언 위에서 제 경험과 자료를 더 잘 축적하고,
이를 바탕으로 휘발되는 정보들을 축적해나가 보도록 하겠습니다.
참고 자료