llms.txt,
지금 넣어야 하나구글 공식 문서로 확인했습니다
작년쯤부터 견적서에 “llms.txt 적용(AI 검색 최적화)” 같은 항목이 보이기 시작했습니다. 무엇인지 물어보면 대개 “AI가 읽어 가는 파일”이라는 답이 돌아오는데, 절반만 맞는 말입니다. 이 파일을 읽어 가겠다고 약속한 곳은 아직 없습니다.
llms.txt는 무엇인가
사이트에 무엇이 있는지 기계에 알려 주려고 사이트 루트에 두는 파일입니다. 제러미 하워드(Jeremy Howard)가 제안했고, XML 같은 형식 대신 마크다운으로 쓰는 점이 특이합니다. 규격 원문은 llmstxt.org에 있습니다.
도서관 입구에 붙은 안내판을 떠올리시면 됩니다. 어느 서가에 무슨 책이 있는지 알려 줄 뿐, 책을 대신 읽어 주지는 않습니다.
구글은 뭐라고 하나
구글의 AI 기능 안내 문서를 열어 보면 llms.txt라는 말이 한 번도 나오지 않습니다. 대신 이렇게 적혀 있습니다.
“There are no additional requirements to appear in AI Overviews or AI Mode, nor other special optimizations necessary.”
(AI 개요나 AI 모드에 나타나기 위한 추가 요구사항도, 그 밖의 특별한 최적화도 필요하지 않습니다)
“To be eligible to be shown as a supporting link in AI Overviews or AI Mode, a page must be indexed and eligible to be shown in Google Search with a snippet, fulfilling the Search technical requirements. There are no additional technical requirements.”
검색에 제대로 잡히는 페이지라면 그것 말고 다른 조건은 없다는 뜻입니다. 그 위에 별도의 파일을 더 얹으라고 요구하지도 않습니다.
2026년 10월 덧붙임. 구글이 생성형 AI 기능을 위해 따로 낸 최적화 안내서(2026년 7월 10일 갱신)는 llms.txt 같은 파일을 직접 언급합니다.
“Doing so will neither harm nor help your site's visibility or rankings in Google Search, as Google Search ignores them.”
(그렇게 해도 구글 검색에서의 노출이나 순위에 득도 실도 없습니다. 구글 검색은 그 파일을 무시하기 때문입니다)
효과의 근거
규격을 제안한 문서도 마찬가지로, 주요 업체가 이 파일을 읽겠다고 약속한 대목은 없습니다. “AI 연구소들이 자기 개발 문서용으로 llms.txt를 내고 있다”는 내용은 있지만, 이것은 파일을 쓰는 쪽의 이야기이고 읽는 쪽의 약속과는 다릅니다.
업체마다 태도가 조금씩 다르기는 합니다. 앤스로픽은 에이전트용 문서 안내에서 이 파일을 권하고, 오픈AI는 자사 개발 도구 쪽에서 씁니다. 하지만 이것과 “넣으면 AI 검색에서 더 인용된다”는 주장은 전혀 다른 이야기이고, 뒤의 주장을 뒷받침하는 공개 근거는 아직 찾지 못했습니다.
그보다 먼저 할 일
llms.txt보다 먼저 챙겨야 할 것들은 이런 순서입니다.
- 서버가 처음 보내는 문서에 본문이 있는지 봅니다. 큰 글자가 이미지 안에 있거나 본문을 자바스크립트가 그리면 인용될 문장이 아예 없으므로, 이것부터 확인해야 합니다. 확인하는 방법은 다른 글에 정리했습니다.
- robots.txt에서 AI 크롤러를 어떻게 다룰지 정합니다. llms.txt와 달리 robots.txt는 크롤러들이 실제로 지키는 규약입니다. GPTBot, ClaudeBot, PerplexityBot, Google-Extended처럼 크롤러마다 이름이 있어서 하나씩 따로 정할 수 있습니다.
- 무엇에 관한 페이지인지 구조화 데이터로 표시합니다. 순위를 올리는 장치는 아니고, 기계가 페이지 내용을 헷갈리지 않게 돕는 표시입니다.
AI 답변에 인용되기를 원하면 크롤러를 허용해야 하고, 학습에 쓰이는 것을 원치 않으면 막아야 합니다. 두 가지를 한꺼번에 만족시키는 설정은 없습니다. 어느 쪽을 고를지는 사업상 판단이라 저희가 대신 정해 드리지 않습니다.
그래도 저희가 llms.txt를 두는 이유
코들리에 사이트에도 llms.txt가 있습니다. 효과의 근거가 없다면서도 이 파일을 둔 이유는 두 가지입니다.
첫째, 비용이 거의 들지 않습니다. 파일 한 장이라 크롤 예산을 쓰지 않고, 나중에 이 파일을 읽는 곳이 생기면 미리 있는 편이 낫습니다.
둘째, 파일을 쓰는 과정 자체가 쓸모 있었습니다. 사이트 내용을 한 장으로 요약하려면 페이지마다 무엇을 말하는지 정리해야 하는데, 그 정리가 파일보다 더 값졌습니다.
다만 저희는 llms.txt를 “AI 검색 최적화”라고 팔지 않습니다. 견적서에 이 항목이 있고 금액이 붙어 있다면, 무엇을 근거로 그 금액을 매겼는지 물어보셔도 됩니다. 견적서에서 무엇을 먼저 봐야 하는지는 다른 글에 정리했습니다.
자주 묻는 질문
llms.txt가 무엇인가요?
사이트에 어떤 내용이 있는지 기계에 알려 주려고 사이트 최상위 경로에 두는 파일입니다. 2024년 9월 3일 제러미 하워드가 제안했고, 사람도 바로 읽을 수 있는 마크다운 형식으로 씁니다. 규격 원문은 llmstxt.org에서 볼 수 있습니다.
넣으면 AI 검색에 더 잘 잡히나요?
그렇다는 근거는 확인하지 못했습니다. 구글의 AI 기능 안내 문서에는 llms.txt라는 말이 한 번도 나오지 않고, 그 대신 “AI 개요나 AI 모드에 나타나기 위한 추가 요구사항도, 특별한 최적화도 필요하지 않다”고 적혀 있습니다. 2026년 7월 갱신된 구글의 생성형 AI 최적화 안내서는 구글 검색이 이런 파일을 무시하므로 노출이나 순위에 득도 실도 없다고 밝혔습니다. 규격을 제안한 문서에도 주요 업체가 이 파일을 읽겠다고 약속한 내용은 없습니다.
그럼 넣지 말아야 하나요?
넣는다고 나빠지는 것은 없습니다. 파일 하나일 뿐이고 크롤 예산도 쓰지 않습니다. 다만 이 파일을 넣었다고 AI 검색 대비가 끝났다고 생각하시면 곤란합니다. 우선순위로 보면 훨씬 뒤에 할 일입니다.
무엇을 먼저 해야 하나요?
서버가 처음 보내는 문서에 본문이 들어 있는지부터 확인합니다. 화면에 보이는 글과 서버가 보내는 글이 같은지 비교해 보면 됩니다. 그다음은 robots.txt에서 AI 크롤러의 접근을 허용할지 정하는 일이고, 마지막으로 구조화 데이터로 각 페이지가 무엇에 관한 것인지 표시합니다.
AI 크롤러는 막아야 하나요, 허용해야 하나요?
원하시는 것에 따라 달라집니다. AI 답변에 인용되기를 원하시면 허용해야 하고, 콘텐츠가 학습에 쓰이는 것을 원치 않으시면 막으시면 됩니다. 한쪽을 고르면 다른 쪽은 포기하게 됩니다. robots.txt에서 크롤러 이름별로 따로 설정할 수 있습니다.
robots.txt와 llms.txt는 다른 건가요?
다릅니다. robots.txt는 크롤러가 사이트의 어디를 수집해도 되는지 정하는 오래된 규약이고, 크롤러들이 실제로 따릅니다. llms.txt는 사이트에 무엇이 있는지 알려 주자는 제안이고, 아직 제안 단계에 머물러 있습니다.
일의 순서가 뒤바뀐 경우가 많습니다. 파일부터 얹기 전에 서버가 보내는 문서에 본문이 있는지 먼저 확인해 보십시오. 주소만 넣으면 바로 측정해 드리고, 이름이나 메일 주소는 받지 않습니다.
내 사이트 먼저 재 보기