robots.txt 에 관리자 주소를 적으면 안 되는 이유 — 숨기기는 noindex, 막기는 로그인
robots.txt 는 주소 뒤에 /robots.txt 만 치면 누구나 볼 수 있는 파일입니다. Disallow 에 /admin 을 적으면 검색엔진은 안 가져가도 사람은 관리자 주소를 알게 됩니다. 대신 쓸 방법 두 가지.
robots.txt 는 숨기는 파일이 아닙니다. 주소 뒤에 /robots.txt 를 붙이면 누구나 열어 볼 수 있고, 거기에 Disallow: /admin 이라고 적으면 검색엔진은 그 주소를 가져가지 않아도 사람은 관리자 주소가 어디인지 알게 됩니다. 검색에 안 나오게 하려면 그 페이지에 noindex 를, 아무나 못 들어오게 하려면 로그인을 겁니다.
robots.txt 는 누구나 볼 수 있다
robots.txt 는 검색엔진 로봇에게 “이 주소는 가져가지 마세요” 하고 알려 주는 텍스트 파일입니다. 로봇이 읽어야 하니까 사이트 맨 위 주소에 공개로 둡니다. 로봇이 읽을 수 있으면 사람도 읽을 수 있습니다.
지금 바로 내 사이트에서 확인해 볼 수 있습니다.
- 브라우저 주소창에
내도메인/robots.txt를 칩니다 Disallow:줄에 어떤 주소가 적혀 있는지 봅니다
이 사이트(ller.kr)의 robots.txt 는 이렇게 세 줄입니다. 막는 주소가 없습니다.
User-agent: *
Allow: /
Sitemap: https://ller.kr/sitemap-index.xml
Disallow 에 적으면 생기는 일
AI 에게 “관리자 페이지는 검색에 안 나오게 해 줘” 하고 맡기면 robots.txt 에 이런 줄을 넣어 줄 수 있습니다.
User-agent: *
Disallow: /admin
Disallow: /dashboard
Disallow: /backup
검색엔진은 이 주소들을 가져가지 않습니다. 하지만 이 파일을 연 사람은 관리자 화면이 /admin 에, 백업이 /backup 에 있다는 걸 바로 압니다. 사이트를 훑고 다니는 프로그램도 robots.txt 를 먼저 읽고, 적힌 주소부터 열어 봅니다.

그리고 robots.txt 는 검색 결과에서 빼 주는 기능도 아닙니다. Google 검색 센터 문서에는 robots.txt 가 “웹페이지를 Google 에 표시되지 않도록 하는 방법이 아니다”라고 적혀 있습니다. 다른 사이트에 링크가 걸려 있으면 막아 둔 주소도 검색 결과에 주소만 뜰 수 있습니다.
하고 싶은 일에 따라 다르게
| 하고 싶은 일 | 쓸 방법 |
|---|---|
| 검색 결과에 안 나오게 | 그 페이지에 noindex |
| 아무나 못 들어오게 | 로그인(또는 비밀번호) |
| 검색엔진이 너무 자주 와서 서버가 힘듦 | robots.txt Disallow |
검색에 안 나오게 — noindex
페이지 <head> 안에 한 줄을 넣습니다.
<meta name="robots" content="noindex">
이 줄은 그 페이지를 연 로봇만 보기 때문에, 다른 곳에 관리자 주소 목록을 남기지 않습니다. 단, 이 페이지를 robots.txt 에서도 막아 두면 로봇이 페이지를 못 열어서 noindex 를 읽지 못합니다. 둘을 같이 쓰지 않습니다.
반대로 noindex 가 실수로 모든 페이지에 들어가 있으면 사이트 전체가 검색에 안 뜹니다. 오픈하고 한참 검색에 안 나오면 이 줄부터 찾아봅니다.
아무나 못 들어오게 — 로그인
관리자 화면은 주소를 모르게 하는 것으로 지키지 않습니다. 주소는 언젠가 알려집니다. 로그인하지 않은 사람, 관리자가 아닌 회원이 열면 막히게 해야 합니다.
확인은 이렇게 합니다.
- 로그아웃하거나 시크릿 창을 엽니다
- 주소창에
/admin,/dashboard를 직접 칩니다 - 로그인 화면으로 넘어가면 괜찮습니다. 화면이나 데이터가 보이면 막혀 있지 않은 것입니다
- 일반 회원으로 로그인한 다음 같은 주소를 다시 열어 봅니다
AI 에게 맡길 때는 이렇게 붙여 넣으면 됩니다.
robots.txt 에서 /admin, /dashboard 같은 관리자 주소를 지워 주세요. 관리자 페이지에는 noindex 메타 태그를 넣고, 로그인하지 않았거나 관리자가 아닌 사용자가 열면 서버에서 막아 주세요.
이미 적어 뒀다면
robots.txt 에서 지우는 것만으로는 끝나지 않습니다. 이미 누군가 봤을 수 있으니, 적혀 있던 주소들을 로그아웃 상태로 하나씩 열어 보고 막혀 있는지 확인합니다. /backup 처럼 파일이 있는 주소였다면 그 파일을 사이트에서 내립니다. 설정 파일이 밖에서 열리는지도 같이 보면 좋습니다(설정 파일이 밖에서 열리는 경우).
2026년 10월 Google 검색 센터 robots.txt 소개 기준입니다.