robots.txt에 대하여

robots.txt 란?

robots.txt는 웹사이트의 루트 디렉터리에 위치하는 텍스트 파일로, 

검색 엔진 크롤러(로봇)에게 사이트의 어떤 페이지나 디렉터리를 크롤링(수집)할 수 있고, 

어떤 부분은 수집하면 안 되는지 지시하는 역할을 한다고 한다.

 

기본 구조

User-agent: [크롤러 이름 또는 *]
Disallow: [차단할 경로]
Allow: [허용할 경로]

 

예시

1. 모든 크롤러가 모든 페이지를 접근 못 하도록

User-agent: *
Disallow: /

2. 모든 크롤러가 모든 페이지를 접근 가능하도록

User-agent: *
Disallow:

User-agent: *
Allow: /

3. /private/ 디렉터리만 막기

User-agent: *
Disallow: /private/

4. Googlebot은 접근 가능, 다른 봇은 차단

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /

 

robots.txt의 위치

항상 사이트 루트에 있어야 함
예: https://www.example.com/robots.txt

 

주의사항

• robots.txt는 보안 도구가 아니다. 크롤러에게 "이 경로는 크롤링하지 마세요"라고 요청할 뿐, 강제로 막는 것이 아니다.
• 민감한 정보는 robots.txt에 적지 말고, 서버 인증 또는 접근 권한으로 차단해야 한다.

 

robots.txt 검사

URL에 https://example.com/robots.txt를 입력해서 확인

 

 

 

참고

https://searchadvisor.naver.com/guide/seo-basic-robots

robots.txt 설정하기

https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt?hl=ko

robots.txt 파일 만들기 및 제출 | Google 검색 센터  |  Documentation  |  Google for Developers

https://seo.tbwakorea.com/blog/robots-txt-complete-guide/

10분 안에 끝내는 robots.txt 총정리 가이드