문서의 임의 삭제는 제재 대상으로, 문서를 삭제하려면 삭제 토론을 진행해야 합니다. 문서 보기문서 삭제토론 robots.txt (문단 편집) == 사용예 == 반드시 폴더명 맨 끝에 /를 붙여야 한다. 붙이지 않으면 확장자가 없는 파일로 인식하기 때문에 제대로 작동하지 않는다. 특정 디렉토리의 접근을 허가하려면 ||User-agent: 제어할 로봇의 User-Agent Allow: /foo/bar/|| 특정 디렉토리의 접근을 차단하려면 ||User-agent: 제어할 로봇의 User-Agent Disallow: /foo/bar/|| 모든 문서에 대해 접근을 허가하려면 (사실상 의미는 없다.) ||User-agent: * Allow: /|| 사용 중인 사이트: [[기글하드웨어]] 등. 모든 문서에 대해 접근을 차단하려면 ||User-agent: * Disallow: /|| 사용 중인 사이트: [[다음]] 메인화면 및 검색결과[* 웬만한 서비스는 모두 크롤링을 금지하고 있는 네이버와 달리 다음은 메인화면과 검색결과 한정으로 크롤링을 금지한다.] 등. 모든 문서에 대해 접근을 차단하고, 첫 페이지에 대해서만 허가 ||User-agent: * Disallow: / Allow : /$ || 사용 중인 사이트: [[네이버]] 메인화면[* 즉, 네이버는 첫 페이지는 제외하고 크롤링을 절대 금한다는 말이 된다. 크롤링해서 먹고사는 회사가 크롤링을 막는다!], [[네이트]] 메인화면, [[줌(포털사이트)|줌]] 메인화면 등.저장 버튼을 클릭하면 당신이 기여한 내용을 CC-BY-NC-SA 2.0 KR으로 배포하고,기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다.이 동의는 철회할 수 없습니다.캡챠저장미리보기