구글 봇 사용법 #

구글링 크롤링 안되게하려면..

User-agent: * Disallow: /숨기고싶은URI경로/

모든 봇들에게 적용된다.

url에 "/"라는 디렉토리는 못긁어가지만

Allow: /$ Allow: /w/ Allow: /OrphanedPages Allow: /UncategorizedPages Allow: /ShortestPages Allow: /LongestPages Allow: /RecentChanges Allow: /RecentDiscuss

이거는 예외적으로 허용해주겠다

/ <= 이렇게쓰면 하위디렉토리 전부 포함이라는 뜻인거고요