스킬(skills)/HTML 20

검색엔진에서 사이트 정보수집 방지 방법

검색엔진이 자신의 사이트 정보수집을 원하지 않을경우 두가지 방법이 있다. 1. robots.txt 파일을 만드다. robots.txt 파일의 위치는 웹서버 홈디레토리에 위치해야한다. 즉 브라우져로 http://도메인명/robots.txt 파일로 접근시 확인이 되는위치. User-agent:* Disallow:/폴더명 Allow:/폴더명 User-agent -> 검색엔진 명 (*는 모두,naverbot 네이버, Googlebot 구글) Disallow -> 수집 차단 폴더. 하위폴더까지 포함 Allow -> 수집 허용할 폴더. 하위폴더까지 포함. 포털사이트도 타 검색엔진에 수집을 원하지 않는 데이터가 있다. 구글 : http://www.google.com/robots.txt 네이버 : http://www...

스킬(skills)/HTML 2013.05.23