NATE[검색서비스] 웹문서 검색 "위 사이트의 로봇룰을 준수하여, 관련 정보를 보여드리지 못하였습니다" 메시지는 어떤 의미인가요?
로봇 배제 표준(Robots Exclusion Standard)은 사이트의 루트에 위치하는 robots.txt를 통해 설정되며, 웹문서 수집 로봇이 사이트 내 정보를 수집하는 것을 허용 또는 제한하는 일종의 로봇 규칙입니다.
사용자는 robots.txt에 명시한 로봇규칙 이외로, 웹페이지의 meta tag 안에 로봇룰을 명시하여 특정 웹페이지의 수집을 제한할 수 있으며, 다양한 출처의 웹문서 수집 시에 이 로봇 배제 표준을 명확하게 준수하고 있습니다.
"위 사이트의 robots.txt를 준수하여, 관련 정보를 보여드리지 못하였습니다"와 같은 메시지가 노출되는 것은, 로봇 배제 표준에 따라 다음 웹문서 결과에 해당 사이트의 정보를 보여주지 못하는 경우이며, 이는 사이트를 소유한 사용자가 의도를 가지고 robots.txt에 웹문서 수집 로봇을 제한한 경우입니다.
사용자의 만족스러운 검색 결과 제공을 위해 로봇을 이용해 웹문서 수집을 하고 있지만, 그보다 앞서 웹페이지 소유자의 로봇 설정 의도를 가장 존중하며, 이에 로봇 배제 표준을 준수합니다.
웹문서 수집이 제한된 페이지임에도 불구하고 다음 웹문서 결과에 해당 페이지의 제목 정보가 노출되는 것은, 다른 웹페이지에서 해당 수집 제한 페이지의 링크를 걸 때 사용되는 Anchor Text의 분석 이후 선택된 정보가 사용되기 때문입니다.
[웹문서 수집을 허용하도록 로봇룰 설정하기]
1. 사용자가 소유한 사이트 내의 문서를 다음 웹문서 검색결과에 나오게 하고 싶다면, 사이트의 robots.txt를 아래와 같이 설정해 주세요.
(설정한 내역은 웹검색에 반영되기까지 약간의 시간이 걸릴 수 있습니다.)
user-agent:Daum
allow: /
2. 만약 로봇룰 설정을 변경하였는데도 다음 웹검색에 노출이 되지 않는다면,
웹페이지의 meta tag안에 noindex,none,nosnippet 로봇룰이 설정되어 있는지 확인해 주세요.
참고:
Mozilla/5.0 (compatible; MSIE or Firefox mutant; not on Windows server;) Daum 4.1
NATE[검색서비스] 웹문서 검색 웹마스터도구 Beta PIN 코드 발급 안내.
웹마스터도구 Beta 사용을 위한 PIN 코드 발급 및 절차 안내
1. 첫 화면에서 [PIN코드 발급 받기] 클릭해주세요.
2. 사이트 URL을 입력해주세요.
3. PIN 코드 8~12자리 입력하고, PIN코드 확인을 위해 동일한 8~12자리를 재입력이 필요합니다.
4. 반드시 이용 동의 확인 및 체크 완료를 해주세요.
5. URL 인증키 발급 절차를 진행하시면 완료 됩니다.
(* 이용 동의 확인 이후 6개월 경과시 초기화 됩니다. PIN코드 발급을 부탁드립니다.)
NATE[검색서비스] 웹문서 검색 웹마스터도구 Beta 서비스는 누구나 이용 할 수 있나요?
도메인을 소유한 웹 사이트 관리자만 이용이 가능 합니다.
- 개인 블로그, 개인 SNS 계정 이용자는 이용할 수 없습니다.
NATE[검색서비스] 웹마스터도구 Beta 서비스는 무엇인가요?
웹사이트 관리자는 웹마스터도구 Beta 서비스를 활용하여 검색이 나의 웹사이트를 어떻게 분석하고 있는지 확인 할 수 있습니다.
또한 나의 웹사이트를 검색 결과에 현재 보다 개선한 방향으로 노출 할 수 있도록 도움을 받을 수 있습니다.
본 서비스는 모두 무료로 제공합니다.
- 웹마스터도구 Beta 서비스가 제공하는 목록은 아래와 같습니다.
(1) 검색 최적화 (SEO) 정보
검색 엔진에 최적화 되어 있는지를 분석 및 제공합니다.
(2) 정보 분석 정보
- 수집정보 : 검색 크롤러가 수집한 정보를 기간별 통계 차트로 제공합니다.
- 색인정보 : 검색엔진이 색인한 정보를 기간별 통계 차트로 제공합니다.
- 검색정보 : 웹검색 결과가 해당 사이트 문서 노출 및 클릭 정보를 기간별 통계 차트로 제공합니다.
(3) 문서분석 문서 분석을 이용하여 타이틀, 내용, 날짜가 잘못 나오고 있다면, 검색에 올바른 구조로 개선할 수 있도록 가이드 합니다.
(4) 웹사이트 수집요청을 수행할 수 있습니다.
(5) 검색 크롤러가 웹 사이트 수집이 가능한 상태인지 여부를 확인할 수 있습니다.
* 검색 크롤러가 수집 가능한 웹 사이트는 웹마스터도구 Beta의 등록 여부와는 무관 하게 검색 기준에 따라 검색 노출이 가능 합니다.
출처: NATE 고객센터: https://helpdesk.nate.com/