robots 설정하기 > 기술자료

Search robots 설정하기

페이지 정보

작성자 관리자1 쪽지보내기 메일보내기 홈페이지 자기소개 아이디로 검색 전체게시물
댓글 0건 조회 22,855회 작성일 2007-05-17 15:30:58 ~ 2024-10-14 21:00:49

본문

robots 는 외부 검색엔진에 본인의 웹페이지 내용이 수집되는 것을 원치 않는 경우 사용합니다.

1. meta 테그로 적용하기
<head>와 </head> 사이에 테그를 넣음으로서 검색로봇을 제어하는 방법입니다.

1-1.검색로봇 허용하기
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">

1-2.검색로봇 거부하기
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">

2. robots.txt 파일로 적용하기

Allow or Disallow
disallow: /   : 모든 하위 문서에 대해 배재를 의미하고,
disallow: : 아무것도 지정하지 않으면 허가를 의미
disallow: /data/    : 디렉토리인 경우 / 기호로 끝나야 합니다.
~~disallow: /data     : data 디렉토리와 그 디렉토리내의 파일이 적용대상~~

2-1. 검색엔진 수집 허용
User-agent: *
Allow: /

robots.txt 파일은 설정한 순간부터 검색 로봇이 방문하지 않게 됩니다.
따라서 이미 검색엔진에 수집된 페이지가 삭제되는 데는 시간이 걸립니다.
바로 삭제하길 원하시는 분은 직접 해당 검색 사이트에 요청합니다.

네이버 검색허용
User-agent: Yeti
User-agent: Naverbot
Allow: /

2-2. 검색차단(거부)
User-agent: *
Disallow: /

# ChatGPT AI 수집차단
User-agent: GPTBot
Disallow: /

# 네이버 검색차단
User-agent: Yeti
User-agent: Naverbot
User-agent: AdsBot-Naver
Disallow: /

# archive.org 의 수집을 차단
User-agent: ia_archiver
Disallow: /

# 구글 이미지 검색에서 수집을 차단
User-Agent: Googlebot-Image
Disallow: /

# 야후 이미지 검색에서 수집을 차단
User-Agent: Yahoo-MMCrawler
Disallow: /

# 벅스뮤직을 비롯한 코리아와이즈넛의 검색로봇을 수집 거부
User-Agent: wisebot
Disallow: /

# 아마존 봇 ( Amazon bot ) 검색로봇을 수집 거부
User-agent: Amazonbot
Disallow: /

# http://majestic12.co.uk/bot.php
User-Agent: MJ12bot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: AhrefsBot
Disallow: /

# http://www.baidu.com/search/spider.html
User-agent: Baiduspider
Disallow: /

# http://www.semrush.com/bot.html
User-agent: SemrushBot
Disallow: /

# https://aspiegel.com/petalbot
User-agent: PetalBot
Disallow: /

# http://www.apple.com/go/applebot
User-agent: Applebot
Disallow: /

User-agent: BomboraBot
Disallow: /

User-agent: Buck
Disallow: /

# https://babbar.tech/crawler
User-agent: barkrowler
Disallow: /

# https://dataforseo.com/dataforseo-bot
User-agent: DataForSeoBot
Disallow: /

User-agent: Bytespider
Disallow: /

※ 다음(www.daum.net)은 구글과 같은 검색로봇을 사용합니다. 구글을 거부하면 다음 검색 로봇도 거부하게 됩니다.
~~※ 파란(www.paran.com)은 야후의 검색로봇을 사용합니다. 야후를 제외하시면 파란도 함께 제외됩니다.~~

2-3. 특정폴더는 검색허용 안할때
User-agent: *
Disallow: /adm/

2-4. Sitemap 경로 등록
Sitemap: http://경로/sitemap.xml

2-5. 샘플 (광고성 봇 차단 / 주요검색엔진 허용)
# 허용 X 로봇 리스트

User-agent: Amazonbot
Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: BDCbot
Disallow: /

User-agent: BusinessBot
Disallow: /

User-agent: Dataprovider.com
Disallow: /

User-agent: DialogSearch.com Bot
Disallow: /

User-agent: Digincore crawler bot
Disallow: /

User-agent: DomainSigmaCrawler
Disallow: /

User-agent: Googlebot-Image
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: kisaBot
Disallow: /

User-agent: Mail.RU_Bot
Disallow: /

User-agent: MediavBot
Disallow: /

User-agent: memoryBot
Disallow: /

User-agent: mfibot
Disallow: /

User-agent: msnbot-media
Disallow: /

User-agent: NeumobBot
Disallow: /

User-agent: PageAnalyzer
Disallow: /

User-agent: PagesInventory
Disallow: /

User-agent: Plukkie
Disallow: /

User-agent: roboto
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: RSNBOT
Disallow: /

User-agent: SafeDNSBot
Disallow: /

User-agent: semanticbot
Disallow: /

User-agent: SMTBot
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: UXCrawlerBot
Disallow: /

User-agent: Wotbox
Disallow: /

# 허용 △ 로봇 리스트

User-agent: AdsBot-Naver
Crawl-delay: 30

User-agent: msnbot
Crawl-delay: 60

User-agent: bingbot
Crawl-delay: 60

User-agent: SemrushBot
Crawl-delay: 30

User-agent: SemrushBot-SA
Crawl-delay: 30

User-agent: DomainCrawler
Crawl-delay: 30

User-agent: MegaIndex.ru
Crawl-delay: 30

User-agent: AlphaBot
Crawl-delay: 30

User-agent: ltx71
Crawl-delay: 30

User-agent: CCBot
Crawl-delay: 30

User-agent: Sogou
Crawl-delay: 30

User-agent: DotBot
Crawl-delay: 30

User-agent: PiplBot
Crawl-delay: 30

User-agent: MJ12bot
Crawl-delay: 30

User-agent: AhrefsBot
Crawl-delay: 30

User-agent: MauiBot
Crawl-delay: 30

User-agent: AhrefsBot
Crawl-delay: 30

User-agent: ezooms
Crawl-delay: 30

User-agent: sistrix
Crawl-delay: 30

User-agent: Yandex
Crawl-delay: 30

# 허용 O 로봇 리스트

User-agent: Daum
allow: /

User-agent: Daumoa
allow: /

User-agent: Googlebot
allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: Yeti
Allow: /

User-agent: ZumBot
Allow: /

# 사이트맵 주소
Sitemap: http://경로/sitemap.xml
Sitemap: http://경로/sitemap.html
Sitemap: http://경로/sitemap.php

참고자료
~~http://help.egloos.com/7792~~
~~http://radiocom.kunsan.ac.kr/lecture/home_page/robots_txt.html~~
http://www.egocube.pe.kr/Translation/Content/seo/201006140001
http://chongmoa.com/webtool/4028
~~https://kensei.co.kr/270~~
http://www.robotstxt.org/db.html
https://sir.kr/cm_free/1670530
http://www.iwav.co.kr/558
http://sulfur.pe.kr/tech/board.php?board=web&command=body&no=52
https://homzzang.com/b/free-4300

댓글목록

등록된 댓글이 없습니다.

12	Search 30628 2009-11-25 17:52 ~ 2023-02-02 12:27 사이트 등록하기
11	Search 12443 2009-09-22 19:23 Naver(네이버) 등록 서류 접수
10	Search 14444 2009-09-02 11:46 ~ 2009-09-21 00:00 검색 웹문서 삭제요청
9	Search 12307 2009-06-12 08:12 Naver(네이버) 홈페이지 위치정보 기준에 어긋나는 요청
8	Search 19183 2009-02-17 08:32 Google(구글) 색인에서 내 콘텐츠 제거하기
7	Search 10921 2009-02-13 18:00 주요 포털 사이트 고객센터 전화번호
6	Search 11927 2008-09-03 14:53 Naver(네이버) 등록자정보 서약서
5	Search 12851 2007-08-14 18:25 ~ 2015-02-13 00:00 접속자마케팅 http.or.kr 서비스 이용방법
열람	Search 22855 2007-05-17 15:30 ~ 2024-10-14 21:00 robots 설정하기
3	Search 12451 2007-02-07 07:35 검색엔진에 잘 노출되는 방법
2	Search 12103 2007-02-03 10:56 Overture(오버추어) 스폰서 링크 광고금액 및 조회수 알아보기
1	Search 12551 2004-08-23 15:59 포탈 키워드 검색조회기

robots 설정하기 > 기술자료

사이트 내 전체검색