Search robots 설정하기
페이지 정보
본문
robots 는 외부 검색엔진에 본인의 웹페이지 내용이 수집되는 것을 원치 않는 경우 사용합니다.
1. meta 테그로 적용하기
<head>와 </head> 사이에 테그를 넣음으로서 검색로봇을 제어하는 방법입니다.
1-1.검색로봇 허용하기
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
1-2.검색로봇 거부하기
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">
2. robots.txt 파일로 적용하기
Allow or Disallow
disallow: / : 모든 하위 문서에 대해 배재를 의미하고,
disallow: : 아무것도 지정하지 않으면 허가를 의미
disallow: /data/ : 디렉토리인 경우 / 기호로 끝나야 합니다.
disallow: /data : data 디렉토리와 그 디렉토리내의 파일이 적용대상
2-1. 검색엔진 수집 허용
User-agent: *
Allow: /
robots.txt 파일은 설정한 순간부터 검색 로봇이 방문하지 않게 됩니다.
따라서 이미 검색엔진에 수집된 페이지가 삭제되는 데는 시간이 걸립니다.
바로 삭제하길 원하시는 분은 직접 해당 검색 사이트에 요청합니다.
네이버 검색허용
User-agent: Yeti
User-agent: Naverbot
Allow: /
2-2. 검색차단(거부)
User-agent: *
Disallow: /
# ChatGPT AI 수집차단
User-agent: GPTBot
Disallow: /
# 네이버 검색차단
User-agent: Yeti
User-agent: Naverbot
User-agent: AdsBot-Naver
Disallow: /
# archive.org 의 수집을 차단
User-agent: ia_archiver
Disallow: /
# 구글 이미지 검색에서 수집을 차단
User-Agent: Googlebot-Image
Disallow: /
# 야후 이미지 검색에서 수집을 차단
User-Agent: Yahoo-MMCrawler
Disallow: /
# 벅스뮤직을 비롯한 코리아와이즈넛의 검색로봇을 수집 거부
User-Agent: wisebot
Disallow: /
# 아마존 봇 ( Amazon bot ) 검색로봇을 수집 거부
User-agent: Amazonbot
Disallow: /
# http://majestic12.co.uk/bot.php
User-Agent: MJ12bot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: AhrefsBot
Disallow: /
# http://www.baidu.com/search/spider.html
User-agent: Baiduspider
Disallow: /
# http://www.semrush.com/bot.html
User-agent: SemrushBot
Disallow: /
# https://aspiegel.com/petalbot
User-agent: PetalBot
Disallow: /
# http://www.apple.com/go/applebot
User-agent: Applebot
Disallow: /
User-agent: BomboraBot
Disallow: /
User-agent: Buck
Disallow: /
# https://babbar.tech/crawler
User-agent: barkrowler
Disallow: /
# https://dataforseo.com/dataforseo-bot
User-agent: DataForSeoBot
Disallow: /
User-agent: Bytespider
Disallow: /
※ 다음(www.daum.net)은 구글과 같은 검색로봇을 사용합니다. 구글을 거부하면 다음 검색 로봇도 거부하게 됩니다.
※ 파란(www.paran.com)은 야후의 검색로봇을 사용합니다. 야후를 제외하시면 파란도 함께 제외됩니다.
2-3. 특정폴더는 검색허용 안할때
User-agent: *
Disallow: /adm/
2-4. Sitemap 경로 등록
Sitemap: http://경로/sitemap.xml
2-5. 샘플 (광고성 봇 차단 / 주요검색엔진 허용)
# 허용 X 로봇 리스트
User-agent: Amazonbot
Disallow: /
User-agent: archive.org_bot
Disallow: /
User-agent: BDCbot
Disallow: /
User-agent: BusinessBot
Disallow: /
User-agent: Dataprovider.com
Disallow: /
User-agent: DialogSearch.com Bot
Disallow: /
User-agent: Digincore crawler bot
Disallow: /
User-agent: DomainSigmaCrawler
Disallow: /
User-agent: Googlebot-Image
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: kisaBot
Disallow: /
User-agent: Mail.RU_Bot
Disallow: /
User-agent: MediavBot
Disallow: /
User-agent: memoryBot
Disallow: /
User-agent: mfibot
Disallow: /
User-agent: msnbot-media
Disallow: /
User-agent: NeumobBot
Disallow: /
User-agent: PageAnalyzer
Disallow: /
User-agent: PagesInventory
Disallow: /
User-agent: Plukkie
Disallow: /
User-agent: roboto
Disallow: /
User-agent: rogerbot
Disallow: /
User-agent: RSNBOT
Disallow: /
User-agent: SafeDNSBot
Disallow: /
User-agent: semanticbot
Disallow: /
User-agent: SMTBot
Disallow: /
User-agent: SurveyBot
Disallow: /
User-agent: TurnitinBot
Disallow: /
User-agent: UXCrawlerBot
Disallow: /
User-agent: Wotbox
Disallow: /
# 허용 △ 로봇 리스트
User-agent: AdsBot-Naver
Crawl-delay: 30
User-agent: msnbot
Crawl-delay: 60
User-agent: bingbot
Crawl-delay: 60
User-agent: SemrushBot
Crawl-delay: 30
User-agent: SemrushBot-SA
Crawl-delay: 30
User-agent: DomainCrawler
Crawl-delay: 30
User-agent: MegaIndex.ru
Crawl-delay: 30
User-agent: AlphaBot
Crawl-delay: 30
User-agent: ltx71
Crawl-delay: 30
User-agent: CCBot
Crawl-delay: 30
User-agent: Sogou
Crawl-delay: 30
User-agent: DotBot
Crawl-delay: 30
User-agent: PiplBot
Crawl-delay: 30
User-agent: MJ12bot
Crawl-delay: 30
User-agent: AhrefsBot
Crawl-delay: 30
User-agent: MauiBot
Crawl-delay: 30
User-agent: AhrefsBot
Crawl-delay: 30
User-agent: ezooms
Crawl-delay: 30
User-agent: sistrix
Crawl-delay: 30
User-agent: Yandex
Crawl-delay: 30
# 허용 O 로봇 리스트
User-agent: Daum
allow: /
User-agent: Daumoa
allow: /
User-agent: Googlebot
allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Yeti
Allow: /
User-agent: ZumBot
Allow: /
# 사이트맵 주소
Sitemap: http://경로/sitemap.xml
Sitemap: http://경로/sitemap.html
Sitemap: http://경로/sitemap.php
참고자료
http://help.egloos.com/7792
http://radiocom.kunsan.ac.kr/lecture/home_page/robots_txt.html
http://www.egocube.pe.kr/Translation/Content/seo/201006140001
http://chongmoa.com/webtool/4028
https://kensei.co.kr/270
http://www.robotstxt.org/db.html
https://sir.kr/cm_free/1670530
http://www.iwav.co.kr/558
http://sulfur.pe.kr/tech/board.php?board=web&command=body&no=52
https://homzzang.com/b/free-4300
1. meta 테그로 적용하기
<head>와 </head> 사이에 테그를 넣음으로서 검색로봇을 제어하는 방법입니다.
1-1.검색로봇 허용하기
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
1-2.검색로봇 거부하기
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">
2. robots.txt 파일로 적용하기
Allow or Disallow
disallow: / : 모든 하위 문서에 대해 배재를 의미하고,
disallow: : 아무것도 지정하지 않으면 허가를 의미
disallow: /data/ : 디렉토리인 경우 / 기호로 끝나야 합니다.
2-1. 검색엔진 수집 허용
User-agent: *
Allow: /
robots.txt 파일은 설정한 순간부터 검색 로봇이 방문하지 않게 됩니다.
따라서 이미 검색엔진에 수집된 페이지가 삭제되는 데는 시간이 걸립니다.
바로 삭제하길 원하시는 분은 직접 해당 검색 사이트에 요청합니다.
네이버 검색허용
User-agent: Yeti
User-agent: Naverbot
Allow: /
2-2. 검색차단(거부)
User-agent: *
Disallow: /
# ChatGPT AI 수집차단
User-agent: GPTBot
Disallow: /
# 네이버 검색차단
User-agent: Yeti
User-agent: Naverbot
User-agent: AdsBot-Naver
Disallow: /
# archive.org 의 수집을 차단
User-agent: ia_archiver
Disallow: /
# 구글 이미지 검색에서 수집을 차단
User-Agent: Googlebot-Image
Disallow: /
# 야후 이미지 검색에서 수집을 차단
User-Agent: Yahoo-MMCrawler
Disallow: /
# 벅스뮤직을 비롯한 코리아와이즈넛의 검색로봇을 수집 거부
User-Agent: wisebot
Disallow: /
# 아마존 봇 ( Amazon bot ) 검색로봇을 수집 거부
User-agent: Amazonbot
Disallow: /
# http://majestic12.co.uk/bot.php
User-Agent: MJ12bot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: AhrefsBot
Disallow: /
# http://www.baidu.com/search/spider.html
User-agent: Baiduspider
Disallow: /
# http://www.semrush.com/bot.html
User-agent: SemrushBot
Disallow: /
# https://aspiegel.com/petalbot
User-agent: PetalBot
Disallow: /
# http://www.apple.com/go/applebot
User-agent: Applebot
Disallow: /
User-agent: BomboraBot
Disallow: /
User-agent: Buck
Disallow: /
# https://babbar.tech/crawler
User-agent: barkrowler
Disallow: /
# https://dataforseo.com/dataforseo-bot
User-agent: DataForSeoBot
Disallow: /
User-agent: Bytespider
Disallow: /
※ 다음(www.daum.net)은 구글과 같은 검색로봇을 사용합니다. 구글을 거부하면 다음 검색 로봇도 거부하게 됩니다.
2-3. 특정폴더는 검색허용 안할때
User-agent: *
Disallow: /adm/
2-4. Sitemap 경로 등록
Sitemap: http://경로/sitemap.xml
2-5. 샘플 (광고성 봇 차단 / 주요검색엔진 허용)
# 허용 X 로봇 리스트
User-agent: Amazonbot
Disallow: /
User-agent: archive.org_bot
Disallow: /
User-agent: BDCbot
Disallow: /
User-agent: BusinessBot
Disallow: /
User-agent: Dataprovider.com
Disallow: /
User-agent: DialogSearch.com Bot
Disallow: /
User-agent: Digincore crawler bot
Disallow: /
User-agent: DomainSigmaCrawler
Disallow: /
User-agent: Googlebot-Image
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: kisaBot
Disallow: /
User-agent: Mail.RU_Bot
Disallow: /
User-agent: MediavBot
Disallow: /
User-agent: memoryBot
Disallow: /
User-agent: mfibot
Disallow: /
User-agent: msnbot-media
Disallow: /
User-agent: NeumobBot
Disallow: /
User-agent: PageAnalyzer
Disallow: /
User-agent: PagesInventory
Disallow: /
User-agent: Plukkie
Disallow: /
User-agent: roboto
Disallow: /
User-agent: rogerbot
Disallow: /
User-agent: RSNBOT
Disallow: /
User-agent: SafeDNSBot
Disallow: /
User-agent: semanticbot
Disallow: /
User-agent: SMTBot
Disallow: /
User-agent: SurveyBot
Disallow: /
User-agent: TurnitinBot
Disallow: /
User-agent: UXCrawlerBot
Disallow: /
User-agent: Wotbox
Disallow: /
# 허용 △ 로봇 리스트
User-agent: AdsBot-Naver
Crawl-delay: 30
User-agent: msnbot
Crawl-delay: 60
User-agent: bingbot
Crawl-delay: 60
User-agent: SemrushBot
Crawl-delay: 30
User-agent: SemrushBot-SA
Crawl-delay: 30
User-agent: DomainCrawler
Crawl-delay: 30
User-agent: MegaIndex.ru
Crawl-delay: 30
User-agent: AlphaBot
Crawl-delay: 30
User-agent: ltx71
Crawl-delay: 30
User-agent: CCBot
Crawl-delay: 30
User-agent: Sogou
Crawl-delay: 30
User-agent: DotBot
Crawl-delay: 30
User-agent: PiplBot
Crawl-delay: 30
User-agent: MJ12bot
Crawl-delay: 30
User-agent: AhrefsBot
Crawl-delay: 30
User-agent: MauiBot
Crawl-delay: 30
User-agent: AhrefsBot
Crawl-delay: 30
User-agent: ezooms
Crawl-delay: 30
User-agent: sistrix
Crawl-delay: 30
User-agent: Yandex
Crawl-delay: 30
# 허용 O 로봇 리스트
User-agent: Daum
allow: /
User-agent: Daumoa
allow: /
User-agent: Googlebot
allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Yeti
Allow: /
User-agent: ZumBot
Allow: /
# 사이트맵 주소
Sitemap: http://경로/sitemap.xml
Sitemap: http://경로/sitemap.html
Sitemap: http://경로/sitemap.php
참고자료
http://www.egocube.pe.kr/Translation/Content/seo/201006140001
http://chongmoa.com/webtool/4028
http://www.robotstxt.org/db.html
https://sir.kr/cm_free/1670530
http://www.iwav.co.kr/558
http://sulfur.pe.kr/tech/board.php?board=web&command=body&no=52
https://homzzang.com/b/free-4300
댓글목록
등록된 댓글이 없습니다.