robots 설정하기 > 기술자료

Search robots 설정하기

페이지 정보

작성자 관리자1 쪽지보내기 메일보내기 홈페이지 자기소개 아이디로 검색 전체게시물
댓글 0건 조회 22,726회 작성일 2007-05-17 15:30:58 ~ 2024-10-14 21:00:49

본문

robots 는 외부 검색엔진에 본인의 웹페이지 내용이 수집되는 것을 원치 않는 경우 사용합니다.

1. meta 테그로 적용하기
<head>와 </head> 사이에 테그를 넣음으로서 검색로봇을 제어하는 방법입니다.

1-1.검색로봇 허용하기
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">

1-2.검색로봇 거부하기
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">

2. robots.txt 파일로 적용하기

Allow or Disallow
disallow: /   : 모든 하위 문서에 대해 배재를 의미하고,
disallow: : 아무것도 지정하지 않으면 허가를 의미
disallow: /data/    : 디렉토리인 경우 / 기호로 끝나야 합니다.
~~disallow: /data     : data 디렉토리와 그 디렉토리내의 파일이 적용대상~~

2-1. 검색엔진 수집 허용
User-agent: *
Allow: /

robots.txt 파일은 설정한 순간부터 검색 로봇이 방문하지 않게 됩니다.
따라서 이미 검색엔진에 수집된 페이지가 삭제되는 데는 시간이 걸립니다.
바로 삭제하길 원하시는 분은 직접 해당 검색 사이트에 요청합니다.

네이버 검색허용
User-agent: Yeti
User-agent: Naverbot
Allow: /

2-2. 검색차단(거부)
User-agent: *
Disallow: /

# ChatGPT AI 수집차단
User-agent: GPTBot
Disallow: /

# 네이버 검색차단
User-agent: Yeti
User-agent: Naverbot
User-agent: AdsBot-Naver
Disallow: /

# archive.org 의 수집을 차단
User-agent: ia_archiver
Disallow: /

# 구글 이미지 검색에서 수집을 차단
User-Agent: Googlebot-Image
Disallow: /

# 야후 이미지 검색에서 수집을 차단
User-Agent: Yahoo-MMCrawler
Disallow: /

# 벅스뮤직을 비롯한 코리아와이즈넛의 검색로봇을 수집 거부
User-Agent: wisebot
Disallow: /

# 아마존 봇 ( Amazon bot ) 검색로봇을 수집 거부
User-agent: Amazonbot
Disallow: /

# http://majestic12.co.uk/bot.php
User-Agent: MJ12bot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: AhrefsBot
Disallow: /

# http://www.baidu.com/search/spider.html
User-agent: Baiduspider
Disallow: /

# http://www.semrush.com/bot.html
User-agent: SemrushBot
Disallow: /

# https://aspiegel.com/petalbot
User-agent: PetalBot
Disallow: /

# http://www.apple.com/go/applebot
User-agent: Applebot
Disallow: /

User-agent: BomboraBot
Disallow: /

User-agent: Buck
Disallow: /

# https://babbar.tech/crawler
User-agent: barkrowler
Disallow: /

# https://dataforseo.com/dataforseo-bot
User-agent: DataForSeoBot
Disallow: /

User-agent: Bytespider
Disallow: /

※ 다음(www.daum.net)은 구글과 같은 검색로봇을 사용합니다. 구글을 거부하면 다음 검색 로봇도 거부하게 됩니다.
~~※ 파란(www.paran.com)은 야후의 검색로봇을 사용합니다. 야후를 제외하시면 파란도 함께 제외됩니다.~~

2-3. 특정폴더는 검색허용 안할때
User-agent: *
Disallow: /adm/

2-4. Sitemap 경로 등록
Sitemap: http://경로/sitemap.xml

2-5. 샘플 (광고성 봇 차단 / 주요검색엔진 허용)
# 허용 X 로봇 리스트

User-agent: Amazonbot
Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: BDCbot
Disallow: /

User-agent: BusinessBot
Disallow: /

User-agent: Dataprovider.com
Disallow: /

User-agent: DialogSearch.com Bot
Disallow: /

User-agent: Digincore crawler bot
Disallow: /

User-agent: DomainSigmaCrawler
Disallow: /

User-agent: Googlebot-Image
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: kisaBot
Disallow: /

User-agent: Mail.RU_Bot
Disallow: /

User-agent: MediavBot
Disallow: /

User-agent: memoryBot
Disallow: /

User-agent: mfibot
Disallow: /

User-agent: msnbot-media
Disallow: /

User-agent: NeumobBot
Disallow: /

User-agent: PageAnalyzer
Disallow: /

User-agent: PagesInventory
Disallow: /

User-agent: Plukkie
Disallow: /

User-agent: roboto
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: RSNBOT
Disallow: /

User-agent: SafeDNSBot
Disallow: /

User-agent: semanticbot
Disallow: /

User-agent: SMTBot
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: UXCrawlerBot
Disallow: /

User-agent: Wotbox
Disallow: /

# 허용 △ 로봇 리스트

User-agent: AdsBot-Naver
Crawl-delay: 30

User-agent: msnbot
Crawl-delay: 60

User-agent: bingbot
Crawl-delay: 60

User-agent: SemrushBot
Crawl-delay: 30

User-agent: SemrushBot-SA
Crawl-delay: 30

User-agent: DomainCrawler
Crawl-delay: 30

User-agent: MegaIndex.ru
Crawl-delay: 30

User-agent: AlphaBot
Crawl-delay: 30

User-agent: ltx71
Crawl-delay: 30

User-agent: CCBot
Crawl-delay: 30

User-agent: Sogou
Crawl-delay: 30

User-agent: DotBot
Crawl-delay: 30

User-agent: PiplBot
Crawl-delay: 30

User-agent: MJ12bot
Crawl-delay: 30

User-agent: AhrefsBot
Crawl-delay: 30

User-agent: MauiBot
Crawl-delay: 30

User-agent: AhrefsBot
Crawl-delay: 30

User-agent: ezooms
Crawl-delay: 30

User-agent: sistrix
Crawl-delay: 30

User-agent: Yandex
Crawl-delay: 30

# 허용 O 로봇 리스트

User-agent: Daum
allow: /

User-agent: Daumoa
allow: /

User-agent: Googlebot
allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: Yeti
Allow: /

User-agent: ZumBot
Allow: /

# 사이트맵 주소
Sitemap: http://경로/sitemap.xml
Sitemap: http://경로/sitemap.html
Sitemap: http://경로/sitemap.php

참고자료
~~http://help.egloos.com/7792~~
~~http://radiocom.kunsan.ac.kr/lecture/home_page/robots_txt.html~~
http://www.egocube.pe.kr/Translation/Content/seo/201006140001
http://chongmoa.com/webtool/4028
~~https://kensei.co.kr/270~~
http://www.robotstxt.org/db.html
https://sir.kr/cm_free/1670530
http://www.iwav.co.kr/558
http://sulfur.pe.kr/tech/board.php?board=web&command=body&no=52
https://homzzang.com/b/free-4300

댓글목록

등록된 댓글이 없습니다.

281	전자결제 11833 2007-07-02 19:59 카드사 등록 유의사항
280	JavaScript 21288 2007-06-29 20:47 ~ 2021-03-04 09:19 서브메뉴작업시 마우스 오버시 레이어 보이기 안보이기
279	그누보드 14436 2007-06-29 09:00 [G4] 달력스킨 오류 A to Z
278	PHP 21530 2007-06-28 17:40 php에서 숫자표현할때 소수점 둘째자리까지만 나오게하는 방법은?
277	JavaScript 24174 2007-06-28 14:40 ~ 2017-11-09 02:12 Alert창 띄우기
276	그누보드 12361 2007-06-26 09:37 [G4] 메일보내기 링크만 따로 만들기
275	그누보드 11435 2007-06-21 06:37 [G4] 쪽지 보내기 링크 (새창으로)
274	MSSQL 18657 2007-06-15 22:12 IDENTITY_INSERT가 OFF 오류
273	그누보드 21386 2007-06-12 17:37 [G4] 게시글 삭제시 썸네일까지 삭제하기
272	영카트 11626 2007-06-09 17:19 [YC4] 분류에서 적용한 상단내용이 상세보기에서는 적용하기
271	그누보드 14806 2007-06-08 12:07 [G4] 이미지에 워터마크 넣기
270	그누보드 12780 2007-06-08 11:57 ~ 2023-01-20 11:39 [G4] 최고관리자 관련 Tip ( 권한설정 , 회원레벨/비밀번호/이메일 변경 )
269	PHP 20252 2007-06-07 21:25 ~ 2024-03-19 17:26 php.ini 설정으로 웹에서의 파일업로드 용량 변경
268	PHP 16601 2007-05-28 21:12 다른 사이트의 특정부위만 가져오기
267	일반 16254 2007-05-24 19:19 [웹사이트 백업용 소프트웨어] Webzip 웹집 7.0 Strategy Anthology
266	HTML 13812 2007-05-20 08:45 유니코드의 UCS와 UTF
265	HTML 13586 2007-05-20 08:43 일반 유니코드(Unicode)와 'UTF-8 유니코드'의 차이점
264	호스팅 12637 2007-05-20 07:54 [정보넷] 웹호스팅 서비스 해지하기
열람	Search 22726 2007-05-17 15:30 ~ 2024-10-14 21:00 robots 설정하기
262	그누보드 14522 2007-05-06 09:17 [G4] 본문에서 첨부된 이미지 리사이즈 원하지 않을때... (원본그대로 보기)

robots 설정하기 > 기술자료

사이트 내 전체검색