robots 설정하기 > 기술자료

Search robots 설정하기

페이지 정보

작성자 관리자1 쪽지보내기 메일보내기 홈페이지 자기소개 아이디로 검색 전체게시물
댓글 0건 조회 22,724회 작성일 2007-05-17 15:30:58 ~ 2024-10-14 21:00:49

본문

robots 는 외부 검색엔진에 본인의 웹페이지 내용이 수집되는 것을 원치 않는 경우 사용합니다.

1. meta 테그로 적용하기
<head>와 </head> 사이에 테그를 넣음으로서 검색로봇을 제어하는 방법입니다.

1-1.검색로봇 허용하기
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">

1-2.검색로봇 거부하기
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">

2. robots.txt 파일로 적용하기

Allow or Disallow
disallow: /   : 모든 하위 문서에 대해 배재를 의미하고,
disallow: : 아무것도 지정하지 않으면 허가를 의미
disallow: /data/    : 디렉토리인 경우 / 기호로 끝나야 합니다.
~~disallow: /data     : data 디렉토리와 그 디렉토리내의 파일이 적용대상~~

2-1. 검색엔진 수집 허용
User-agent: *
Allow: /

robots.txt 파일은 설정한 순간부터 검색 로봇이 방문하지 않게 됩니다.
따라서 이미 검색엔진에 수집된 페이지가 삭제되는 데는 시간이 걸립니다.
바로 삭제하길 원하시는 분은 직접 해당 검색 사이트에 요청합니다.

네이버 검색허용
User-agent: Yeti
User-agent: Naverbot
Allow: /

2-2. 검색차단(거부)
User-agent: *
Disallow: /

# ChatGPT AI 수집차단
User-agent: GPTBot
Disallow: /

# 네이버 검색차단
User-agent: Yeti
User-agent: Naverbot
User-agent: AdsBot-Naver
Disallow: /

# archive.org 의 수집을 차단
User-agent: ia_archiver
Disallow: /

# 구글 이미지 검색에서 수집을 차단
User-Agent: Googlebot-Image
Disallow: /

# 야후 이미지 검색에서 수집을 차단
User-Agent: Yahoo-MMCrawler
Disallow: /

# 벅스뮤직을 비롯한 코리아와이즈넛의 검색로봇을 수집 거부
User-Agent: wisebot
Disallow: /

# 아마존 봇 ( Amazon bot ) 검색로봇을 수집 거부
User-agent: Amazonbot
Disallow: /

# http://majestic12.co.uk/bot.php
User-Agent: MJ12bot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: AhrefsBot
Disallow: /

# http://www.baidu.com/search/spider.html
User-agent: Baiduspider
Disallow: /

# http://www.semrush.com/bot.html
User-agent: SemrushBot
Disallow: /

# https://aspiegel.com/petalbot
User-agent: PetalBot
Disallow: /

# http://www.apple.com/go/applebot
User-agent: Applebot
Disallow: /

User-agent: BomboraBot
Disallow: /

User-agent: Buck
Disallow: /

# https://babbar.tech/crawler
User-agent: barkrowler
Disallow: /

# https://dataforseo.com/dataforseo-bot
User-agent: DataForSeoBot
Disallow: /

User-agent: Bytespider
Disallow: /

※ 다음(www.daum.net)은 구글과 같은 검색로봇을 사용합니다. 구글을 거부하면 다음 검색 로봇도 거부하게 됩니다.
~~※ 파란(www.paran.com)은 야후의 검색로봇을 사용합니다. 야후를 제외하시면 파란도 함께 제외됩니다.~~

2-3. 특정폴더는 검색허용 안할때
User-agent: *
Disallow: /adm/

2-4. Sitemap 경로 등록
Sitemap: http://경로/sitemap.xml

2-5. 샘플 (광고성 봇 차단 / 주요검색엔진 허용)
# 허용 X 로봇 리스트

User-agent: Amazonbot
Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: BDCbot
Disallow: /

User-agent: BusinessBot
Disallow: /

User-agent: Dataprovider.com
Disallow: /

User-agent: DialogSearch.com Bot
Disallow: /

User-agent: Digincore crawler bot
Disallow: /

User-agent: DomainSigmaCrawler
Disallow: /

User-agent: Googlebot-Image
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: kisaBot
Disallow: /

User-agent: Mail.RU_Bot
Disallow: /

User-agent: MediavBot
Disallow: /

User-agent: memoryBot
Disallow: /

User-agent: mfibot
Disallow: /

User-agent: msnbot-media
Disallow: /

User-agent: NeumobBot
Disallow: /

User-agent: PageAnalyzer
Disallow: /

User-agent: PagesInventory
Disallow: /

User-agent: Plukkie
Disallow: /

User-agent: roboto
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: RSNBOT
Disallow: /

User-agent: SafeDNSBot
Disallow: /

User-agent: semanticbot
Disallow: /

User-agent: SMTBot
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: UXCrawlerBot
Disallow: /

User-agent: Wotbox
Disallow: /

# 허용 △ 로봇 리스트

User-agent: AdsBot-Naver
Crawl-delay: 30

User-agent: msnbot
Crawl-delay: 60

User-agent: bingbot
Crawl-delay: 60

User-agent: SemrushBot
Crawl-delay: 30

User-agent: SemrushBot-SA
Crawl-delay: 30

User-agent: DomainCrawler
Crawl-delay: 30

User-agent: MegaIndex.ru
Crawl-delay: 30

User-agent: AlphaBot
Crawl-delay: 30

User-agent: ltx71
Crawl-delay: 30

User-agent: CCBot
Crawl-delay: 30

User-agent: Sogou
Crawl-delay: 30

User-agent: DotBot
Crawl-delay: 30

User-agent: PiplBot
Crawl-delay: 30

User-agent: MJ12bot
Crawl-delay: 30

User-agent: AhrefsBot
Crawl-delay: 30

User-agent: MauiBot
Crawl-delay: 30

User-agent: AhrefsBot
Crawl-delay: 30

User-agent: ezooms
Crawl-delay: 30

User-agent: sistrix
Crawl-delay: 30

User-agent: Yandex
Crawl-delay: 30

# 허용 O 로봇 리스트

User-agent: Daum
allow: /

User-agent: Daumoa
allow: /

User-agent: Googlebot
allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: Yeti
Allow: /

User-agent: ZumBot
Allow: /

# 사이트맵 주소
Sitemap: http://경로/sitemap.xml
Sitemap: http://경로/sitemap.html
Sitemap: http://경로/sitemap.php

참고자료
~~http://help.egloos.com/7792~~
~~http://radiocom.kunsan.ac.kr/lecture/home_page/robots_txt.html~~
http://www.egocube.pe.kr/Translation/Content/seo/201006140001
http://chongmoa.com/webtool/4028
~~https://kensei.co.kr/270~~
http://www.robotstxt.org/db.html
https://sir.kr/cm_free/1670530
http://www.iwav.co.kr/558
http://sulfur.pe.kr/tech/board.php?board=web&command=body&no=52
https://homzzang.com/b/free-4300

댓글목록

등록된 댓글이 없습니다.

2641	그누보드 25 2024-11-26 21:14 ~ 2024-11-26 21:22 [SQL Injection] 그누보드에 적용된 SQL 인젝션 대응코드
2640	그누보드 71 2024-11-22 10:52 ~ 2024-11-22 11:03 [Amina] wr_link1,2 등록된 영상 원본이 삭제된 경우 목록 보기 오류
2639	호스팅 107 2024-11-19 14:41 ~ 2024-11-19 21:17 [카페24] SMS 문자 발송
2638	Linux 85 2024-11-18 15:45 ~ 2024-11-18 15:48 root 계정으로 ssh 직접 접속 막기
2637	일반 89 2024-11-15 16:45 ~ 2024-11-15 16:46 [ForkLift] 폴더 새로고침
2636	Secure 137 2024-11-06 18:48 ~ 2024-11-06 18:50 보안서버는 무엇이고, 구축하지 않으면 어떻게 되나요?
2635	영카트 282 2024-10-21 13:44 ~ 2024-10-21 19:42 [G5.4] 추가배송비 수정하기
2634	전자결제 544 2024-09-05 09:30 [LG유플러스/토스페이먼츠] XPay 도메인 지원종료 안내
2633	MySQL 947 2024-03-29 14:14 ~ 2024-03-29 14:14 MySQL vs. mariaDB 호환성
2632	그누보드 1174 2024-02-23 18:40 ~ 2024-02-24 06:13 홈페이지를 특정 IP 일때 다른 페이지로 연결하기
2631	JavaScript 1271 2024-02-16 18:50 ~ 2024-02-16 20:37 2개 이상의 button 누르면 각 ifrme 으로 페이지 열기
2630	Java 1223 2024-02-06 16:49 AES256 암호화 / 복호화
2629	PHP 1391 2024-02-06 16:42 AES256 암호화 / 복호화
2628	호스팅 1237 2024-01-29 12:54 파이썬 가능 호스팅사
2627	PHP 1299 2024-01-26 11:04 ~ 2024-01-26 11:13 숫자만 추출 / 숫자만 작성여부 검사
2626	MySQL 1501 2024-01-08 17:37 ~ 2024-03-14 16:00 varchar타입에 order by를 써야하는 경우
2625	SQL 1606 2024-01-08 12:36 [DBeaver] CLIENT_PLUGIN_AUTH is required 해결하기
2624	영카트 1673 2024-01-04 14:57 [Y5] 장바구니 담긴후 가격이 변경된 경우
2623	일반 2571 2023-12-15 18:33 macOS Sonoma 이용중 FTP 접속이 안될때
2622	Android 2060 2023-11-30 18:48 ~ 2023-11-30 19:41 권한(Permission)의 종류

robots 설정하기 > 기술자료

사이트 내 전체검색