47 장고 프레임워크 robots.txt 만들기
47.1 robots.txt 경로 설정 - urls.py
robots.txt 는 검색엔진이 내 사이트를 수집할때 제어할 수 있는 text 파일입니다.
Django 에서 간단하게 구현할 수 있습니다.
먼저 urls.py를 수정합니다.
#config/urls.py
from django.views.generic import TemplateView
path('robots.txt', TemplateView.as_view(template_name="robots.txt", content_type='text/plain')),
TemplateView를 import 하고,
path를 추가합니다.
47.2 robots.txt 텍스트 파일 만들기
User-agent: *: 모든 로봇
Allow:/ : 모든 접속
Disallow: /admin : admin 접근하지못하도록
Sitemap: https://pythonblog.co.kr/sitemap.xml : 내 사이트를 방문한 검색엔진에게 sitemap 위치를 알려줍니다.
User-agent: *
Allow:/
Disallow: /admin
Sitemap: https://pythonblog.co.kr/sitemap.xml
47.3 브라우저로 robots.txt 적용 확인
간단하게 추가했습니다.^^
Comments
Login: