47 장고 프레임워크 robots.txt 만들기

47.1 robots.txt 경로 설정 - urls.py

robots.txt 는 검색엔진이 내 사이트를 수집할때 제어할 수 있는 text 파일입니다.

Django 에서 간단하게 구현할 수 있습니다.

먼저 urls.py를 수정합니다.

1
2
3
4
5
#config/urls.py

from django.views.generic import TemplateView

path('robots.txt',  TemplateView.as_view(template_name="robots.txt", content_type='text/plain')),

TemplateView를 import 하고,
path를 추가합니다.

47.2 robots.txt 텍스트 파일 만들기

User-agent: *: 모든 로봇
Allow:/ : 모든 접속
Disallow: /admin : admin 접근하지못하도록

Sitemap: https://pythonblog.co.kr/sitemap.xml : 내 사이트를 방문한 검색엔진에게 sitemap 위치를 알려줍니다.

1
2
3
4
5
User-agent: *
Allow:/
Disallow: /admin

Sitemap: https://pythonblog.co.kr/sitemap.xml

47.3 브라우저로 robots.txt 적용 확인

간단하게 추가했습니다.^^