[해결] 구글이 불필요한 파일을 크롤링 해가는데 어떻게 막을 수 있을까요?
코린
175.♡.121.126
2024-11-09 23:47
69
2
총 채택 포인트
50 포인트
채택된 회원에게 주는 후원 포인트
25 포인트
채택 후 작성자(코린) 회수 포인트
25 포인트
본문
안녕하세요
현재접속자를 보게 되면 구글이 크롤링을 해가는 것 같은데,
맞팔친구, 팔로워, 팔로잉, 구독회원만 퍼가는 것 같습니다.
심한 것은 &page=200이 넘습니다.
![!\[image\]](https://eyoom.net/data/editor/2411/2944235902_1731163443.02516.jpg)
그래서 구글에서 검색했을 때 아래와 같이 맞팔친구, 팔로워, 팔로잉, 구독회원만 구글 조회시 30페이지 넘게 나옵니다.
다른 게시글들은 거의 잘 안 보여요...ㅜㅜ
![!\[image\]](https://eyoom.net/data/editor/2411/2944235902_1731163523.96434.jpg)
화면에서 저 페이지로 들어가는 링크도 막아버렸고, sitemap.xml에도 php파일이 아니라서 따로 설정도 안되어 있는데 왜 그런걸까요...?
그리고 &page=숫자 이건 어떻게 생기는 걸까요??
댓글목록2
이윰EGG님의 댓글
- 이윰EGG님의 홈
- 전체게시물
- 아이디로 검색
58.♡.237.5https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt?hl=ko&visit_id=638669660965608022-2990803054&rd=1
고맙습니다.
코린님의 댓글
- 코린님의 홈
- 전체게시물
- 아이디로 검색
175.♡.121.126