워게임/CTFlearn

[CTFlearn] Where Can My Robot Go? - 웹해킹 / robots.txt

SecurityMan 2022. 7. 17. 11:00

 

CTFlearn의 다섯번째 문제

 

드디어 풀이수가 2만명 이하로 떨어졌다.

 

반응형

 

출제자는 문제를 MISC로 분류했지만(Miscellaneous)

 

굳이 따지자면 웹해킹이랑 관련있는거 같아 웹해킹으로 포스팅을 적는다.

 

이 문제는 제목이랑 설명에서 부터 큰 힌트가 있다.

 

Where Can My Robot Go?

 

Where do robots find what pages are on a website?

 

아마 티스토리 하시는 분들이라면 익숙한 단어일 것이다.

 

이 문제는 robots.txt 를 이용해 푸는 문제이다.

 

 

네이버 서치어드바이저에 있는 바로 그 robots.txt이다.

 

robots.txt는 로봇 배제 표준이라고 해서 웹 사이트에 로봇이 접근하는 것을 방지하기 위한 일종의 규약이다.

 

검색엔진들이 내 웹페이지를 마구마구 접근하는 것을 제한하기 위해서 사용한다.

 

웬만한 웹사이트들은 robots.txt를 다 가지고 있다.

 

 

대표적으로 구글 역시 https://www.google.com/robots.txt를 주소창에 입력하면 내용을 확인할 수 있다.

 

 

CTFlearn 의 robots.txt 로 접근해보면

 

/70r3hnanldfspufdsoifnlds.html 페이지에 Disallow 가 걸려있는것을 볼 수 있다.

 

사실 원래라면 이런 페이지가 있는지도 몰랐을테지만

 

robots.txt 가 일반사용자들에게 공개되기 때문에 이런 숨겨진 페이지 경로를 알 수 있는 것이다.

 

 

해당 페이지에 접속해보면, 플래그를 찾을 수 있다.

반응형