파이썬으로 웹 크롤링을 할 때면 User Agent가 필요한 때가 있습니다.
굳이 header에 언급을 하지않아도 크롤링이 가능하지만, 내가 로봇이 아니라는 것을 인지시키려면?
저는 여러 크롤링 프로그램을 동시에 돌리기 위해서 Header를 정의합니다. 가끔 User-Agent가 명시되지 않을 상태로 크롤링을 할경우, request 에러가 발생하는 경우가 있기 때문입니다.
그럼, User Agent의 값을 확인하는 법에 대하여 알아보겠습니다. 크롬 브라우저 같은 경우에는 크롬 브라우저 내에서 확인이 가능합니다. 기타 다른 브라우저들도 확인이 가능하겠지만, 간단하게 사이트를 이용하여 확인하도록 하겠습니다.
1. WhoIsHostingThis 사이트
https://www.whoishostingthis.com/tools/user-agent/
User Agent: Learn Your Web Browser’s User Agent Now
User agents are unique to every visitor on the web. They reveal a catalogue of technical data about the device and software that the visitor is using. Armed with this information, you can develop richer
www.whoishostingthis.com
저는 "웨일"이라는 브라우저를 사용하고 있는데, 저의 User Agent는 아래와 위와 같이 나왔습니다 !
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36
2. avalon 사이트
http://m.avalon.co.kr/check.html
USER AGENT 확인
navigator.userAgent 값은 다음과 같습니다. $_SERVER['HTTP_USER_AGENT'] 값은 다음과 같습니다.
m.avalon.co.kr
해당 사이트는 간단하게 위와같은 모습으로 나타나는 것을 확인하실 수 있습니다.
3. whatsmyua 사이트
What's my user agent?
What's my user agent? See what your user-agent detection library really thinks! According to useragent v2.2.1: ua rawUa: facebookexternalhit/1.1;kakaotalk-scrap/1.0; +https://devtalk.kakao.com/t/scrap/33984string:family: FacebookBotmajor: 1minor: 1patch: 0
www.whatsmyua.info
위 사이트도 간단하게 나타나는것을 확인할 수 있습니다.
기타 여러 사이트들이 존재하지만, 3가지 정도면 충분할 것 같습니다 !
브라우저마다 User Agent가 다르기때문에 꼭 확인하시어 활용하시기 바랍니다.
감사합니다 ^0^
'개발 > Python3' 카테고리의 다른 글
| [windows/python/ssh연결] paramiko 설치 및 Fail 에러 해결 방법 (0) | 2021.01.05 |
|---|---|
| [windows/numpy] numpy 설치 방법 및 RuntimeError 해결 방법 (10) | 2021.01.04 |
| [Windows/pymysql] Python(파이썬)으로 Mysql/Maria DB 연동하는 방법 (2) | 2020.12.17 |
댓글