웹 크롤링

 

데이터 수집 방법
1. 파이썬 패키지 이용
2. OpenAPI 이용
3. 웹크롤링 이용

 

공공 데이터 포털 : www.data.go.kr  

공공데이터 포털

 

• 파이썬 패키지 이용 시
  • 아나콘다 + 파이썬
  • 파이참 
  • urllib 패키지
  • selenium 패키지 : 웹테스트 자동화 도구동적 웹페이지를 크롤링
    • API 문서 : https://selenium.dev/selenium/docs/api/py
  • scrapy : 오픈소스 파이썬 웹 크롤링 프레임워크
  • DBMS
    • SQLite
    • MySQL
  • Zipline : 거래분석
    • https://github.com/quantopian/zipline
  • Quandl : 금융, 경제 데이터를 API로 제공
    • https://www.quandl.com

 

• 금융 데이터 수집 시 
  • pandas-datareader 패키지를 사용
    • 해외 주가 데이터 : tiingo
    • 국내 주가 데이터 : finance-datareader
  • 주가 지수 정보 : Stooq
  • 환율 데이터 : Alpha Vantage
  • 원자재 가격 : https://fred.stlouisfred.org
  • 기업 재무제표 : https://comp.fnguide.com/SVO2/ASP/SVD_Finance.asp?pGB=1&gicode=A005930
    • 전자공시시스템 : https://opendart.fss.or.kr
  • 증권정보포털 : https://seibro.or.kr/
  • 한국은행 : https://ecos.bok.or.kr
  • 국가통계포털 : https://kosis.kr

 

• 데이터 분석
  • 판다스 (Pandas)
    • tutorial : https://pandas.pydata/docs
  • 시본 (Seaborn)

 

실시간 검색 사이트

• 네이버  https://signal.bz/news 
• 줌  https://zum.com/
• 네이트 https://www.nate.com/

 

툴 설치

• 아나콘다3
• VS CODE  https://code.visualstudio.com/ 
• 라이브러리
  • selenium
  • webdriver-manager