크롤링(Crawling)

1. 크롤링과 스크레이핑

• 크롤링 (Crawling): 인터넷의 데이터를 활용하기 위해 정보들을 분석하고 활용할 수 있도록 수집하는 행위
• 스크레이핑 (Scraping): 크롤링 + 데이터를 추출하고 가공하는 행위

 

여러 웹사이트의 정보들을 크롤링해보면서 익혀보겠습니다.

 

https://basicenglishspeaking.com/daily-english-conversation-topics/

(75 Audio Lessons) Daily English Conversation Practice | Questions and Answers By Topics

 

2. Basic English Speaking

basicenglishspeaking 웹페이지에서 75개의 Topic을 크롤링해보겠습니다.

 

 

 

위의 값들을 리스트에 넣어보도록 하겠습니다.

 

 

이번에는 뉴스기사의 정보들을 크롤링해보겠습니다.

한 회사의 뉴스기사들의 url이 유사하기 때문에 이점을 고려하여 함수를 만들어 모든 뉴스 기사를 함수를 통해 편리하게 크롤링할 수 있습니다.

 

예시로 3개의 뉴스 기사를 살펴보겠습니다.

3. 다음 뉴스기사

https://v.daum.net/v/20240520095144401

[경제용어사전] 뜨겁지도 차갑지도 않은… 골디락스 경제학

https://v.daum.net/v/20240520100510983

[시선집중] 임현택 "정부가 대화를 거부. 부장판사, 압력 받은 게 아니라면 근거 밝혀라"

https://v.daum.net/v/20240520052002727

"옆 칸에 누가…" 벽에 난 구멍만큼 심장 벌렁

 

뉴스 기사들의 헤드라인을 크롤링해보도록 하겠습니다.

 

이때에 웹페이지의 html코드를 확인하여 크롤링할 태그를 확인합니다.

검사를 클릭합니다.

 

 

검사를 클릭합니다.

 

이번에는 음원사이트에서 1-100위의 가수와 곡 제목을 크롤링해보도록하겠습니다.

4. 벅스 뮤직 차트

https://music.bugs.co.kr/chart

나를 위한 플리, 벅스

 

 

검사를 클릭하여 html코드를 확인합니다.

 

 

 

 

이번에는 증권 웹사이트에서 수많은 종목 중 확인하고 싶은 종목들을 추출해보겠습니다.

종목, 가격, 코드, 거래량을 크롤링해보도록하겠습니다.

https://finance.naver.com/item/main.naver?code=032800

판타지오 - 네이버페이 증권 : 네이버페이 증권

https://finance.naver.com/item/main.naver?code=053950

경남제약 - 네이버페이 증권 : 네이버페이 증권

 

6. 네이버 증권