[python-파이썬] 9 네이버에서 블로그 정보 크롤링 (crawling) - 2탄

안녕하세요. 모두의 파이썬입니다. 1탄에서 구현한 url주소형식을 참조해서 블로그 정보를 크롤링하겠습니다. 암기하는 것이 아닙니다. 이해하는 것입니다. '동일한 형태' '규칙적인 부분 'tag' 만 찾으시면 됩니다. 쉽습니다. 시작이 반입니다. 

 

전체 글을 요약하면, 반복되는 'tag' 정보를 찾아 블로그 정보를 크롤링 하기 입니다.

 

네이버 검색 url은 https://search.naver.com/search.naver?where=blog&query=삼성전자&sm=tab_opt&nso=so%3Add%2Cp%3A1h 입니다 'F12' 또는 본문 > 우클릭 > 검사 실행합니다. topdown으로 해결하겠습니다. 전체를 찾은 다음 규칙을 찾겠습니다. 'div',{'class' : 'api_subject_bx'}에서 'api_subject_bx'가 몇개인지 찾아보겠습니다. 3개나 됩니다. 오류가 발생할 수 있습니다. 다른 'tag' 를 찾아보겠습니다.

 

ⓒ삼성전자 검색결과 블로그/최신순/1시간, 출처 네이버검색 VIEW

 

html정보에서 '_more_contents_event_base'을 찾아보니 1개만 검색됩니다. find('div',{'class' : '_more_contents_event_base'}) 먼저 크롤링하고, 그 결과 값의 find_all('li',{'class' : 'bx'})를 실행하여 전체 리스트를 크롤링 합니다. 

ⓒ삼성전자 검색결과 블로그/최신순/1시간, 출처 네이버검색 VIEW

 

 

아래 코드에서 두가지를 확인하겠습니다. 블로그 제목을 크롤링할때, html tag정보는 다음과 같습니다

 

tag정보▶▶▶

 <a href="https://blog.naver.com/hkvku7e?Redirect=Log&logNo=222709431517" class="api_txt_lines total_tit" target="_blank" onClick="return goOtherCR(this, 'a=blg*a.iblg&r=1&i=90000003_0000000000000033DA843CDD&u='+urlencode(this.href))">[바보사랑] <mark>삼성전자</mark> 갤럭시 버즈 라이브 SM-R180, 브론즈... </a>

 

블로그 제목은 tag뒤에 .text를 추가하여 크롤링하며, 블로그 url은 tag뒤에 .get('href')를 추가하여 크롤링합니다.    

 

 

 

In [15]:

import requests
from bs4 import BeautifulSoup 

def get_html(url):
    ## 브라우저 호환을 위해서 설정
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '+ \
        '(KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
                } 
    ##해당 url에 htlm(정보) 요청에사용 / url은 사용자가 원하는 url
    r = requests.get(url, headers=headers) 
    ## 해당 url의 html을 사용자가 활용하기 쉽게 변환
    html = BeautifulSoup(r.content, 'html.parser')
    ## 결과값 전달
    return html

def get_blog_crawling():
    keyword = '삼성전자'
    hour = '1h'
    url = 'https://search.naver.com/search.naver?where=blog&query=' + \
        keyword + '&sm=tab_opt&nso=so%3Add%2Cp%3A' + hour

    ## 전체 블로그 tag 결과
    top_tag_result = get_html(url).find('div',{'class' : '_more_contents_event_base'})
    ## 개별 블로그 tag 결과를 포함하는 list
    single_tag_result = top_tag_result.find_all('li',{'class' : 'bx'})
    
    result = []
    for i in single_tag_result:
        ## 블로그 제목
        b_title = i.find('a',{'class' : 'api_txt_lines'}).text
        ## 블로그 출처
        b_name = i.find('a',{'class' : 'sub_txt'}).text
        ## 블로그 본문
        b_contents = i.find('div',{'class' : 'api_txt_lines'}).text
        ## 블로그 url
        b_url = i.find('a',{'class' : 'api_txt_lines'}).get('href')
        result.append([b_name,b_title,b_contents,b_url])

    return result
for i in get_blog_crawling():
    print(i)

 

['식객 블로그', '삼성전자 BESPOKE 무풍클래식 에어컨 홈멀티형 방문설치... ', '삼성전자 BESPOKE 무풍클래식 에어컨 홈멀티형 방문설치 AF17A7974ESRZ 등 비슷한... 삼성전자 BESPOKE 무풍클래식 에어컨 홈멀티형 방문설치 AF17A7974ESRZ 품명 및... ', 'https://blog.naver.com/dcolddrags?Redirect=Log&logNo=222709431581']
['hkvku7e님의블로그', '[바보사랑] 삼성전자 갤럭시 버즈 라이브 SM-R180, 브론즈... ', '[바보사랑] 삼성전자 갤럭시 버즈 라이브 SM-R180, 브론즈 (행복) 입니다!! 아주 나이스 한 금액 96,500원 >>후기 더 알아보기 이웃분들께 소개 시켜드려요! 본... ', 'https://blog.naver.com/hkvku7e?Redirect=Log&logNo=222709431517']
['식객 블로그', '삼성전자 그랑데 AI 세탁기 그레이지 WF23T9500KE 23kg... ', '삼성전자 그랑데 AI 세탁기 그레이지 WF23T9500KE 23kg 방문설치 및 비슷한 가격... 삼성전자 그랑데 AI 세탁기 그레이지 WF23T9500KE 23kg 방문설치 품명 및... ', 'https://blog.naver.com/dcolddrags?Redirect=Log&logNo=222709430325']
['dkanchup님의 블로그', '신규시설투자 공시를 통해서 본 파츠 회사 비교 : 원익QnC... ', '증가, 삼성 CAPEX 증가(P3 공사 수주 공시, 내년 예상 보고서에도 CAPEX 더 증가 예측) ==> 삼성전자 메모리 설비투자 상향(최대 35조) - 파운드리... ', 'https://blog.naver.com/dkanchup?Redirect=Log&logNo=222709429818']
['bdqgd3n님의블로그', '[색상선택형] 삼성전자 비스포크 좌힌지 냉장고 (정품) 입니다~', '[색상선택형] 삼성전자 비스포크 좌힌지 냉장고 (정품) 입니다~ 아주 나이스 한 금액 1,469,000원 >>후기 확인 하기 이웃분들께 소개 시켜드려요! 본 포스팅은 2022... ', 'https://blog.naver.com/bdqgd3n?Redirect=Log&logNo=222709430015']
['묵묵히 해야 할 일을 하자 - 묵해자', '[이전포스팅] - [습관성잡생각] 또 다시 삼성전자 서비스 센터', '본 포스팅은 작성자 본인이 2015년 8월 5일에 작성 포스팅 한 글입니다. 개인 사정으로 블로그 통합 컨텐츠 정리중입니다.^^ 울릉도에서 기어S를 차고 있는지도 모르고... ', 'https://blog.naver.com/iqttq?Redirect=Log&logNo=222709430478']
['저기에 단무지 추가', '아이리버 4K UHD LED TV HDR ITV-KF4301[30만원대 TV]', '프리즘 4K UHD LED TV, 110cm(43인치), A43 google android BT50, 스탠드형, 자가설치 가격 : 348,740원, 평점(5점만점) : 4.5점, 700개 상품평 삼성전자 4K UHD QLED TV, 108cm... ', 'https://blog.naver.com/osafeyyy?Redirect=Log&logNo=222709429359']
['bdqgd3n님의블로그', '삼성전자 그랑데 드럼세탁기 WF24T8000KV 24kg 건조기... ', '삼성전자 그랑데 드럼세탁기 WF24T8000KV 24kg 건조기 DV17T8520BV 17kg , 블랙 케비어 [놓치면 후회] 어떤가요? 아주 나이스 한 금액 2,283,980원 >>제품 알아 보러... ', 'https://blog.naver.com/bdqgd3n?Redirect=Log&logNo=222709429304']
['hkvku7e님의블로그', '삼성전자 RF85A9103AP 비스포크 냉장고 875L 삼성물류... ', '삼성전자 RF85A9103AP 비스포크 냉장고 875L 삼성물류 직배송설치, 모두 코타 (꿀픽) 보고가세요~ 아주 나이스 한 금액 1,480,000원 >>제품 더 알아보기... ', 'https://blog.naver.com/hkvku7e?Redirect=Log&logNo=222709429293']
['bdqgd3n님의블로그', '삼성전자 SL-J1660 잉크젯 복합기 가정용 프린터 대용량 호환... ', '삼성전자 SL-J1660 잉크젯 복합기 가정용 프린터 대용량 호환 잉크, 1번 옵션 (꿀템) ?! 아주 나이스 한 금액 48,900원 >>리뷰 보기 이웃분들께 소개 시켜드려요!... ', 'https://blog.naver.com/bdqgd3n?Redirect=Log&logNo=222709428608']
['bdqgd3n님의블로그', '삼성전자 비스포크 빌트인 식기세척기 12인용, DW60A8575LBS... ', '삼성전자 비스포크 빌트인 식기세척기 12인용, DW60A8575LBS(글램 베이지), (추천) 추천 아주 나이스 한 금액 1,499,000원 >>정보 확인하러 가기 이웃분들께 소개... ', 'https://blog.naver.com/bdqgd3n?Redirect=Log&logNo=222709427452']
['제비다리', '삼성전자 BESPOKE 무풍 갤러리 2 에어컨 홈멀티형... ', '삼성전자 BESPOKE 무풍 갤러리 2 에어컨 홈멀티형 AF19BX737WFRZ 세트 방문설치... 삼성전자 BESPOKE 무풍 갤러리 2 에어컨 홈멀티형 AF19BX737WFRZ 세트... ', 'https://blog.naver.com/gfaultyes44?Redirect=Log&logNo=222709428052']
['hkvku7e님의블로그', '삼성전자 일반냉장고 소형 160L 오피스텔... ', '삼성전자 일반냉장고 소형 160L 오피스텔 페가전무상수거원룸 RT17N1000WW 2도어 (인싸) 입니다. 아주 나이스 한 금액 369,000원 >>상세히 확인 하기 이웃분들께... ', 'https://blog.naver.com/hkvku7e?Redirect=Log&logNo=222709426849']
['hkvku7e님의블로그', '[색상선택형] 삼성전자 비스포크 김치플러스 냉장고 , 새틴... ', '[색상선택형] 삼성전자 비스포크 김치플러스 냉장고 , 새틴 그레이 (가심비) 어떠세요? 아주 나이스 한 금액 1,541,000원 >>자세히 살펴보기 이웃분들께 소개... ', 'https://blog.naver.com/hkvku7e?Redirect=Log&logNo=222709426641']
['hkvku7e님의블로그', '삼성전자 갤럭시 버즈 프로, SM-R190, 바이올렛 (마지막) 이에요', '삼성전자 갤럭시 버즈 프로, SM-R190, 바이올렛 (마지막) 이에요 아주 나이스 한 금액 135,900원 >>내용 살펴보기 이웃분들께 소개 시켜드려요! 본 포스팅은 2022-04... ', 'https://blog.naver.com/hkvku7e?Redirect=Log&logNo=222709426484']
['bdqgd3n님의블로그', '삼성전자 갤럭시 버즈 프로 블루투스 이어폰 위드미 삐삐... ', '삼성전자 갤럭시 버즈 프로 블루투스 이어폰 위드미 삐삐 커버, SM-R190, 화이트 [브랜드] 어떠세요? 아주 나이스 한 금액 156,310원 >>리뷰 알아 보러 가기... ', 'https://blog.naver.com/bdqgd3n?Redirect=Log&logNo=222709425999']
['재테커', '22.04.22 염승환 일일시황 및 추천주 정리', '시황 국내 증시 하락세로 마감 금리 인상 및 미국 나스닥 하락 영향 외국인, 기관 매도 삼성전자 매도, 금융주 매수 2. 보고서 [NAVER] 10% 연봉 인상 결정 광고, 커머스... ', 'https://blog.naver.com/jetecher?Redirect=Log&logNo=222709425331']
['믿쓰백 요물템♥', '[4/27 오전10시 첫 공구]삼성콜라보 셀티아라 찐탱... ', '우선,, 셀티를 만든 회사는 삼성전자를 포함한 반도체 부품을 납품하는 모기업의 기반으로 시작되어 오랜 연구와 풍부한 임상 시험 경험으로 측정된 최적의 배합 기술로... ', 'https://blog.naver.com/puckmommy?Redirect=Log&logNo=222709424521']
['objcqgj41님의블로그', '삼성전자 갤럭시 탭S7 11.0 Wi-Fi 256GB, SM-T870N, 미스틱... ', '삼성전자 갤럭시 탭S7 11.0 Wi-Fi 256GB, SM-T870N, 미스틱 블랙 (마지막) 이에요 아주 나이스 한 금액 899,800원 >>상세히 더 알아보기 이웃분들께 소개... ', 'https://blog.naver.com/objcqgj41?Redirect=Log&logNo=222709424439']
['취미: 블로그', '2022년 상반기 뮤지컬 후기 #썸씽로튼 #웨스턴스토리... ', '12 캣츠 @블루스퀘어 삼성전자홀 ★ ▫️ 07.24 브로드웨이 42번가 @예술의전당... 01 지킬앤하이드 내한공연 @블루스퀘어 삼성전자홀 ★★★★ ▫️ 04.02 영웅... ', 'https://blog.naver.com/jaera1990?Redirect=Log&logNo=222709423766']
['Creator', '파이썬 증권 데이터 분석: 옛날 삼성전자 주가 정보 가져와서... ', 'get_daily_price(\'삼성전자\', \'1998-04-27\', \'2018-04-27\') """ >>> df code date... 내용을 보니깐 삼성전자 주가의 흐름을 보는 그래프더라.... ', 'https://blog.naver.com/pcmola?Redirect=Log&logNo=222709423067']
['objcqgj41님의블로그', '삼성전자 다이나믹 스테레오 헤드셋, SHS-150V/W, (SHS-150V... ', '삼성전자 다이나믹 스테레오 헤드셋, SHS-150V/W, (SHS-150V/W) 화이트 (발굴) 입니다! 아주 나이스 한 금액 17,990원 >>상세하게 보러 가기 이웃분들께 소개... ', 'https://blog.naver.com/objcqgj41?Redirect=Log&logNo=222709423315']
['dffsfggd님의 블로그', '20220423 신문스크랩', '다음주 한국에서는 삼성전자(005930)와 LG에너지솔루션(373220), SK하이닉스(000660), 삼성바이오로직스(207940),삼성SDI(006400), 현대자동차, LG화학(051910) 등 대기업이 1분기... ', 'https://blog.naver.com/dffsfggd?Redirect=Log&logNo=222709421588']
['직장인의 투자 공부 노트', '[거래 리뷰] 를 위해 국내 주식 계좌 investing.com 에 정리', '한국토지신탁, 삼성전자우, 삼성증권 정도가 아쉬운 하락을 보이고 있습니다. 국내 분산 계좌 국내 분산 계좌는 국내 우량주 / 국내 성장주 / 국내 배당주에서... ', 'https://blog.naver.com/orient021?Redirect=Log&logNo=222709421295']
['objcqgj41님의블로그', '삼성전자 2021 노트북 플러스2 15.6 펜티엄... ', '삼성전자 2021 노트북 플러스2 15.6 펜티엄 한컴오피스 WIN11 Pro Edu NT550XDZ-K24A, NT550XDA-K24A, 8GB, 120GB, 미스틱 그레이 (핫딜) 어떤가요? 아주 나이스 한... ', 'https://blog.naver.com/objcqgj41?Redirect=Log&logNo=222709420863']
['높고 소중한 꿈', '2022년 4월 4주차 주간매매일지', '삼성전자 어디까지 떨어지려나.. 65000원까지 보고 있긴 한데 정확한 저점은 잡을... 이런.. #현대차 #삼성전자 #CJ제일제당 #포바이포 #주간매매일지 #매매일지', 'https://blog.naver.com/pgs980709?Redirect=Log&logNo=222709420410']
['벽걸이티비 해외직구티비설치 티비맨', '30평대아파트 삼성네오85인치tv설치는 티비맨 설치해요.', '삼성 정품 풀 모션 슬림핏 벽걸이 브라켓은 #WMN-B05FB/KR 모델은 베샤200×200베사300×200 #WMN-B16FB/KR 모델은 베사300×200베사400×300 지원합니다 삼성전자 정품브라켓... ', 'https://blog.naver.com/tvman1472?Redirect=Log&logNo=222709420683']
['objcqgj41님의블로그', '삼성전자 공식인증점 삼성 진공 청소기 VC33M4149L3 (Get)... ', '삼성전자 공식인증점 삼성 진공 청소기 VC33M4149L3 (Get) 정보 아주 나이스 한 금액 223,950원 >>자세하게 확인하러 가기 이웃분들께 소개 시켜드려요! 본... ', 'https://blog.naver.com/objcqgj41?Redirect=Log&logNo=222709419975']
['objcqgj41님의블로그', '삼성전자 더플레이트 인덕션 2구 자가설치 블랙... ', '삼성전자 더플레이트 인덕션 2구 자가설치 블랙, NZ60R3703PK (놓치면 후회) 추천 아주 나이스 한 금액 238,000원 >>자세하게 살펴보기 이웃분들께 소개... ', 'https://blog.naver.com/objcqgj41?Redirect=Log&logNo=222709420130']
['잠들겠지만 블로그', '필립스 4K UHD LED TV 70PUN7625/61(스탠드형 방문설치)... ', '삼성전자 4K UHD QLED TV, 163cm(65인치), KQ65QA60AFXKR, 스탠드형, 방문설치 가격 : 1,510,340원, 평점(5점만점) : 5.0점, 663개 상품평 시티브 4K UHD LED TV, 164cm(65인치)... ', 'https://blog.naver.com/hwithtonen?Redirect=Log&logNo=222709419321']

 

print('모두의 파이썬')

※좋아요/댓글은 서로를 응원합니다!