728x90
반응형

파이썬 28

[python-파이썬] 13 mk증권에서 시간외단일가 크롤링 (crawling)

안녕하세요. 모두의 파이썬입니다. 개인별 주식매매하는 방법이 다릅니다. 시간 외 단일가 매매는 시간 외 단일가 기반으로 다음 거래일에 매매하는 방식입니다. 전일 시간 외 단일가가 10%(상한가) 경우에 다음 거래일 장시 시작 시 가격 변동이 커질 수 있습니다. 큰 가격 변동이 매매에 중요한 지표가 될 수 있습니다. 구글링하여 mk 증권에서 시간 외 단일가 정보를 제공하는 것을 확인했습니다. 모두의 파이썬은 1위를 추종하므로 삼성전자(005930) 단일가를 크롤링 하겠습니다. http://vip.mk.co.kr/newSt/price/current9.php?stCode=005930 맨 뒤에 종목코드를 변경하면서, 원하는 종목의 시간 외 단일가 정보를 크롤링 할 수 있습니다 전체 글을 요약하면, mk 증권에서..

파이썬/크롤링 2022.04.30

[python-파이썬] 11 유튜브에서 동영상 정보 크롤링 (crawling) - 2탄

안녕하세요. 모두의 파이썬입니다. 1탄에서는 첫 번째 동영상 정보를 크롤링 했습니다. 1탄에서는 'tag'와 속성으로 크롤링 하는 것이 아닌, text의 위치정보로 크롤링을 하였습니다. 2탄에서는 반복적 규칙적인 text 위치 정보를 찾아서 여러 동영상 정보를 크롤링 하겠습니다. 전체 글을 요약하면, 반복적인 text 위치정보를 찾아 여러 동영상 정보 크롤링입니다. 아래 그림에 보이는 10개 동영상 제목과 url을 크롤링 하겠습니다. ⓒ블랙핑크 유튜브 채널, 출처 Youtube html text 분석하여 규칙적인 구문을 찾겠습니다. 제목 앞에 "title":{"runs":[{"text":" text가 있어서 제목 위치를 찾을 수 있고, 제목이 끝나는 "}]," 이 부분을 split으로 분리시키면 list..

파이썬/크롤링 2022.04.28

[python-파이썬] 12 빗썸에서 호가정보 크롤링 (crawling)

안녕하세요. 모두의 파이썬입니다. 빗썸에서 호가정보 크롤링을 하겠습니다. 국내 코인 거래소 2위가 빗썸입니다. 모두의 파이썬은 빗썸이 빠르고 쉽게 크롤링 할 수 있어서 선택했습니다. 호가정보 얻는 방법은 여러 가지가 있습니다. 모두의 파이썬이 아는 방법만 하더라도 2가지입니다. 거래소에서 제공하는 api와 거래소 사이트에서 크롤링 하는 것입니다. 모두의 파이썬은 우선 크롤링으로 호가정보를 얻겠습니다. 전체 글을 요약하면, 거래소 사이트에서 'tag'기반 호가정보 크롤링 하기입니다 거래소 사이트에 접속하여 거래소를 클릭하겠습니다. ⓒ메인화면, 출처 빗썸거래소 사이트 거래소 기본 화면으로 주소창이 https://www.빗썸.com/trade/order/BTC_KRW 바뀌는 것을 볼 수 있습니다. 모두의 코인..

파이썬/크롤링 2022.04.26

[python-파이썬] 16 멜론에서 인기순위 크롤링 (crawling)

안녕하세요. 모두의 파이썬입니다. 가끔 지인에게 추천곡 권유받아 본적 있나요? 예전엔 제목으로만 권유받았는데, 기술발전으로 언제든 스마트폰/유튜브 및 다양한 음악전문 채널에서 링크를 받아 바로 들을 수 있는 환경이 되었습니다. '오늘은 뭐들을까?' 고민을 할때도 있었지만, 지금은 아닙니다. 인기순위 목록이 해결책이 될 수 있습니다. 노래 인기순위를 한번 구해보고 싶어져서 크롤링에 도전하겠습니다. 전체 글을 요약하면, 멜론사이트 > 멜론차트 > TOP100 정보를 크롤링입니다 먼저 멜론사이트 > 멜론차트 > TOP100 순서대로 접속을 해보겠습니다. 모두의 파이썬은 구글검색으로 멜론을 접속하였습니다. 최종목적지는 'https://www.melon.com/chart/index.htm' 입니다. 'tag' 정..

파이썬/크롤링 2022.04.23

[python-파이썬] 17 네이버웹툰 순위정보 크롤링 (crawling)

안녕하세요. 모두의 파이썬입니다. 나혼자 산다에 메인 호스트 기안84아시나요? 기안84가 웹툰작가입니다. 즐겨보지 않더라도 웹툰작가들이 매스컴에도 자주 나오기 시작하면서, 웹툰의 대중화가 확산되고 있습니다 그래서 웹툰 정보를 크롤링 해보겠습니다. 전체 글을 요약하면, 네이버웹툰 사이트에서 요일별 웹툰정보와 선위정보를 크롤링한다. 항상 시작은 구글링입니다. '네이버웹툰'을 구글링하여 네이버웹툰으로 접속합니다. 기본이 요일전체 웹툰 인기순위로 페이지를 보여줍니다. 예외의 경우도 발생할 수 있기때문에 '네이버웹툰> 웹툰> 요일전체' 으로 접속을 해봅니다. 네이버웹툰 사이트 https://comic.naver.com/webtoon/weekday?order=User로 접속합니다. '인기순' '업데이트순' '조회'..

파이썬/크롤링 2022.04.23

[python-파이썬] 18 FlixPatrol에서 넷플릭스 순위정보 크롤링 (crawling)

안녕하세요. 모두의 파이썬입니다. 보고싶은 미디어를 정말 손쉽게 볼 수 있는 그런 시대입니다. 영화 드라마 예능등 원하는건 뭐든지 기다릴 필요없이 볼수 있습니다. 그런데 원하는거 모두 보고 뭐 볼까 고민되는 순간이 있습니다. 걱정할 필요가 없습니다. FlixPatrol (https://flixpatrol.com/)이 있습니다. FlixPatrol에서는 핫한 OTT서비스들의 '일간'순위를 볼 수있습니다. 그럼 넷플릭스 일간순위 한번 확인해볼까요? 전체 글을 요약하면, FlixPatrol에서 넷플릭스 영화/TV쇼 100위 순위를 크롤링 한다 'FlixPatrol 웹사이트> TOP MOVIES Netflix> Full Details' 를 순서대로 접속하거나, url https://flixpatrol.com/t..

파이썬/크롤링 2022.04.23

[python-파이썬] 20 한경컨센서스에서 증권사 애널리포트 크롤링 (crawling)

안녕하세요. 모두의 파이썬입니다. 코인 부동산 주식 주식에서도 국내주식 해외주식(미국주식) 이렇게 투자할 종류가 정말 많습니다. 국내주식 관련 투자에대해 알아보겠습니다. '과연 얼마나 잘 기업을 알고 투자를 하고 있는가' 입니다. 국내에 정말 많은 투자자들이 있지만, 묻지마투자 뉴스투자 지인추천등 소중한 손을 쉽게 투자하고 있는 투자자를 보면, 안타까울 때가 있습니다. 그래서 좀더 기업을 알고 투자하는 방법중에 하나가 증권사의 전문 분석가, 'Analyst(애널리스트)' 입니다. 애널리스트는 증권사에 근무하면서, 담당하는 산업군과 기업들이 있습니다. 기업들의 재무재표 기반으로 기업을 분석하고 목표가 예상 매출 영업이익등을 기술해 놓은 것이 애널리포트라고 이해하시면 쉽습니다. 애널리포트가 정답은 아닙니다...

파이썬/크롤링 2022.04.23

[python-파이썬] 9 네이버에서 블로그 정보 크롤링 (crawling) - 2탄

안녕하세요. 모두의 파이썬입니다. 1탄에서 구현한 url주소형식을 참조해서 블로그 정보를 크롤링하겠습니다. 암기하는 것이 아닙니다. 이해하는 것입니다. '동일한 형태' '규칙적인 부분 'tag' 만 찾으시면 됩니다. 쉽습니다. 시작이 반입니다. 전체 글을 요약하면, 반복되는 'tag' 정보를 찾아 블로그 정보를 크롤링 하기 입니다. 네이버 검색 url은 https://search.naver.com/search.naver?where=blog&query=삼성전자&sm=tab_opt&nso=so%3Add%2Cp%3A1h 입니다 'F12' 또는 본문 > 우클릭 > 검사 실행합니다. topdown으로 해결하겠습니다. 전체를 찾은 다음 규칙을 찾겠습니다. 'div',{'class' : 'api_subject_bx'..

파이썬/크롤링 2022.04.23

[python-파이썬] 14 네이버에서 지역별 인구정보 크롤링 (crawling) - 1탄

안녕하세요. 모두의 파이썬입니다. 부동산 공부를 하면서 부동산 가격에 영향을 끼치는 요소가 무엇이라고 생각하나요? 여려가지가 있겠지만, 인구, 기업(일자리), 철도 정도로 축소해 보겠습니다. 3개 모두 연관이 있습니다. '닭이 먼저냐 달걀이 먼저냐' 묻는 것과 비슷할 수 있습니다. 당연 인구가 젤 중요한 요소로 꼽힙니다. 그리고 그 인구의 절대 수치도 중요하지만, 절대 수치는 부동산 가격에 선반영되어 있다고 감히 말해 봅니다. 그래서 1탄에서는 네이버 크롤링을 통해 절대적 수치를 구해보고 2탄에서는 예상되는 추이인 변화량을 절대적 수치를 활용하여 구해 보겠습니다. 전체 글을 요약하면, 1탄에서는 네이버에서 지역별 인구의 연도별 수치를 크롤링 하겠습니다. 모두의 파이썬은 1위를 추종하므로, 대한민국 1위 ..

파이썬/크롤링 2022.04.22

[python-파이썬] 10 유튜브에서 동영상 정보 크롤링 (crawling) - 1탄

안녕하세요. 모두의 파이썬입니다. 유튜브에서 동영상 정보 크롤링 하겠습니다. 유튜브 플랫폼 안에서도 정말 많은 페이지가 있습니다. 그중에서 동영상 페이지에서 각 동영상 정보를 크롤링 하겠습니다. 전체 글을 요약하면, 특정 채널의 유튜브 동영상 페이지 주소를 알아내고, 해당 주소(url)에서, 업로드된 동영상 정보를 크를 롤링 하겠습니다 특정 채널을 선정해 보겠습니다. 모두의 파이썬은 1위를 추종합니다. 국내 유튜브 채널 중에서 구독자 수 1위는 'BLACKPINMK'입니다. 항상 '모두의 파이썬'은 구글에서 검색하고 있습니다. 검색어는 '유튜버 순위'입니다. 그러면 여러 가지가 나오지만, 그중에서 자주 들어가는 사이트는 녹스 인플루언서입니다. 주소는 https://kr.noxinfluencer.com/y..

파이썬/크롤링 2022.04.21
728x90
반응형