모두의 실험실

[python-파이썬] 안녕하세요 모두의 파이썬입니다 지금까지 정적인 크롤링, 동적인 크롤링(셀레늄 활용)을 해 보았습니다. 뭔가 더 해보고 싶다는 생겼습니다. 크롤링 했던 정보를 기록으로 남기고 싶어졌습니다. 국내 블로그 플랫폼은 크게 네이버 블로그와 티스토리 2종류가 있습니다. 먼저 네이버 블로그에 크롤링 했던 정보를 기록으로 남겨 보겠습니다. 전체 글을 요약하면, 크롤링 한 정보를 셀레늄을 활용하여 네이버 블로그 작성한다 크롤링은 네이버 뉴스에 게시된 것으로 하면서, 키워드는 '삼성전자', 제목이 포함된 기사로 한정한다. 글쓰기에 중점이 맞춰져 있으므로 크롤링은 간략하게 네이버 검색에 삼성전자를 입력하고, 뉴스 탭에 나오는 정보를 크롤링 하는 방식으로 알고리즘을 구현하였다. In [27]: from..

안녕하세요 모두의 파이썬입니다. 크롤링에 대해 지금까지 약 20개 작성을 하였습니다. 그런데 지금까지는 작성한 글을 보면 사이트에 존재하는 정보들에 대해 크롤링을 하였습니다. 로그인을 하거나 입력값을 필요로 하지 않는 종류의 크롤링이었습니다. 하지만 파이썬을 알고, 크롤링 구현 실력이 증가하면서 자동화를 하고 싶은 영역이 확장되어 실생활에 적용할 사례들이 폭발적으로 증가할 것이라 생각됩니다. 그래서 국내 가장 빠른 기차인 SRT 표를 자동 예매하는 방법에 대해 알아보겠습니다 전체 글을 요약하면, SRT 로그인에서부터 결제 직전인 예매까지 구현한다 우선 SRT 홈페이지로 접속한다. 예매를 해봤다면, 한 번쯤은 홈페이지에 들어와 봤을 것이다. 다음과 같은 화면을 볼 수 있다. 예매를 하기 위해서는 로그인이 ..

안녕하세요 모두의 파이썬입니다 동영상을 직접 제작하거나, 편집하고 싶은데, 동영상 편집기를 사용해 본적이 없다면 어떻게 해야하나요? 포기해야하나요? 우리에겐 파이썬이 있습니다. 하루하루 놀랍니다. 파이썬으로 도데체 못하는게 무엇일까요? 구글을 검색하고, 또검색하고 보니, 뭔가 나옵니다. 영어로 'manim' 한글로 '마님' 이라 불려집니다. 설치해보고 예시하나 다뤄 보겠습니다. 출발해 볼까요? 전체 글을 요약하면, manim을 설치하고, 예제를 통해서 파이썬으로 동영상을 만든다 먼저 구글검색으로 manim설치 방법을 찾아본다. https://github.com/3b1b/manim 에 접속하여 스크롤을 내리면, 'Anaconda Install' 이있다. 1-4 순서대로 실행한다 ⓒ namim 설치가이드 ,..

안녕하세요 모두의 파이썬입니다 '기초를 튼튼이 하라'라는 말이 있습니다. 초등학생과 대학생이 하루 종일 문제를 풉니다. 누가 문제를 많이 풀 수 있을까요? 대학생입니다. 그 개수 차이는 엄청날 것으로 예상됩니다. 이는 무엇 때문일까요? 기초지식과 보유한 지지 식량의 차이입니다. 누가 많이 알고 있느냐에 따라서 처리 속도가 달라집니다. 파이썬도 기초를 튼튼히 하여 여러분의 코딩 능력이 향상되고 코딩 처리 속도가 빨라져서 해낼 수 있는 양이 극대화되기를 바랍니다. 전체 글을 요약하면, 파이썬의 가장 기초 분야인 변수에 대해 알아보고 예시를 통하여 실습한다 변수가 무엇인지 살펴본다 a=1이라고 선언하면 a는 1이라는 변수이다. 언제든 a는 변할 수 있다 a = b + 1에서 b가 2가 되면 a는 3이 되고, ..

안녕하세요 모두의 파이썬입니다 아나콘다3 설치를 마치고, 본격적 코딩에 앞서, Jupyer Notebook(anaconda3) - 주피터 노트북을 코딩 환경으로 사용합니다. 코딩에서 가장 시간을 많이 할애하는 부분이 디버깅인데, 주피터 노트북은 가독성도 뛰어나고, 실행한 뒤 변수가 자동 저장이 되어서 디버깅 환경이 효과적입니다. 전체 글을 요약하면, 주피터 노트북에서 자주 쓰는 기능의 단축키를 실습한다 먼저, 주피터 노트북을 실행합니다. 모두의 파이썬은 윈도우 환경에서 코딩하므로, 윈도우 환경으로 설명합니다. '윈도우 버튼> jupyter notebook > 엔터'를 검색합니다. 브라우저에서 주피터 노트북이 실행되며, 코딩을 하기 위해 'New'버튼을 눌러서 'Python3'를 실행합니다. 'Untitl..

안녕하세요 모두의 파이썬입니다 파이썬관련 글쓰기 위해 필요한 예제를 그림으로 저장하는 공간입니다. 아래 환경변수 설정방법 5단계 그림참조하여 파일탐색기> 내PC(우클릭) 속성> 고급 시스템 설정> 환경변수(N)...> 사용자변수 Path클릭후 편집> 새로만들기> 3가지 경로입력 순서대로 실행해 본다. 3가지 경로의 공통경로는 C:\Users\'사용자이름'\anaconda3 이다 검색을 완료하면, 주소는 'https://www.anaconda.com/ 로 시작하고 제목은 'Anaconda Distribution'인 검색 결과를 찾을 수 있다. 접속하여 자신 컴퓨터 os환경 아이콘을 클릭한다. 책에서는 윈도우os환경으로 설치를 진행한다. 아래 환경변수 설정방법 5단계 그림참조하여 파일탐색기> 내PC(우클릭)..

안녕하세요. 모두의 파이썬입니다. 1탄에서는 연도별 서울시인구수를 크롤링하여 얻었습니다. 앞으로 크롤링 계속 하면서 '이제 정보를 얻는것은 쉽게 할수 있다. 그럼 이 정보를 어떻게 하면 더 가치있게 만들까?' 를 더 생각하고 고민하게 될 것입니다. 분명한것은 모든 정답은 본인에게 있고, 포기만 없다면 정답을 찾을 수 있다고 믿습니다. 2탄에서는 크롤링한 연도별 인구 정보로 앞으로 내년 후내년에 얼마나 증가하고 감소할지 리니어 리그레션(선형회기-linear regression) 방법을 활용하여 값을 얻어 보겠습니다. 그리고 국내 특별시-광역시에서 부터 시군도 까지 연도별인구수와 증가율, 그리고 증가수을 구하겠습니다 전체 글을 요약하면, 국내 전채 시군도 연도별 인구수를 활용하여 평균연도별 증가율(감소율)과..

안녕하세요. 모두의 파이썬입니다. 개인별 주식매매하는 방법이 다릅니다. 시간 외 단일가 매매는 시간 외 단일가 기반으로 다음 거래일에 매매하는 방식입니다. 전일 시간 외 단일가가 10%(상한가) 경우에 다음 거래일 장시 시작 시 가격 변동이 커질 수 있습니다. 큰 가격 변동이 매매에 중요한 지표가 될 수 있습니다. 구글링하여 mk 증권에서 시간 외 단일가 정보를 제공하는 것을 확인했습니다. 모두의 파이썬은 1위를 추종하므로 삼성전자(005930) 단일가를 크롤링 하겠습니다. http://vip.mk.co.kr/newSt/price/current9.php?stCode=005930 맨 뒤에 종목코드를 변경하면서, 원하는 종목의 시간 외 단일가 정보를 크롤링 할 수 있습니다 전체 글을 요약하면, mk 증권에서..

안녕하세요. 모두의 파이썬입니다. 1탄에서는 첫 번째 동영상 정보를 크롤링 했습니다. 1탄에서는 'tag'와 속성으로 크롤링 하는 것이 아닌, text의 위치정보로 크롤링을 하였습니다. 2탄에서는 반복적 규칙적인 text 위치 정보를 찾아서 여러 동영상 정보를 크롤링 하겠습니다. 전체 글을 요약하면, 반복적인 text 위치정보를 찾아 여러 동영상 정보 크롤링입니다. 아래 그림에 보이는 10개 동영상 제목과 url을 크롤링 하겠습니다. ⓒ블랙핑크 유튜브 채널, 출처 Youtube html text 분석하여 규칙적인 구문을 찾겠습니다. 제목 앞에 "title":{"runs":[{"text":" text가 있어서 제목 위치를 찾을 수 있고, 제목이 끝나는 "}]," 이 부분을 split으로 분리시키면 list..

안녕하세요. 모두의 파이썬입니다. 빗썸에서 호가정보 크롤링을 하겠습니다. 국내 코인 거래소 2위가 빗썸입니다. 모두의 파이썬은 빗썸이 빠르고 쉽게 크롤링 할 수 있어서 선택했습니다. 호가정보 얻는 방법은 여러 가지가 있습니다. 모두의 파이썬이 아는 방법만 하더라도 2가지입니다. 거래소에서 제공하는 api와 거래소 사이트에서 크롤링 하는 것입니다. 모두의 파이썬은 우선 크롤링으로 호가정보를 얻겠습니다. 전체 글을 요약하면, 거래소 사이트에서 'tag'기반 호가정보 크롤링 하기입니다 거래소 사이트에 접속하여 거래소를 클릭하겠습니다. ⓒ메인화면, 출처 빗썸거래소 사이트 거래소 기본 화면으로 주소창이 https://www.빗썸.com/trade/order/BTC_KRW 바뀌는 것을 볼 수 있습니다. 모두의 코인..