모두의 실험실

안녕하세요. 모두의 파이썬입니다. 1탄에서는 첫 번째 동영상 정보를 크롤링 했습니다. 1탄에서는 'tag'와 속성으로 크롤링 하는 것이 아닌, text의 위치정보로 크롤링을 하였습니다. 2탄에서는 반복적 규칙적인 text 위치 정보를 찾아서 여러 동영상 정보를 크롤링 하겠습니다. 전체 글을 요약하면, 반복적인 text 위치정보를 찾아 여러 동영상 정보 크롤링입니다. 아래 그림에 보이는 10개 동영상 제목과 url을 크롤링 하겠습니다. ⓒ블랙핑크 유튜브 채널, 출처 Youtube html text 분석하여 규칙적인 구문을 찾겠습니다. 제목 앞에 "title":{"runs":[{"text":" text가 있어서 제목 위치를 찾을 수 있고, 제목이 끝나는 "}]," 이 부분을 split으로 분리시키면 list..

안녕하세요. 모두의 파이썬입니다. 빗썸에서 호가정보 크롤링을 하겠습니다. 국내 코인 거래소 2위가 빗썸입니다. 모두의 파이썬은 빗썸이 빠르고 쉽게 크롤링 할 수 있어서 선택했습니다. 호가정보 얻는 방법은 여러 가지가 있습니다. 모두의 파이썬이 아는 방법만 하더라도 2가지입니다. 거래소에서 제공하는 api와 거래소 사이트에서 크롤링 하는 것입니다. 모두의 파이썬은 우선 크롤링으로 호가정보를 얻겠습니다. 전체 글을 요약하면, 거래소 사이트에서 'tag'기반 호가정보 크롤링 하기입니다 거래소 사이트에 접속하여 거래소를 클릭하겠습니다. ⓒ메인화면, 출처 빗썸거래소 사이트 거래소 기본 화면으로 주소창이 https://www.빗썸.com/trade/order/BTC_KRW 바뀌는 것을 볼 수 있습니다. 모두의 코인..

안녕하세요. 모두의 파이썬입니다. 가끔 지인에게 추천곡 권유받아 본적 있나요? 예전엔 제목으로만 권유받았는데, 기술발전으로 언제든 스마트폰/유튜브 및 다양한 음악전문 채널에서 링크를 받아 바로 들을 수 있는 환경이 되었습니다. '오늘은 뭐들을까?' 고민을 할때도 있었지만, 지금은 아닙니다. 인기순위 목록이 해결책이 될 수 있습니다. 노래 인기순위를 한번 구해보고 싶어져서 크롤링에 도전하겠습니다. 전체 글을 요약하면, 멜론사이트 > 멜론차트 > TOP100 정보를 크롤링입니다 먼저 멜론사이트 > 멜론차트 > TOP100 순서대로 접속을 해보겠습니다. 모두의 파이썬은 구글검색으로 멜론을 접속하였습니다. 최종목적지는 'https://www.melon.com/chart/index.htm' 입니다. 'tag' 정..

안녕하세요. 모두의 파이썬입니다. 나혼자 산다에 메인 호스트 기안84아시나요? 기안84가 웹툰작가입니다. 즐겨보지 않더라도 웹툰작가들이 매스컴에도 자주 나오기 시작하면서, 웹툰의 대중화가 확산되고 있습니다 그래서 웹툰 정보를 크롤링 해보겠습니다. 전체 글을 요약하면, 네이버웹툰 사이트에서 요일별 웹툰정보와 선위정보를 크롤링한다. 항상 시작은 구글링입니다. '네이버웹툰'을 구글링하여 네이버웹툰으로 접속합니다. 기본이 요일전체 웹툰 인기순위로 페이지를 보여줍니다. 예외의 경우도 발생할 수 있기때문에 '네이버웹툰> 웹툰> 요일전체' 으로 접속을 해봅니다. 네이버웹툰 사이트 https://comic.naver.com/webtoon/weekday?order=User로 접속합니다. '인기순' '업데이트순' '조회'..

안녕하세요. 모두의 파이썬입니다. 보고싶은 미디어를 정말 손쉽게 볼 수 있는 그런 시대입니다. 영화 드라마 예능등 원하는건 뭐든지 기다릴 필요없이 볼수 있습니다. 그런데 원하는거 모두 보고 뭐 볼까 고민되는 순간이 있습니다. 걱정할 필요가 없습니다. FlixPatrol (https://flixpatrol.com/)이 있습니다. FlixPatrol에서는 핫한 OTT서비스들의 '일간'순위를 볼 수있습니다. 그럼 넷플릭스 일간순위 한번 확인해볼까요? 전체 글을 요약하면, FlixPatrol에서 넷플릭스 영화/TV쇼 100위 순위를 크롤링 한다 'FlixPatrol 웹사이트> TOP MOVIES Netflix> Full Details' 를 순서대로 접속하거나, url https://flixpatrol.com/t..

안녕하세요. 모두의 파이썬입니다. 코인 부동산 주식 주식에서도 국내주식 해외주식(미국주식) 이렇게 투자할 종류가 정말 많습니다. 국내주식 관련 투자에대해 알아보겠습니다. '과연 얼마나 잘 기업을 알고 투자를 하고 있는가' 입니다. 국내에 정말 많은 투자자들이 있지만, 묻지마투자 뉴스투자 지인추천등 소중한 손을 쉽게 투자하고 있는 투자자를 보면, 안타까울 때가 있습니다. 그래서 좀더 기업을 알고 투자하는 방법중에 하나가 증권사의 전문 분석가, 'Analyst(애널리스트)' 입니다. 애널리스트는 증권사에 근무하면서, 담당하는 산업군과 기업들이 있습니다. 기업들의 재무재표 기반으로 기업을 분석하고 목표가 예상 매출 영업이익등을 기술해 놓은 것이 애널리포트라고 이해하시면 쉽습니다. 애널리포트가 정답은 아닙니다...

안녕하세요. 모두의 파이썬입니다. 1탄에서 구현한 url주소형식을 참조해서 블로그 정보를 크롤링하겠습니다. 암기하는 것이 아닙니다. 이해하는 것입니다. '동일한 형태' '규칙적인 부분 'tag' 만 찾으시면 됩니다. 쉽습니다. 시작이 반입니다. 전체 글을 요약하면, 반복되는 'tag' 정보를 찾아 블로그 정보를 크롤링 하기 입니다. 네이버 검색 url은 https://search.naver.com/search.naver?where=blog&query=삼성전자&sm=tab_opt&nso=so%3Add%2Cp%3A1h 입니다 'F12' 또는 본문 > 우클릭 > 검사 실행합니다. topdown으로 해결하겠습니다. 전체를 찾은 다음 규칙을 찾겠습니다. 'div',{'class' : 'api_subject_bx'..

안녕하세요. 모두의 파이썬입니다. 부동산 공부를 하면서 부동산 가격에 영향을 끼치는 요소가 무엇이라고 생각하나요? 여려가지가 있겠지만, 인구, 기업(일자리), 철도 정도로 축소해 보겠습니다. 3개 모두 연관이 있습니다. '닭이 먼저냐 달걀이 먼저냐' 묻는 것과 비슷할 수 있습니다. 당연 인구가 젤 중요한 요소로 꼽힙니다. 그리고 그 인구의 절대 수치도 중요하지만, 절대 수치는 부동산 가격에 선반영되어 있다고 감히 말해 봅니다. 그래서 1탄에서는 네이버 크롤링을 통해 절대적 수치를 구해보고 2탄에서는 예상되는 추이인 변화량을 절대적 수치를 활용하여 구해 보겠습니다. 전체 글을 요약하면, 1탄에서는 네이버에서 지역별 인구의 연도별 수치를 크롤링 하겠습니다. 모두의 파이썬은 1위를 추종하므로, 대한민국 1위 ..

안녕하세요. 모두의 파이썬입니다. 유튜브에서 동영상 정보 크롤링 하겠습니다. 유튜브 플랫폼 안에서도 정말 많은 페이지가 있습니다. 그중에서 동영상 페이지에서 각 동영상 정보를 크롤링 하겠습니다. 전체 글을 요약하면, 특정 채널의 유튜브 동영상 페이지 주소를 알아내고, 해당 주소(url)에서, 업로드된 동영상 정보를 크를 롤링 하겠습니다 특정 채널을 선정해 보겠습니다. 모두의 파이썬은 1위를 추종합니다. 국내 유튜브 채널 중에서 구독자 수 1위는 'BLACKPINMK'입니다. 항상 '모두의 파이썬'은 구글에서 검색하고 있습니다. 검색어는 '유튜버 순위'입니다. 그러면 여러 가지가 나오지만, 그중에서 자주 들어가는 사이트는 녹스 인플루언서입니다. 주소는 https://kr.noxinfluencer.com/y..

안녕하세요. 모두의 파이썬입니다. 네이버에서 블로그 정보 크롤링을 하겠습니다. 크롤링의 영역을 넘어서 코딩을 왜 하는가를 곰곰이 생각해 보면, 코딩이라는 도구를 통해서 반복적인 것을 처리하기 위함입니다. '반복적'이라는 단어를 변형하면 '동일한 형태'라는 단어로 바꿀 수 있고 본인이 구현한 코드를 지속적 사용한 형태로 사용하기 위해서는 '동일한 형태'로 구현하는 습관을 가져야 합니다. 나만 아는 것은 경쟁력을 강하게, 누구나 아는 것을 모를 때는 경쟁력을 약하게 한다는 것을 명심하십시오. 전체 글을 요약하면, 네이버에서 블로그 정보 크롤링을 하기 위해 네이버 검색 결과 주소 형태를 구현하고 찾기입니다. 항상 1등만 쫓아가면 된다. 명심하세요. 키워드는 '삼성전자'로 하겠습니다. 네이버에서 '삼성전자'를 ..