모두의 실험실

안녕하세요. 모두의 파이썬입니다. 유튜브에서 동영상 정보 크롤링 하겠습니다. 유튜브 플랫폼 안에서도 정말 많은 페이지가 있습니다. 그중에서 동영상 페이지에서 각 동영상 정보를 크롤링 하겠습니다. 전체 글을 요약하면, 특정 채널의 유튜브 동영상 페이지 주소를 알아내고, 해당 주소(url)에서, 업로드된 동영상 정보를 크를 롤링 하겠습니다 특정 채널을 선정해 보겠습니다. 모두의 파이썬은 1위를 추종합니다. 국내 유튜브 채널 중에서 구독자 수 1위는 'BLACKPINMK'입니다. 항상 '모두의 파이썬'은 구글에서 검색하고 있습니다. 검색어는 '유튜버 순위'입니다. 그러면 여러 가지가 나오지만, 그중에서 자주 들어가는 사이트는 녹스 인플루언서입니다. 주소는 https://kr.noxinfluencer.com/y..

안녕하세요. 모두의 파이썬입니다. 네이버에서 블로그 정보 크롤링을 하겠습니다. 크롤링의 영역을 넘어서 코딩을 왜 하는가를 곰곰이 생각해 보면, 코딩이라는 도구를 통해서 반복적인 것을 처리하기 위함입니다. '반복적'이라는 단어를 변형하면 '동일한 형태'라는 단어로 바꿀 수 있고 본인이 구현한 코드를 지속적 사용한 형태로 사용하기 위해서는 '동일한 형태'로 구현하는 습관을 가져야 합니다. 나만 아는 것은 경쟁력을 강하게, 누구나 아는 것을 모를 때는 경쟁력을 약하게 한다는 것을 명심하십시오. 전체 글을 요약하면, 네이버에서 블로그 정보 크롤링을 하기 위해 네이버 검색 결과 주소 형태를 구현하고 찾기입니다. 항상 1등만 쫓아가면 된다. 명심하세요. 키워드는 '삼성전자'로 하겠습니다. 네이버에서 '삼성전자'를 ..

안녕하세요. 모두의 파이썬입니다. 1탄에 이어서 2탄을 진행하겠습니다. 모두의 파이썬은 결과물을 만들어 내면서 학습하는 방식으로 진행하고 있습니다. 다소 기초가 탄탄하지 않더라도, 끊임없이 결과물을 만들면, 높은 경지에 도달할 것입니다. 암기한다기보다는 문제를 해결하는 능력을 배운다고 생각하십시오. 앞서 배운 것들을 키워드로 나열해 보겠습니다. '구글링', '포기 않기', 'F12', '우 클릭>검사', 'tag', 'find_all('div' ,{'class','xxx'})' 기타 등등 많이 있습니다. 구구단도 얼마나 많이 듣고 말했나요. 모든 게 같습니다. 반복을 하면 어느새 체화됩니다. 전체 글을 요약하면, 네이버 뉴스 검색 페이지에서 뉴스 정보 크롤링입니다. 1탄에서 검색 페이지의 주소 얻는 방법..

안녕하세요. 모두의 파이썬입니다. 네이버에서 종목뉴스 크롤링을 진행하겠습니다. 스스로 문제를 해결하는 항상 우리의 목표입니다. 수학공식을 외우는 것이 아니라, 수학공식을 유도해 내는 것이 우리의 목표입니다. 다른 사람이 해 놓은 것이 정답이 아니라, 여러분이 해결하는 것이 곧 정답입니다. 항상 해낼 수 있다. 그리고 포기란 없다는 마인드를 가지고 시작해 보겠습니다. 전체 글을 요약하면, 1탄에서는 네이버에서 원하는 주식 종목 뉴스를 크롤링 하기 위해서, 지금부터 3시간 전 종목뉴스 결과를 갖고 있는 네이버 뉴스 검색 결과 url을 얻는 과정입니다 저는 코드로 구현하기 전에 매뉴얼(manual), 수동으로 먼저 진행을 해 봅니다. 목표를 정해보겠습니다. 삼성전자 뉴스 기사를 가져오는데, 5시간 전 기사를 ..

안녕하세요. 모두의 파이썬입니다. 네이버 증권에서 주식정보 크롤링 (crawling) - 2탄을 진행하겠습니다. 1탄에서는 기본적 크롤링을 다루었습니다. 크롤링의 정의/예제를 통해서, 크롤링을 스스로 코딩할 수 있는 방법을 다루었습니다. '기본으로 돌아가라'라는 말이 있습니다. 문제가 해결되지 않을 때는 기본으로 돌아가서, 차근차근해보시면, 성장 발전하는데 도움 될 것입니다. '구글링/포기 않기'는 아무리 강조해도 지나치지 않습니다. 기본적 내용은 1탄에 있으니 참조하십시오. ⓒ 네이버 증권에서 주식정보 크롤링 (crawling) - 1탄, 출처 모두의 파이썬 전체 글을 요약하면, 여러 페이지 주식정보 크롤링과 코스피/코스닥 전체 주식정보 크롤링입니다. 우선 여러 페이지 주식정보 크롤링 하는 방법을 알아..

안녕하세요. 모두의 파이썬입니다. 크롤링 예제를 기반으로 파이썬 능력을 발전시키고, 코드에 대한 자신감을 향상시켜 보려 합니다. 크롤링 들어보셨나요? 제가 항상 말씀드리지만, 모른다면 어떻게 해야 하나요? 먼저, 크롬 브라우저를 열고, 알고 싶은 것을 구글에서 검색하고 이해하는 과정을 반복하십시오. 구글에 검색하니 나무위키에서 크롤링을 정의 해놓았습니다. '웹페이지에 있는 데이터를 추출' 이렇게 요약해 보았습니다. 크롤링을 하는 이유는 내가 필요한 데이터를 가져오기 위함입니다. 그리고 그 아래에 'Python이 이 분야의 선두주자'라고 나옵니다. 여러분도 저도 선택을 참 잘했습니다. ⓒ 크롤링, 출처 나무위키 다다익선이라는 말이 있습니다. 많이 검색해 보시고 찾아보시면, 누구보다도 많이 아시게 될 것입니..