모두의 실험실

안녕하세요. 모두의 파이썬입니다. 네이버에서 블로그 정보 크롤링을 하겠습니다. 크롤링의 영역을 넘어서 코딩을 왜 하는가를 곰곰이 생각해 보면, 코딩이라는 도구를 통해서 반복적인 것을 처리하기 위함입니다. '반복적'이라는 단어를 변형하면 '동일한 형태'라는 단어로 바꿀 수 있고 본인이 구현한 코드를 지속적 사용한 형태로 사용하기 위해서는 '동일한 형태'로 구현하는 습관을 가져야 합니다. 나만 아는 것은 경쟁력을 강하게, 누구나 아는 것을 모를 때는 경쟁력을 약하게 한다는 것을 명심하십시오. 전체 글을 요약하면, 네이버에서 블로그 정보 크롤링을 하기 위해 네이버 검색 결과 주소 형태를 구현하고 찾기입니다. 항상 1등만 쫓아가면 된다. 명심하세요. 키워드는 '삼성전자'로 하겠습니다. 네이버에서 '삼성전자'를 ..

안녕하세요. 모두의 파이썬입니다. 1탄에 이어서 2탄을 진행하겠습니다. 모두의 파이썬은 결과물을 만들어 내면서 학습하는 방식으로 진행하고 있습니다. 다소 기초가 탄탄하지 않더라도, 끊임없이 결과물을 만들면, 높은 경지에 도달할 것입니다. 암기한다기보다는 문제를 해결하는 능력을 배운다고 생각하십시오. 앞서 배운 것들을 키워드로 나열해 보겠습니다. '구글링', '포기 않기', 'F12', '우 클릭>검사', 'tag', 'find_all('div' ,{'class','xxx'})' 기타 등등 많이 있습니다. 구구단도 얼마나 많이 듣고 말했나요. 모든 게 같습니다. 반복을 하면 어느새 체화됩니다. 전체 글을 요약하면, 네이버 뉴스 검색 페이지에서 뉴스 정보 크롤링입니다. 1탄에서 검색 페이지의 주소 얻는 방법..

안녕하세요. 모두의 파이썬입니다. 네이버에서 종목뉴스 크롤링을 진행하겠습니다. 스스로 문제를 해결하는 항상 우리의 목표입니다. 수학공식을 외우는 것이 아니라, 수학공식을 유도해 내는 것이 우리의 목표입니다. 다른 사람이 해 놓은 것이 정답이 아니라, 여러분이 해결하는 것이 곧 정답입니다. 항상 해낼 수 있다. 그리고 포기란 없다는 마인드를 가지고 시작해 보겠습니다. 전체 글을 요약하면, 1탄에서는 네이버에서 원하는 주식 종목 뉴스를 크롤링 하기 위해서, 지금부터 3시간 전 종목뉴스 결과를 갖고 있는 네이버 뉴스 검색 결과 url을 얻는 과정입니다 저는 코드로 구현하기 전에 매뉴얼(manual), 수동으로 먼저 진행을 해 봅니다. 목표를 정해보겠습니다. 삼성전자 뉴스 기사를 가져오는데, 5시간 전 기사를 ..

안녕하세요. 모두의 파이썬입니다. 네이버 증권에서 주식정보 크롤링 (crawling) - 2탄을 진행하겠습니다. 1탄에서는 기본적 크롤링을 다루었습니다. 크롤링의 정의/예제를 통해서, 크롤링을 스스로 코딩할 수 있는 방법을 다루었습니다. '기본으로 돌아가라'라는 말이 있습니다. 문제가 해결되지 않을 때는 기본으로 돌아가서, 차근차근해보시면, 성장 발전하는데 도움 될 것입니다. '구글링/포기 않기'는 아무리 강조해도 지나치지 않습니다. 기본적 내용은 1탄에 있으니 참조하십시오. ⓒ 네이버 증권에서 주식정보 크롤링 (crawling) - 1탄, 출처 모두의 파이썬 전체 글을 요약하면, 여러 페이지 주식정보 크롤링과 코스피/코스닥 전체 주식정보 크롤링입니다. 우선 여러 페이지 주식정보 크롤링 하는 방법을 알아..

안녕하세요. 모두의 파이썬입니다. 크롤링 예제를 기반으로 파이썬 능력을 발전시키고, 코드에 대한 자신감을 향상시켜 보려 합니다. 크롤링 들어보셨나요? 제가 항상 말씀드리지만, 모른다면 어떻게 해야 하나요? 먼저, 크롬 브라우저를 열고, 알고 싶은 것을 구글에서 검색하고 이해하는 과정을 반복하십시오. 구글에 검색하니 나무위키에서 크롤링을 정의 해놓았습니다. '웹페이지에 있는 데이터를 추출' 이렇게 요약해 보았습니다. 크롤링을 하는 이유는 내가 필요한 데이터를 가져오기 위함입니다. 그리고 그 아래에 'Python이 이 분야의 선두주자'라고 나옵니다. 여러분도 저도 선택을 참 잘했습니다. ⓒ 크롤링, 출처 나무위키 다다익선이라는 말이 있습니다. 많이 검색해 보시고 찾아보시면, 누구보다도 많이 아시게 될 것입니..

안녕하세요 모두의 파이썬입니다 파이썬 코딩을 본격적으로 시작하기 전에 환경 구축을 먼저 진행하려 합니다. 모두의 파이썬은 '아나콘다/주피터 노트북' 환경에서 파이썬 코딩을 하겠습니다. 전체 글을 요약하면, 아나콘다를 설치하고 환경 변수 설정입니다. 아나콘다부터 설치해 보겠습니다. '모두의 파이썬'이 자주 하는 말이 있습니다 '우리 곁엔 구글 신이 있습니다' 제가 링크를 걸어 드릴 수도 있지만, 우리는 정석대로, 스스로 하는 힘을 길러야 합니다. 크롬 브라우저는 설치되어 있다고 가정하고 계속 진행하겠습니다. 혹시나 크롬 브라우저 설치가 궁금하시다면, 하기 댓글 달아주시면, 바로 크롬 설치방법에 대해 해 포스팅을 해보겠습니다. 다시 아나콘다 설치로 돌아와서 구글 검색창에서 'anaconda install'을..

안녕하세요 모두의 파이썬입니다. 파이썬 여행의 1차 목적지에 대해 말하려 합니다. 전체 글을 요약하면, 제가 제일 잘 할 수 있는 것을 소개하겠습니다. 그것이 현재 크롤링이며, 크롤링을 기반으로 여러 가지를 자동화할 수 있습니다. 자세한 소개에 앞서 한 가지 말씀드리려 합니다. 지금까지 제가 깨달은 것은 '본인을 자책할 필요 없다'라는 것입니다. 현재 당신의 모습을 자랑스러워하고 사랑하십시오. 당신을 한번 들여다보십시오. 당신은 분명히 잘 하는 것이 있습니다. 그것을 하십시오. 꾸준히 깊게 본인이 가장 잘하고 좋아하는 것을 하면 결국은 정상에 도달할 수 있습니다. 최종 결과물에서 세부 구현 순서로 설명해 보겠습니다. 저는 주로 구현을 하고 싶어 했습니다. 예를 들어 일정한 시간에 주식 뉴스를 텔레그램으로..

안녕하세요 모두의 파이썬입니다 앞으로 저는 이 블로그를 통해 파이썬과 함게 길고 긴 여행을 떠나보려 합니다. 저는 이미 파이썬을 오랫동안 이해/배움/활용해 왔으며, 앞으로도 계속 성장 발전할 것입니다. 늦었지만, 이제서야 큰 깨달음을 얻고, '지금도 늦지 않았다'를 외치며, 블로그를 시작해 보려 합니다. 전체 글을 요약하면, 파이썬의 장점 소개와 파이썬을 포기하지 않는 마음가짐입니다. 파이썬의 강력한 장점을 소개하면, 초보자가 배우고 활용하기 쉬운 언어이며, 해결 방법 또한 다른 언어에 비해 쉽습니다. 이미 수많은 코딩 크루들이 시행착오를 겪었고, 그것을 해결한 과정들이 구글에 많이 있습니다. 그래서 우리는 그것들을 구글 검색을 통해 쉽게 찾고 해결할 수 있습니다. 정리하면, 접근에서부터 해결까지 쉽기 ..