윈도우를 사용하면서 시스템 속도 저하, 시스템정리, 오류해결, 복구 등 각종 레지들을 모아 놓은 자료들 입니다. 시스템 속도가 저하되거나 각종 오류가 발생시 모든 레지값들을 필요에 따라 적용하여 바로 수정해서 사용하시면 됩니다. 국내 윈도우 포럼 사용자들 자료이며, 프리로 사용 가능합니다. Reg Pack 은 윈도우 중급 고급 사용자들 수정용입니다 윈도우 사용 초보 분들은 사용하시는 데 어려움이 많으니 아래 링크 시스템 최적화 유틸을 사용하시길 권장합니다. 윈도우 사용 초보자 권장 유틸 ccleaner https://www.ccleaner.com/ 고클린 https://www.gobest.kr/goclean_app/index.htm
파이썬 웹 크롤링(Web Crawling) - Basic 웹 크롤러(Web Crawler)는 자동화된 방식으로 웹 페이지들을 탐색하는 컴퓨터 프로그램입니다. 웹 크롤러가 하는 작업을 웹 크롤링(Web Crawling)이라고 부릅니다. Beautiful Soup 기본 세팅 기본적으로 패키지 import를 통해서 가져오며 html파일을 가져오거나 urllib 혹은 requests 모듈을 통해서 직접 웹에서 소스를 가져올 수도 있습니다. 주요 함수 find() 및 find_all()함수 함수 인자로는 찾고자 하는 태그의 이름, 속성 기타 등등이 들어갑니다. find_all(name, attrs, recursive, string, limit, **kwargs) find_all() : 해당 조건에 맞는 모든 태그..
[Python] 크롤링 연습문제. reddit 크롤링 풀이 이번 포스트에서는 html.Parser로 파싱한 후에 BeautifulSoup4를 사용하여 www.reddit.com 을 크롤링 해보겠습니다. 실습환경 버전 Python 3.6.0 BeautifulSoup(4.5.3) requests(2.12.4) 탐색 오늘 제가 크롤링 해볼 www.reddit.com의 모습입니다. 오늘 저는 저기서 타이틀만 가져와서 목록에 뿌려주려고 합니다. 제가 생각해놓은 순서는 이렇습니다. 1. 단순 GET요청 2. html화면에서 쪼개줄 타이틀 찾기 3. html.parser를 통하여 파싱후 타이틀부분 select 일단 해보겠습니다. 1. requests를 사용하여 서버의 응답확인 requests가 무엇인지 궁금하신분 r..
[Python] requests 기초와 beautiful soup를 활용한 크롤링 본게시글은 HTTP 헤더 이해와 Requests의 설치가 되어있어야 합니다. 또한 requests의 라이브러리를 자세하게 살펴보는 게시글 입니다. Requests: HTTP for Humans 공식문서 바로가기 - Python에서 기본 라이브러리로 urllib가 제공되지만, 이보다 더 간결한 코드로 다양한 HTTP요청을 할 수 있는 라이브러리 이기 때문에 사용 - JavaScript처리가 필요한 경우에 selenium을 고려할 수 있음. 하지만 requests에서도 적용이 가능한 부분도 있으며, 이는 requests 사용시 크롤링 할 페이지에 대해 다방면의 검토가 필요하다고 볼 수 있음. - 크롤링을 할때 요청에서 requ..
[Python] 크롤링 기초 개념과 requests를 이용한 기초실습(설치부터) 크롤링(Crawling) 1. 특정 페이지에 있는 정보들을 내가 원하는 포맷으로 가져오는것 2. WebScrapping을 자동으로 돌아다니며 분석 및 저장등을 하는 행위 정도로 저장할수 있습니다. 쉽게 생각하는 크롤링(Crawling) - 사람들이 웹페이지에 직접 접속해서 정보를 읽어드리는 것과 유사 - 인터넷상에 흩어져 있는 자료들을 사람 대신에 프로그램을 통하여 서핑하며 수집과 가공을 하는것 - 이때 프로그램 구성에 따라 서핑능력의 차이가 발생하게 되는데 대표적으로 자바스크립트의 처리를 하는지 못하는지의 여부가 있습니다. 크롤링을 하기전 알아야하는 지식 HTTP 매서드 - GET: 리소스 요청 (크롤링에 주로 사용) =>..
파싱이란 가공되지 않은 데이터에서 원하는 특정한 문자열을 빼내는 작업 이전글과는 같은 작업이지만 다르다는 점은 Beautiful Soup모듈을 사용하여 간편하게 작업한다는 점입니다. 먼저 파이썬에서 Beatiful Soup를 다운받습니다. cmd창에서 해당 명령어를 통해 beautifulsoup4버전이 설치되어 있는지 확인합니다. 없으시다면 pip install beautifulsoup 를 입력하셔서 설치해주면 됩니다 설치가 완료되셨다고 가정한 후에 시작하겠습니다 지금 우리는 네이버 영화랭킹 타이틀만을 파싱하려고 합니다. 먼저, 하시기전에 HTML을 어느정도 보실줄 아셔야 도움이 되십니다. ctrl+u를 누르시면 페이지 소스보기가 됩니다 페이지 소스를 살펴봅시다 내려보시다 보면 눈치 채신분들도 있을겁니다..
[Python] 파이썬을 이용한 크롤링 크롤링 이란? 크롤링[crawling] : 무수히 많은 컴퓨터에 분산 저장되어 있는 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술. 어느 부류의 기술을 얼마나 빨리 검색 대상에 포함시키냐 하는 것이 우위를 결정하는 요서로서 최근 웹 검색의 중요성에 따라 발전되고 있다. 웹 크롤링 : 웹 크롤링은 콘텐츠를 수집하기 위해 자동으로 웹사이트를 방문하는 프로세스다. 웹 크롤러 : 자동으로 웹 페이지를 방문해 콘텐츠를 가져오고 URL을 추출해 낸다. 웹 크롤러의 다른 이름은 웹 스파이더, 봇 또는 자동화 색인기 이다. 드래그용 코드 #홈페이지 전체를 긁어오기 import urllib2 url="http://news.naver.com/" temp=urllib2.urlo..
3.5. 람다(Lambda) 오늘은 람다 형식과 그것을 이용하는 여러가지 함수들에 대해서 알아보겠습니다. 당장 완벽하게 소화하실 필요는 없을 것 같구요, 가벼운 마음으로 이런 것이 있다는 정도만 아셔도 되지 않을까 합니다. 람다 형식은 인공지능 분야나 AutoCAD라는 설계 프로그램에서 쓰이는 Lisp 언어에서 물려받았다고 하는데요, 함수를 딱 한 줄만으로 만들게 해주는 훌륭한 녀석입니다. 사용할 때는 아래와 같이 써주면 되지요.lambda 인자 : 표현식 다음은 두 수를 더하는 함수입니다.>>> def hap(x, y): ... return x + y ... >>> hap(10, 20) 30 이것을 람다 형식으로는 어떻게 표현할까요?>>> (lambda x,y: x + y)(10, 20) 30 너무나 ..
3.4. 반환문(return) 여러분, 함수가 무엇일까요? 지금까지 머리 아프게 함수를 공부했는데 또 무슨 소리냐구요? 물론 함수에 대해 계속 배워왔지만, 결정적으로 빠진 내용이 하나 있습니다. 사실은 우리가 초등학교 때부터 배워왔던 것이기도 하구요. 과연 그것이 무엇일까요? 이 그림 낯익으시죠? 함수에 x를 집어 넣으면 함수가 주물럭주물럭 계산해서 y라는 값을 돌려주는 그림입니다. 함수에 값을 넣으면 함수는 계산된 값을 돌려준다. 이것이 바로 함수의 핵심이지요. 프로그래밍에서도 마찬가지입니다. 지금까지 우리가 만든 함수들은 일은 열심히 하지만 돌려주는 것은 없었지요. 그렇다면 이젠 일도 하고 결과를 돌려주기도 하는 함수를 만들어 봐야겠죠?>>> def function(x): ... a = 3 ... b..
3.3. 지역변수, 전역변수 시스템 프로그래밍은 컴퓨터의 CPU 구조랑, 어셈블리 언어, 어셈블리 언어를 해석해서 컴퓨터가 알 수 있게 기계어로 바꿔주는 어셈블러의 작동원리, 운영체제도 포함된 과목입니다. 한 마디로 우리가 사용하는 프로그램과 컴퓨터 장치 사이에서 일하는 것이 시스템 프로그램이라고 할 수 있지요. 시스템 분석 설계는 건물을 짓기 전에 먼저 설계를 하는 것처럼 프로그램을 짤 때 전체적인 설계를 하는 것입니다. 보통 프로그래머가 되려면 자바, C, 비주얼 베이직 같은 프로그래밍 언어만 배우면 되는 것으로 생각을 하기 쉬운데, 사실 프로그래밍 언어는 한 부분에 불과하답니다. 그래서 좋은 프로그래머가 되기 위해선 많은 교육과 경험이 필요하지요. 오늘도 함수에 관한 이야기랍니다. 제목엔 변수라고 ..
3.1. 재귀적 용법 이번에 배울 것은 새로운 파이썬 문법은 아니구요, 프로그램을 짜는 테크닉 중의 한 가지인데 조금 머리가 아플 수도 있는 내용이랍니다. 하지만 최대한 쉽게 알려드릴 테니까 너무 걱정 마시고 함께 알아보도록 해요. 알아볼 내용이 무엇인고 하니, 함수가 자기 자신을 호출하는 '재귀'적인 용법입니다. 갑자기 어려운 것을 배우면 머리가 많이 아프실 테니까 먼저 준비운동을 하는 것이 좋겠군요. 다음의 예제를 봐주세요. 먼저 주어진 두 수를 합하는 함수를 만들어보겠습니다.>>> def hap(a, b): ... print(a + b) ... 제대로 만들었는지 확인을 해보세요. 이 함수를 어떻게 쓰는지 아시겠죠? 확인해보셨으면 두 수를 곱하는 함수도 만들어보세요.>>> def gop(a, b): ..
2.3. 반복문(for) 이번엔 for 문에 대해서 알아볼 차례입니다. 파이썬에서 for 문의 쓰임새는 다른 언어와 차이가 있다고 하네요. 저도 그걸 모르고 한참 글을 쓰다보니 뭔가 이상하다는 것을 발견했습니다. ^^; for 문은 우리가 전에 배웠던 목록(list)과 같은 순서형 자료를 이용해서 원하는 명령을 반복할 때 쓰인다고 합니다. 순서형에 대해서는 나중에 자세하게 알려드리도록 하구요, 전에 배웠던 목록을 다시 한번 볼까요?>>> family = ['mother', 'father', 'gentleman', 'sexy lady'] 저희 가족이 이랬었는데 기억 나시지요? 그냥 따라 치지 마시고 여러분의 가족을 나타내는 목록을 만들어 보세요. 다음은 for 문을 이용해서 저희 가족들의 이름과 문자열 길..