RUBY

웹 데이터 수집하고 정리하기 3. Beautiful Soup 1. "오늘 밤, 세계에서 이 사랑이 사라진다 해도" 위키 백과 페이지로 이동 https://ko.wikipedia.org/wiki/%EC%98%A4%EB%8A%98_%EB%B0%A4,_%EC%84%B8%EA%B3%84%EC%97%90%EC%84%9C_%EC%9D%B4_%EC%82%AC%EB%9E%91%EC%9D%B4_%EC%82%AC%EB%9D%BC%EC%A7%84%EB%8B%A4_%ED%95%B4%EB%8F%84 오늘 밤, 세계에서 이 사랑이 사라진다 해도 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. 오늘 밤, 세계에서 이 사랑이 사라진다 해도(일본어: 今夜、世界からこの恋が消えても)는 이치조 미사키의 소설이다. 20..

웹 데이터 수집하고 정리하기 2. 크롬 개발자 도구 - 환율정보 가져오기 1. 네이버 증권 접속 2. 시장지표 탭으로 이동 3. - USD 환율 체크를 파이썬으로 하고자한다. - 크롬 개발자 도구를 이용해보자 4. 이 아이콘 선택 5. 필요한 데이터 부분을 선택한다. - 원하는 HTML 태그가 위치한 곳을 찾아갈 수 있다. - 여기서 기억해야 할 것은 이다. 6. url 주소를 복사한다. https://finance.naver.com/marketindex/ https://finance.naver.com/marketindex/ 환전 고시 환율 2023.02.03 23:58 하나은행 기준 고시회차 415회 finance.naver.com 7. 웹 주소(URL)에 접근할 때는 urllib의 request 모듈..

웹 데이터 수집하고 정리하기 1. BeautifulSoup for web data BeautifulSoup 뷰티풀 수프(Beautiful Soup)는 HTML과 XML 문서들의 구문을 분석하기 위한 파이썬 패키지이다. HTML로부터 데이터를 추출하기 위해 사용할 수 있는 파싱된 페이지의 파스 트리를 만드는데, 이는 웹 스크래핑에 유용하다. 뷰티풀 수프는 이 프로젝트를 계속 기여하고 있는 Leonard Richardson이 시작하였다. 추가적인 지원은 오픈 소스 유지보수를 위한 유료 구독형인 Tidelift의 지원을 받는다. 파이썬 2.7과 파이썬 3용으로 사용 가능하다. 1. !pip install beautifulsoup4 !pip install beautifulsoup4 2. 파일로 저장된 html ..

서울시 범죄 현황 데이터 분석 프로젝트 15. 서울시 범죄 현황 발생 장소 분석 1. 발생 장소별 데이터 crime_loc_raw = pd.read_csv( "../data/02. crime_in_Seoul_location.csv", thousands=",", encoding="euc-kr" ) crime_loc_raw.head() 강남의 범죄 발생이 많은 것은 혹시 유흥업소의 밀집과 관련이 있지 않을까? 확인을 위해 최초 받았던 발생 장소별 데이터를 읽어보자. crime_loc_raw["범죄명"].unique() crime_loc_raw["장소"].unique() crime_loc = crime_loc_raw.pivot_table( crime_loc_raw, index=["장소"], columns=["..

서울시 범죄 현황 데이터 분석 프로젝트 14. 서울시 범죄 현황에 대한 지도 시각화 1. 지도 시각화에 필요한 json 파일을 구한다. * 현재 무료로 구할 수 있는 json 파일은 Lucy Park님의 자료가 유일하다.. GitHub - southkorea/southkorea-maps: South Korea administrative divisions in ESRI Shapefile, GeoJSON and TopoJSON formats. GitHub - southkorea/southkorea-maps: South Korea administrative divisions in ESRI Shapefile, GeoJSON and TopoJSON formats. South Korea administrative ..

서울시 범죄 현황 데이터 분석 프로젝트 13. 지도 시각화(Folium) Folium 지도 시각화 - leaflet.js 기반으로 만들어진 Python 지도 시각화 라이브러리 - folium을 사용하여 인터랙티브한 지도를 생성하고 마커를 추가하여 시각화하거나 원으로 범위를 표기하고 html 파일로 내보내기 등을 수행할 수 있다. - 기본적으로 크롬에서 동작이 가장 좋다. !pip install folium !pip install charset !pip install charset-normalizer 1. 근본적으로는 그냥 위도, 경도를 알려주면 된다. import folium import pandas as pd import json m = folium.Map(location=[37.566063635643..

서울시 범죄 현황 데이터 분석 프로젝트 12. 서울시 범죄현황 데이터 시각화(pair plot, heat map) 1. matplotlib의 한글 폰트잡기 import matplotlib.pyplot as plt import seaborn as sns from matplotlib import rc plt.rcParams["axes.unicode_minus"] = False get_ipython().run_line_magic("matplotlib", "inline") rc("font", family="Malgun Gothic") 2. 데이터 확인하기 crime_anal_norm.head() 3. pairplot으로 강도, 살인, 폭력에 대한 상관관계를 확인해보자. 해석 1 . 폭력사건이 살인으로 이어지는 ..

서울시 범죄 현황 데이터 분석 프로젝트 11. seaborn Seaborn은 Matplotlib을 기반으로 다양한 색상 테마와 통계용 차트 등의 기능을 추가한 시각화 패키지이다. 기본적인 시각화 기능은 Matplotlib 패키지에 의존하며 통계 기능은 Statsmodels 패키지에 의존한다. 1. - seaborn은 matplotlib과 함께 실행된다. !conda install -y seaborn import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from matplotlib import rc plt.rcParams["axes.unicode_minus"] = False rc("font", ..