본문 바로가기

분류 전체보기

 (184)
Ad - Hoc 분석 이 글은 24.02.08에 본인 벨로그에 적은 글을 옮겨온 것이다. Ad Hoc Ad hoc이란? 일반적으로 특정한 목적이나 계획에 따라 미리 정의된 쿼리나 분석이 아니라, 필요에 따라 임시로 데이터를 분석하거나 나타내는 것을 의미한다. 특징 비구조적 : 데이터 미리 정의 없이 활용 가능한 분석 즉각적인 요구 : 긴급 문제 해결 및 특별 질문에 활용 유연성 : 유연한 데이터 접근과 빠른 분석 가능 일회성 : 일회성 작업, 결과물을 재사용하는 경우는 많지 않음. 즉, 주기적으로 들어오는 데이터로 시각화하여 모니터링하는 것과는 다르게 데이터 요청에 따라서 일회성으로 지표를 보는 것. 해야하는 이유 Ad Hoc 분석은 데이터를 통한 의사결정의 핵심 Ad Hoc 분석은 결과 해석과 전략 도출 역량을 향상 예시 ..
[호텔 리뷰 분석 - 웹 스크래핑] 4. Process(3) 지난 포스팅에는 호텔 리뷰 분석 process 2번을 진행했었다. [Data Analysis/개인 프로젝트] - [호텔 리뷰 분석 - 웹 스크래핑] 3. Process(2) [호텔 리뷰 분석 - 웹 스크래핑] 3. Process(2) 지난 포스팅에는 호텔 리뷰 분석 process 1번을 진행했었다. [Data Analysis/개인 프로젝트] - [호텔 리뷰 분석] 2. Process(1) [호텔 리뷰 분석] 2. Process(1) 지난 포스팅에서는 호텔 리뷰 분석에 어떤 데이터 k-wien1589.tistory.com 이번 포스팅에선 마지막 process를 진행하려 한다. Process 3. 수집한 리뷰 고유 번호를 이용해서 목표 데이터 수집 - 리뷰의 (고유번호 / 작성자 id / 제목 / 게시 날짜..
[호텔 리뷰 분석 - 웹 스크래핑] 3. Process(2) 지난 포스팅에는 호텔 리뷰 분석 process 1번을 진행했었다. [Data Analysis/개인 프로젝트] - [호텔 리뷰 분석] 2. Process(1) [호텔 리뷰 분석] 2. Process(1) 지난 포스팅에서는 호텔 리뷰 분석에 어떤 데이터가 필요한지를 소개했었다. [Data Analysis/개인 프로젝트] - [호텔 리뷰 분석] 1. 어떤 데이터를 어떻게 분석할 것인가? [호텔 리뷰 분석] 1. 어떤 데 k-wien1589.tistory.com 이번 포스팅에선 process 2를 진행한다. Process 2. 리뷰 페이지에 부여된 url마다 반복되는 패턴이 있을 것이다. 그 패턴을 이용해서 1) 첫 페이지 ~ 마지막 페이지까지 접근 2) 리뷰 고유번호가 html 문서에서 어떤 클래스를 갖는지 ..
[호텔 리뷰 분석 - 웹 스크래핑] 2. Process(1) 지난 포스팅에서는 호텔 리뷰 분석에 어떤 데이터가 필요한지를 소개했었다. [Data Analysis/개인 프로젝트] - [호텔 리뷰 분석] 1. 어떤 데이터를 어떻게 분석할 것인가? [호텔 리뷰 분석] 1. 어떤 데이터를 어떻게 분석할 것인가? 호텔 리뷰를 분석하는 프로젝트를 진행해보려 한다. 분석할 리뷰는, 트립어드바이저(링크)에 등록된 그랜드하얏트 제주 호텔의 리뷰. 따로 데이터를 제공하지 않으니, 스크래핑으로 분석에 필 k-wien1589.tistory.com 이제 본격적으로 진행해보자. Process 1. 리뷰가 있는 메인 페이지의 url에 접근해서 1) 총 리뷰 개수 구하고 2) 총 페이지의 수를 구한다. * 구글 코랩 환경에서 진행한다. 스크래핑에 필요한 라이브러리를 import 한다. 필요한..
[호텔 리뷰 분석 - 웹 스크래핑] 1. 어떤 데이터를 어떻게 가져올 것인가? 호텔 리뷰를 분석하는 프로젝트를 진행해보려 한다. 분석할 리뷰는, 트립어드바이저(링크)에 등록된 그랜드하얏트 제주 호텔의 리뷰. 따로 데이터를 제공하지 않으니, 스크래핑으로 분석에 필요한 데이터를 추출해서 가져올 것이다. 필요한 데이터는 이렇다. - 리뷰의 (고유번호 / 작성자 id / 제목 / 게시 날짜 / 내용) - (가격 / 장소 / 객실 / 청결도 / 서비스 / 침대 퀄리티 / 종합) 평점 - 숙박 날짜 - 여행 유형 총 14종류의 데이터를 스크래핑으로 수집할 예정이다. 전체적인 프로세스는 다음과 같다. Process 1. 리뷰가 있는 메인 페이지의 url에 접근해서 1) 총 리뷰 개수 구하고 2) 총 페이지의 수를 구한다. Process 2. 리뷰 페이지에 부여된 url마다 반복되는 패턴이 있을..
[Python] 웹 크롤링 - requests 라이브러리 소개 / "기본" 사용법 웹 크롤링 할 때 쓰이는 파이썬의 requests 라이브러리에 대해 알아보자. requests란 ?? requests란 python용 HTTP 라이브러리이다. Python에서 특정 웹사이트에 HTTP 요청을 보내는 모듈이라 할 수 있다. 쉽게 말하자면 특정 웹사이트에 HTTP 요청을 보내 HTML 문서를 받아올 수 있는 라이브러리인 것. 허나 엄밀히 말하자면 requests로 가져올 수 있는 HTML 문서는 문서가 아닌 그냥 단순한 문자열이고, html parser에 의해 HTML 문서로 바뀌게 된다. html parser에 대해서는 다음 포스팅에 다루도록 하겠다. 백견이 불여일행이라, 직접 설치부터 기본 사용까지 해 보도록 하자. 1. 설치 설치할 필요가 없다. 기본적으로 내장되어 있을 것이다. 허나,..
[Python] html parser - BeautifulSoup HTML parse, parser HTML Parse란 HTML 문법 규칙에 따른 문자열을, 해당 문법을 바탕으로 단어의 의미나 구조를 분석하는 것을 말한다. 그리고, 이렇게 HTML Parse를 행하는 프로그램을 일컬어 HTML Parser라 한다. 파이썬에는 아래와 같이 여러가지 html parser가 있다. 이 중, BeautifulSoup(이하 bs4)에 대해 알아볼 것이다. 설치, import, 사용방법까지. BeautifulSoup 설치, 사용 본격적인 설명에 들어가기 전에 짚고 넘어갈 것이 있다. 위에서 bs4가 parser라고 설명했지만, 사실 parser 그 자체는 아니다. bs4의 역할은 여러가지 parser와 연동 가능한 인터페이스를 제공하는 것이다. 실제로 html을 parsing하..
SQL 고득점 kit(JOIN) - 5월 식품들의 총매출 조회하기 프로그래머스 문제 https://school.programmers.co.kr/learn/courses/30/lessons/131117 풀이 https://school.programmers.co.kr/questions/74114 # 풀이 쿼리 SELECT P.PRODUCT_ID , P.PRODUCT_NAME , SUM(O.AMOUNT) * P.PRICE AS TOTAL_SALES FROM FOOD_PRODUCT P LEFT JOIN FOOD_ORDER O ON P.PRODUCT_ID = O.PRODUCT_ID WHERE O.PRODUCE_DATE BETWEEN '2022-05-01 00:00:00' AND '2022-05-31 23:59:59' GROUP BY P.PRODUCT_ID ORDER BY TOT..

티스토리툴바