전체 글 39

회귀분석 (단순회귀분석과 다중회귀분석)

지난 수업 예제 코드 ( 광고비와 판매량 사이의 관계를 선형회귀분석으로 분석)# statsmodels - 통계분석 라이브러리# numpy - 숫자를 다루기 위한 라이브러리import statsmodels.api as smimport numpy as np# 독립변수(광고비)와 종속변수(판매량) 예제 데이터# np.array()를 써서 데이터를 숫자로 다루기 쉽게 한다.X = np.array([1, 2, 3, 4, 5]) # 광고비(독립변수)Y = np.array([3, 6, 7, 8, 11]) # 판매량(종속변수)# 상수항 추가# 상수항(절편)(b)을 추가하는 코드# sm.OLS() 같은 함수는 절편을 따로 수동으로 추가해줘야 함.X = sm.add_constant(X)# 선형 회귀 모델 학습# sm...

통계의 기본개념

통계의 기초- 현상을 기호로 바꾸고 그다음 코드로 바꾸고...현상을 기호로 바꾸는 도구가 통계이다.  통계학은 데이터를 수집, 정리, 분석, 해석하여 의미있는 정보를 도출하는 학문.수집 - API,CSV,SQL정리 - Pandas / DB분석 - 그래프 (행, 컬럼, 통계)>>>>>>특징을 도출하여 해석가능하게 함. 데이터를 통해 특정 현상의 패턴을 이해하고, 이를 기반으로 예측하거나 의사결정을 지원통계학은 기술통계, 추론통계로 구분됨.  1. 기술통계- 데이터를 요약하고 정리하여 쉽게 이해할 수 있도록 표현하는 방법을 다룸 (1) 중심 경향 측정- 데이터의 중심 값을 찾는 방법- 대표적인 지표 : 평균, 중앙값, 최빈값  # 평균 - 데이터 값들의 총합을 데이터 개수로 나눈 값. 데이터가 정규분포를 따..

EDA (탐색적 데이터 분석)

EDA (탐색적 데이터 분석)란?데이터 분석을 수행하기 전에 데이터의 구조를 파악하고 특성을 이해하는 과정EDA를 통해 데이터의 패턴을 발견하고, 이상치 및 결측치를 확인하여 적절한 전처리 방법을 결정 EDA 데이터 분석 절차 1. 데이터 로드 및 기본 정보 확인 (API, CSV, SQL)2. 결측치 및 이상치 탐색3. 기술통계를 활용한 데이터 요약 (기술 = description)4. 변수 간 관계 분석 및 시각화5. 결론 도출 및 마케팅 전략 수립 → 보고서    1. 데이터 로드 및 데이터의 기본 정보 파악데이터 셋 불러오기 (CSV), 데이터의 크기, 컬럼명, 데이터 타입 확인import pandas as pd# 데이터 로드 (예제 데이터)df = pd.read_csv("sample_data.c..

그로스 마케팅에서의 그래프 사용, 데이터 변환의 중요성

그래프가 각각 사용되는 이유와 목적을 명확히 알아야 한다. 그로스 마케팅 관점에서 각각의 그래프에 대한 사용목적 히스토그램 (Histogram)데이터의 분포를 분석활용사례특정 캠페인의 광고 클릭 수 분포를 분석고객별 구매 금액의 빈도 분포를 분석  선형 그래프 (Line Chart)데이터의 시간적 변화를 시각화활용사례특정 마케팅 캠페인의 주간/월간 매출 트렌드를 분석A/B 테스트 결과를 시간별로 비교지난 6개월간의 월별 매출 변화(Revenue Trend) 를 분석하여 매출이 증가하는 시기와 감소하는 시기를 파악할 때신규 가입자의 월별 유지율(Retention Rate) 을 분석하고, 특정 월에 이탈율이 증가하는지 확인할 때 막대 그래프 (Bar Chart)범주형 데이터의 비교활용사례광고 채널별 전환율 ..

Pandas 복습과 설문조사 개요, 설문조사 후 데이터 분석, 시각화

서울 열린데이터 광장에서 확보한 데이터로 낚시가게를 오픈하기 좋은 동네(50대 남성이 많은 동네)와 화장품가게(20대 여성이 많은 동네)를 오픈하기 좋은 동네의 후보 5곳을 찾기.     문제에서 다시 확인해야 할 개념 정리데이터에서 특정 열 선택 (filtered_df = df[['열1', '열2', ...]]) filtered_df = df[['행정동코드','여자20세부터24세생활인구수', "여자25세부터29세생활인구수"]]df[['열1', '열2', ...]] → DataFrame에서 특정 열만 선택할 때 사용filtered_df는 df에서 '행정동코드', '여자20세부터24세생활인구수', '여자25세부터29세생활인구수'만 포함한 새로운 DataFrame이 됨새로운 열 추가 (df['새로운 열'] ..

API의 개념과 API 데이터 수집

데이터를 획득할 수 있는 채널구분APICSVDB Connect데이터 교환 방식서버 간 요청/응답을 통해 데이터 주고받음파일을 저장하고 읽어서 주고받음데이터베이스에 직접 연결하여 조회 및 수정데이터 형식JSON, XML 등텍스트 파일 (CSV 형식)테이블 형태의 구조화된 데이터실시간성O (실시간 데이터 요청 가능)X (파일을 갱신해야 최신 데이터 반영)O (DB에 직접 연결하여 실시간 조회 가능)자동화 및 연동O (시스템 간 연동 가능)O (스크립트로 자동화 가능)O (DB 연동을 통한 자동화 가능)데이터 처리방식API 요청 후 응답 받아 처리파일을 읽고 분석하여 처리SQL 쿼리로 직접 처리 ※ RESTful - API를 사용하기 위하게 해주는 도구  API ( Application Programming ..

웹 크롤링 개요

크롤링이란?웹 크롤링은 웹사이트에서 데이터를 자동으로 수집하는 기술이다. 크롤러 또는 스크래퍼라고 불리는 프로그램이 웹페이지의 HTML을 가져와 특정 정보를 추출하는 방식으로 동작한다.크롤링은 뉴스, 상품 가격, 리뷰, 통계 데이터 등 다양한 정보를 자동으로 수집하는 데 활용되며, 검색 엔진, 가격 비교 사이트, 데이터 분석 등의 분야에서 필수적인 기술이다. 그로스 마케팅에서 크롤링의 이유와 목적그로스 마케팅에서 크롤링은 데이터를 자동으로 수집하여 경쟁사 분석, 소비자 행동 파악, 광고 최적화, 가격 조정 등 다양한 마케팅 전략을 개선하는 데 활용된다.경쟁사 및 시장 분석 – 경쟁사의 가격 정책, 프로모션, 마케팅 전략을 실시간으로 추적하여 경쟁 우위를 확보하고, 업계 트렌드를 분석하여 소비자 선호도 변..

웹서비스 구현 - 게시판 만들어보기

웹 서비스의 전체 흐름   웹 서비스는 클라이언트(사용자)가 요청을 보내면, 이를 웹 서버와 웹 애플리케이션 서비스(WAS), DBMS가 협력하여 응답을 제공하는 구조이다. 클라이언트가 웹사이트에서 특정 정보를 요청 → 웹 서버에 전달웹 서버가 정적 파일이면 바로 응답하고, 동적 데이터가 필요하면 웹 애플리케이션 서비스에 요청웹 애플리케이션 서비스가 비즈니스 로직을 처리하고, 필요한 데이터가 있으면 DBMS에서 가져옴DBMS가 요청한 데이터를 웹 애플리케이션 서비스로 전달웹 애플리케이션 서비스가 데이터를 가공하여 클라이언트가 볼 수 있는 HTML/JSON을 생성웹 서버가 최종적으로 클라이언트에게 응답요소역할웹 서버HTTP 요청을 받아 웹 애플리케이션에 전달 (정적 파일 제공)웹 애플리케이션 서비스(WAS..

(복습) GCP-VM인스턴스 만들기, mariaDB 및 파이썬 설치/ 파이썬과 SQL 연동

저번시간에 했던 GCP VM 인스턴스 만들고 환경설정하는 법과 mariaDB 및 파이썬 설치 파이썬과 SQL 연동실습했던 것을 복습해 보았다.    VM 인스턴스 만들고 환경설정하기                    먼저 구글 클라우드 플랫폼에 접속하여 계정을 만들고 무료로 시작하기를 클릭한다. VISA나 MASTER 신용/체크카드를 미리 준비해서 등록하고 무료제공 3개월을 뽑아먹어보자.계정 생성후 Compute Engine으로 들어가서 VM 인스턴스를 클릭한다.   그 다음 인스턴스 만들기를 클릭한다.   머신 구성에서 이름을 설정하고 (소문자, 숫자, - (하이픈)만 가능), 리전은 서울을 찾아서 설정한다.   OS 및 스토리지에 들어가서 변경을 눌러 부팅디스크를 ubuntu로 설정하고 버전은 ubu..

MariaDB ALTER TABLE / Python과 SQL연동 / 헷갈리는 개념 다시 정리

MariaDB ALTER TABLE MariaDB에서 기존 테이블의 구조를 변경하는 데 사용.열 추가, 삭제, 수정, 인덱스 추가, 제약 조건 변경 등의 작업을 수행.  열 추가 (ADD COLUMN)ALTER TABLE employees ADD COLUMN email VARCHAR(100) AFTER name;새로운 email 열을 추가.   열 삭제 (DROP COLUMN)ALTER TABLE employees DROP COLUMN department;기존 department 열을 삭제.   열 이름 변경 (CHANGE COLUMN)ALTER TABLE employees CHANGE COLUMN salary monthly_salary DECIMAL(10,2) NOT NULL;salary 열의 이름을 ..