티스토리

이유있는 공부생활

검색하기

블로그 홈

이유있는 공부생활

euthelearner.tistory.com/m

AI 병아리의 고군분투 학습일지

구독자: 1

방명록 방문하기

주요 글 목록

5. PCA PCA (Principal Component Analysis)데이터의 주요 특성을 유지하면서 차원을 줄여 계산 효율성을 높임from sklearn.decomposition import PCApca = PCA(n) # n개의 주성분만 뽑고싶다pca.fit(data)pca.transform(data)pca.fit_transform(data) explained_variance_ratio_ : 주로 주성분 분석(Principal Component Analysis, PCA)과 같은 차원 축소 기법에서 사용되는 속성. 이 속성은 각 주성분이 원본 데이터의 분산(variance)을 얼마나 설명하는지에 대한 비율을 나타냄(pca.explained_variance_ratio_).sum() 장점데이터를 시각화 할때 유.. 공감수 0 댓글수 1 2024. 6. 6.
4. sklearn : scaling(standard, robust, minmax) scale 이란?데이터 단위의 크기(범위)scaling 이란?각 변수의 범위를 조절하는 과정.거리기반 모델을 쓸때는 반드시 스케일링 써서 각각 변수의 특성에 따라 동일한 스케일을 지닐수 있게 맞춰주는것이 중요 합니다.from sklearn.preprocessing import StandardScaler, RobustScaler, MinMaxScalerss = StandardScaler()rs = RobustScaler()mm = MinMaxScaler() standard scaling (x - 평균 / 분산)평균 0, 분산 1인 형태로 데이터를 재배열**결과를 보면 one-hot encoding 되어있는 부분도 0,1이 아닌 다른 값으로 변경되어있음정규분포를 따르고 outlier가 없을 때 사용하기(li.. 공감수 0 댓글수 0 2024. 6. 6.
3. matplotlib으로 그래프 그리기 많이 쓰이는 라이브러리matplotlib : 가장 기본이 되는 시각화 라이브러리, 다양하게 생성할 수 있으나 복잡함공식문서, 위키독스seaborn : 좀 더 발전되서 통계적 그래프에 중점을 둔 고급 시각화 라이브러리, 더 간단함설치pip list | grep matplotlib pip list | grep seaborn matplotlib 데이터정의import matplotlib.pyplot as plt%matplotlib inline %matplotlib inline : Rich output(그래프와 같은 그림, 소리, 애니매이션과 같은 결과물)에 대한 IPython의 매직메서드, Jupyter Notebook에서도 이 명령어를 입력하면 그래프가 바로 출력됨축 그리기(figure , add_subplo.. 공감수 0 댓글수 1 2024. 6. 6.
2-6. pandas : outlier outlier(아웃라이어) 이란?데이터 분석에서 다른 데이터 포인트들과 크게 다르거나 이질적인 값.아웃라이어는 통계 분석, 데이터 분석, 머신 러닝 모델링 등에 있어서데이터의 패턴을 왜곡시키거나 잘못된 결론을 내리게 할 수 있기 때문에 중요한 역할을 함 왜 생기는걸까? 데이터 입력 오류: 데이터 입력 중의 실수나 잘못된 기록으로 인해 발생실험적 오류: 실험 과정에서의 오류나 장비의 결함으로 인해 발생자연적인 변동성: 데이터 자체의 본질적인 변동성 때문에 발생분포 특성: 특정 분포의 특성으로 인해 극단적인 값이 존재 그럼 어떻게 알아? 시각적 방법:박스 플롯(Box Plot): 박스 플롯에서 상자 밖에 위치하는 점들은 아웃라이어로 간주산점도(Scatter Plot): 2차원 산점도에서 다른 점들과 멀리 .. 공감수 1 댓글수 3 2024. 6. 6.
2-6. pandas : 결측치 결측치(NULL, NaN, NA; 비어있는값) (isna, dropna, fillna)count() #결측치 제외한 수를 반환# isna = isnull : 결측치 여부 확인data.isna() # 결측치=True(1) 출력됨data.isna().sum() # 칼럼별로 결측치 갯수 측정data.isna().mean() # 칼럼별로 결측치 비율 측정(얘를 좀 더 많이 씀)data[data['칼럼'].isna()] # 해당 칼럼에서 결측치 있는 항목(정보전체) 출력됨data[data['칼럼'].isna()].index # 해당 칼럼에서 결측치 있는 항목의 인덱스 출력됨※ 결측치는 결국 노이즈라 해당 항목은 삭제하고 진행하는게 좋음 # dropna : 결측치.. 공감수 0 댓글수 1 2024. 6. 6.
2-5. pandas : dt 메소드와 python datetime 모듈 datetime 모듈from datetime import datetimehttps://docs.python.org/ko/3.8/library/datetime.html datetime — 기본 날짜와 시간 형 — Python 3.8.19 문서datetime — 기본 날짜와 시간 형 소스 코드: Lib/datetime.py datetime 모듈은 날짜와 시간을 조작하는 클래스를 제공합니다. 날짜와 시간 산술이 지원되지만, 구현의 초점은 출력 포매팅과 조작을 위한docs.python.orgformat code코드뜻예시%Y연도-숫자 4자리0001, 0002, …, 2023, 2024, …, 9998, 9999%y연도-숫자 끝 2자리00, 01, …, 99%B월-영어이름January, February, …, De.. 공감수 0 댓글수 1 2024. 6. 6.
2-4. pandas : 문자열 처리 문자열 처리 : str 메소드str 메소드는 pandas 시리즈의 문자열 데이터를 조작하는 데 사용됩니다.주로 문자열의 부분 추출, 변환, 검색, 대체 등의 작업을 수행합니다.주요 기능부분 문자열 추출: str.slice, str[:n], str[-n:]문자열 변환: str.upper(), str.lower(), str.capitalize()문자열 검색: str.contains(), str.startswith(), str.endswith()문자열 대체: str.replace()공백 제거: str.strip(), str.lstrip(), str.rstrip()# str처리data['칼럼'][-5:] # 이렇게 하면 행 기준 제일 뒷 값 5개 출력됨data['칼럼'].str[-5:] # str 처.. 공감수 0 댓글수 0 2024. 6. 6.
2-3. pandas로 데이터 분석,변환하기 : 값 삭제, 값 불러오기, 변화하기, aggregation data 값 삭제하기(drop, del)# 특정 값을 가진 행을 삭제하려면data = data[data['칼럼'] != 30] # 칼럼의 값이 '30'인 행 삭제하기# drop# 특정 행 삭제index_to_drop = df[df['B'] == 30].indexdf.drop(index_to_drop, inplace=True)# 칼럼 제거data.drop('칼럼이름', axis=1, inplace)data.drop(columns=['칼럼'], inplace=True)# name : 라벨 이름(열) , 숫자(행) -> 여러개의 칼럼을 입력하려면 리스트로 묶# axis ( 0 : 디폴트 값, 행 부분 / 1 : 라벨(제목)부분)# inplace ( False : 디폴트값, 출력했을때 한번만 보임 / Tru.. 공감수 0 댓글수 2 2024. 6. 6.
2-2. pandas : 데이터 불러오기, 합치기(concat, join, merge),내보내기 file 불러오기import pandas as pd# csv 파일 불러오기data = pd.read_csv('titinic.csv') # 데이터와 같은 폴더인 경우data = pd.read_csv('data/titianic.csv') # 데이터가 담겨있는 파일보다 상위폴더인 경우data = pd.read_csv('/aiffel/data/titinic.csv') # 위치가 다른 경우 전체 위치경로 포함시키기# 엑셀파일 불러오기data = pd.read_excel('파일경로.xlsx')# JSON파일 불러오기data = pd.read_json('파일경로.json')csv file 내보내기df.to_csv('output.csv', index=False)데이터 합치기concat다 각각 이어붙여짐(인덱스도 .. 공감수 0 댓글수 0 2024. 6. 6.
2-1. pandas의 기본구조 : series, dataframe https://pandas.pydata.org/pandas-docs/stable/user_guide/10min.html#basic-data-structures-in-pandas 10 minutes to pandas — pandas 2.2.2 documentation10 minutes to pandas This is a short introduction to pandas, geared mainly for new users. You can see more complex recipes in the Cookbook. Customarily, we import as follows: In [1]: import numpy as np In [2]: import pandas as pd Basic data structure.. 공감수 0 댓글수 0 2024. 6. 6.
2. pandas 메소드 한눈에! 한눈에 보기 편하려고 정리한 글 :)메소드(코드)설명데이터를 dataframe, series화 하기pd.DataFrame(데이터)데이터를 dataframe으로 변경 pd.Series(데이터) 데이터를 series으로 변경 파일 불러오기data = pd.read_csv('csv파일')csv 파일 불러오기data = pd.read_excel('xlsx 파일')엑셀파일 불러오기파일 내보내기 df.to_csv('output.csv', index=False) csv 파일 내보내기 데이터 병합하기concat()세로 or 가로로 다 각각 이어붙여짐(인덱스도 그대로 각각, 같은 column만 합쳐짐)merge(자료, on=suffix칼럼, how=join방식)두 개 이상의 데이터 프레임을 특정 공통 열 또는 인덱스를 .. 공감수 0 댓글수 1 2024. 6. 6.
1-1. NumPy 활용하기(audio, image) https://jalammar.github.io/visual-numpy/ A Visual Intro to NumPy and Data RepresentationDiscussions: Hacker News (366 points, 21 comments), Reddit r/MachineLearning (256 points, 18 comments) Translations: Chinese 1, Chinese 2, Japanese, Korean The NumPy package is the workhorse of data analysis, machine learning, and scientific computing in tjalammar.github.io 컴퓨터는 2진수로 이루어진 산술 연산만 가능하기 때문에 데이터(.. 공감수 0 댓글수 0 2024. 6. 2.
1. 데이터분석 기초 : 배열과 표 / Numpy 배열(array) 과 목록(list, 동적배열(Dynamic Array)) : 둘 다 여러 항목을 저장하는 데 사용되는 데이터 구조임 목록 : 다양한 자료형을 저장할때, 형태가 유동적일 때 유용 리스트, 튜플배열 : 동일한 자료형의 데이터를 처리할때, 빠른 처리속도가 필요할 때 유용 값 삽입 : array.insert(1,5) # array의 두번째 자리에 5를 끼워넣기목록배열여러 데이터 유형의 요소들을 포함가능동일한 데이터 유형 요소만 포함하는 벡터가변적 연속열(형태가 유동적)크기가 고정돼있음쉽게 데이터 수정이 가능삽입, 삭제 비용이 높음짧은 데이터 타입에서 선호됨긴 데이터타입에서 선호됨큰 메모리 소비, 처리속도 느릴 수 있음메모리 크기가 비교적 작음내장함수 사용해.. 공감수 0 댓글수 0 2024. 6. 2.
Enum 모듈 타 그루분의 코드를 보다가 신기한 모듈이 있어서 공부해 보았다. Enum 모듈Enum 모듈은 열거형(Enumerated type)으로 언어의 상수역할을 하는 식별자(python 3.4부터 지원됨)ex. boolean 은 False == 0, True == 1 로 이미 정의되어있는 열거형 불러오기from enum import EnumEnum을 상속받는 클래스 만들기# 아쉽게도 숫자는 자동지정 불가능, 일일이 지정해줘야함class Rainbow(Enum): Red = 0 Orange = 1 Yellow = 2 Green = 3 Blue = 4 Navy = 5 Purple = 6호출방법print(list(Rainbow))>>>[, , , , , , ]# 호출방법 1Ra.. 공감수 0 댓글수 0 2024. 5. 23.
2025.5.21 re모듈(re.sub, re.split)을 이용한 문자열 데이터처리 파이썬 퀘스트2번을 수행하면서 알파벳을 제외한 모든 특수문자를 제거해야하는 데이터처리가 필요했다!우리팀은 매우 수동으로 텍스트파일을 다 읽으면서 모든 특수문자를 다 넣어주었는데;;;;;replacetext = text.replace('.', ' ').replace(',', ' ').replace('?', ' ').replace("'", ' ').replace('-', '').replace('!', ' ').replace('/', ' ')\.replace('^', ' ').replace('%', ' ').replace('\n', ' ').replace('\\', ' ').replace('(', ' ').replace(')', ' ') 심지어 여기서도 \ 를 없애는 과정에서 \\ 로 입력해주어야한다는것을 배.. 공감수 0 댓글수 0 2024. 5. 21.
24.05.14 markdown 마크다운 문법Header큰제목This is an H1=============작은제목This is an H1-------------글머리(1~6까지 지원, 1이 제일 크고 bold체)# This is a H1## This is a H2### This is a H3#### This is a H4##### This is a H5###### This is a H6BlockQuote> This is a first blockqute.> > This is a second blockqute.> > > This is a third blockqute.목록# 순서있는 목록(내림차순으로 정리됨)1. 첫번째2. 두번째3. 세번째# 순서없는 목록* , + , - 혼합해서 사용가능코드블럭# 들여쓰기한 줄 씩 띄우고 작성, tap .. 공감수 0 댓글수 0 2024. 5. 14.
24.05.14 Git과 Github(연결, push, pull, fork 등) GitGit은 분산 버전 관리 시스템(DVCS) 로컬에서 작업한 내용을 저장해 두는 소스코드 버전관리 프로그램Github- 마이크로소프트 산하의 Git 플랫폼- git 작업물을 온라인 작업공간인 github에 올려서 원격으로 작업하고 공유할 수 있어 개발자들 협업에 필수적으로 쓰임Repository : 로컬의 git과 동기화를 해서 온라인으로 관리할 수 있는 원격저장소(github 내의 공간) - 만들 때 Public 을 꼭 선택해 줘야지 협업 가능.** commit을 하면 초록 잔디 한개 심을수 있음! 1일 1커밋 운동을 해서 잔디밭을 심어보자 (성실한 개발자로서의 나를 어필가능하지 후훗) terminal에서 Git과 Github 연결하기#등록$ git config --global user.emai.. 공감수 0 댓글수 0 2024. 5. 14.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.