Python Selenium, bs4를 활용한 웹크롤링

chromedriver 설치 chrome 버전 확인 [설정] - [Chrome 정보]에서 확인 가능합니다 chrome 버전이 업그레이드 될때마다 버전에 맞는 driver를 맞춰주어야 합니다 최근 chromedriver 버전 : https://googlechromelabs.github.io/chrome-for-testing/#stable python - getChromeDriver.py from selenium import webdriver import chromedriver_autoinstaller import os # Check if chrome driver is installed or not chrome_ver = chromedriver_autoinstaller.get_chrome_version()...

• format_list_bulleted Python/업무자동화
• · 2024. 1. 19.
• textsms

[Scikit-Learn] K-최근접 이웃(K-nearest Neightbors, KNN) 알고리즘_분류

실행 순서 1. 데이터 수집 2. 데이터 전처리 3. 훈련 모델 생성(fit) 4. 모델 검증(score) 5. 예측(predict) 1. 데이터 수집 임의 데이터 생성 # - 도미 길이와 무게 bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0] # - 도미 무게 bream_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 45..

• format_list_bulleted Python/MachineLearning
• · 2022. 8. 3.
• textsms

1. [Django] 초기 환경 세팅 ~ 서버 실행

참고 : https://docs.djangoproject.com/en/5.2/intro/tutorial01/1. 가상환경 생성conda create -n 가상환경명 python==버전# 가상환경 활성화conda activate 가상환경명 2. Django 설치pip install django==장고 버전 3. 버전 확인python -m django --version # 장고 버전python --version # 파이썬 버전 4. 프로젝트 생성# 프로젝트 생성할 폴더 위치 진입 후 (cd 폴더경로)django-admin startproject app이름 project 이름예시)django-admin startproject myproject Django-APP 5. 서버 실행하기python manage...

• format_list_bulleted Python/Django
• · 2022. 7. 15.
• textsms

10_판다스 데이터 수정

import pandas as pd df = pd.read_excel('score.xlsx', index_col='지원번호') Column 수정 replace() df['학교'].replace({'북산고':'상북고', '능남고':'무슨고'}) *) 저장하려면 inplace = True 시행 lower() df['SW특기'] = df['SW특기'].str.lower() upper() df['SW특기'] = df['SW특기'].str.upper() 문자열 추가 df['학교'] = df['학교'] + '등학교' Column 추가 df['총합'] = df['국어'] + df['영어'] + df['수학'] + df['과학'] + df['사회'] df['결과'] = 'Fail' # 결과 Column 추가하고 전체 ..

• format_list_bulleted Python/데이터분석
• · 2022. 7. 14.
• textsms

09_판다스 데이터 정렬

import pandas as pd df = pd.read_excel('score.xlsx', index_col='지원번호') df.sort_values('키') # 키 기준으로 오름차순 정렬 df.sort_values('키', ascending=False) # 키 기준으로 내림차순 # 수학 점수는 오름차순, 영어 점수는 내림차순 df.sort_values(['수학', '영어'], ascending=[True, False]) df['키'].sort_values() df.sort_index(ascending=False) # 인덱스 내림차순 정렬

• format_list_bulleted Python/데이터분석
• · 2022. 7. 14.
• textsms

08_판다스 결측치 확인

import pandas as pd df = pd.read_excel('score.xlsx', index_col='지원번호') fillna df.fillna('') # NaN 데이터를 빈 칸으로 채움 df.fillna('없음') # NaN 값을 '없음'으로 채움 --> 저장시 inplace=True 또는 변수로 다시 설정 df['SW특기'].fillna('확인중', inplace=True) # SW특기 데이터 중에서 NaN에 대해서 채움 데이터 제외하기 dropna df.dropna(inplace=True) # 전체 데이터 중에서 NaN을 포함하는 데이터 삭제 - dropna 조건 : axis, how -- axis : index or columns -- how : any or all df.dropna(..

• format_list_bulleted Python/데이터분석
• · 2022. 7. 14.
• textsms