파이썬 크롤링 & 수학의 분산...?

 

아이고 벌써 시간이 새벽 5시네.

어제는 내 생일이었다. 근데 그런건 의미없고 그냥 일좀하다 코딩공부나 했다. 사실공부라기보단 거의 공부가르쳐주는 자료찾기랑 부트캠프 찾은거같은데...아무튼 오늘 자정부터 유튜브에 크롤링 하는 영상이 있길래 따라해봤다.

간단한 html css java스크립트 작동원리 가르쳐주고

vscode에서 파이썬으로 주피터로 실행하는거더라.

파이썬을 주피터로 하니까 뭔가 어색했는데 엄청 좋다는걸 알게되었다. 가끔 파이참이나 vscode말고 cmd로 파이썬 간단한 코드짜서 문법연습하고있었는데 그냥 앞으로는 주피터 써야겠다.

pip install pandas

 

df = pd.DataFrame(data, columns=['카테고리','상품명','상세페이지링크','가격'])

df

판다가 뭔가 db화 시키는 라이브러리 같고.

pip install openpyxl

df.to_excel('result.xlsx', index=False) #index=False인덱스 숫자 없애기ㅣ

오픈파이엑셀이 엑셀로 파일출력시켜주는거같다. 이거 두개는 좀 알아봐야겠네. 사실 선생들이그냥 깔라는거 깔고 따라하곤그랫는데 뭔지 좀 알아봐야겠다. 

import requests

from bs4 import BeautifulSoup

import pandas as pd

data = []

for i in range(1,5):

    response = requests.get(f"https://startcoding.pythonanywhere.com/basic?page={i}")

    html = response.text

    soup = BeautifulSoup(html, 'html.parser')

    items = soup.select('.product')

    for item in items:

        categori = item.select_one('.product-category').text

        name = item.select_one('.product-name').text

        link = item.select_one('.product-name > a').attrs['href']

        price = item.select_one('.product-price').text.split('원')[0].replace(',','')

        print(categori,name,link,price)

        data.append([categori,name,link,price])

이번에 공부하면서 느낀점은 여태껏 파이썬 문법이나 내장함수들 이딴거 어디다써먹는거야 했는데 뭔가 이렇게 쓸수도있구나 하고 깨달았다. 맨날 수학문제만 풀던가 과일리스트에 과일출력하는것들만 하다보니 이런게 훨씬 머리에 잘들어오더라. 새삼 파이썬이 개쩌는 프로그램이구나 하고 느꼈다.

두시간짜리인데 아는부분은 배속으로 듣고 했는데도 시간이 거의 강의시간이랑 비슷하게 걸렸다. 중간에 멈추고 따라하고 생각하느라고 비슷하게 된거같다.근데 크롤링을 어디다 써먹지..? 지금의 나는 차트만드는거밖에 떠오르지 않는다. 역시 아는만큼 보이는거 같다.

• 리퀘스트,판다,뷰티풀소프,오픈파이엑셀 라이브러리 간단하게라도 알아보기
• 실제 크롤링 해보기(내 필요에 의해)
• 크롤링 사용 후기등을 통해 다른사람의 크롤링 용도 알아보기
• 파이썬문법 스플릿,리플레이스 복습하기
• 주피터 사용법알아보기

아이고 그리고보니 어젯밤에도 파이썬으로 분산식 만들기연습했구나. 

# num = [1,2,3,4,5]
# print(num)
# num_of_num = len(num)
# print(num_of_num)
# #위 값의 평균을 구하세요
# summer=sum(num)/num_of_num
# print(summer)
# #위 값의 분산을 구하세요.
# #일단 값하나당 하나씩 평균값을 빼고 제곱을 한뒤,더합니다 그리고 평균-1로 나눕니다.
# # #여기서 써야할 것은 반복문인거같습니다. 어떤식으로 할까요.
# hap = [i - summer for i in num]
# print(hap)
# duble = [i**2 for i in hap]
# print(duble)
# total=sum(duble)
# print(total)
# bunsan= total/(num_of_num-1)
# print(bunsan)

# num = [1, 2, 3, 4, 5]
# bunsan = sum([(i - sum(num) / len(num))**2 for i in num]) / (len(num) - 1)
# print(bunsan)
#
# def calculate_variance(data):
#   sum_of_data = 0
#   for num in data:
#     sum_of_data += num
#   average = sum_of_data / len(data)
#   sum_of_squared_diff = 0
#   for num in data:
#     sum_of_squared_diff += (num - average) ** 2
#   variance = sum_of_squared_diff / len(data)
#   return variance
#
# # 예시 사용
# data = [1, 2, 3, 4, 5]
# variance = calculate_variance(data)
# print(f"분산: {variance}")

data = [1, 2, 3,4,5]
def calculate_variance(data):
    aa=0
    for i in data:
        aa+=(i- sum(data)/len(data))**2
    return aa/(len(data)-1)


variance = calculate_variance(data)
print(variance)

# 평균을 구하세요. 데이터의 모든 값을 더하고 데이터의 개수로 나눕니다.
# 각 값에서 평균을 빼세요. 각 데이터 값에서 구한 평균을 뺍니다.
# 각 차이를 제곱하세요. 2단계에서 구한 각 차이를 제곱합니다.
# 제곱한 값들을 모두 더하세요. 3단계에서 구한 제곱한 값들을 모두 더합니다.
# 합계를 데이터 개수에서 1을 뺀 값으로 나눕니다. 4단계에서 구한 합계를 데이터 개수에서 1을 뺀 값으로 나눕니다. 이 값이 분산입니다.
# 분산의 제곱근을 구합니다. 5단계에서 구한 분산의 제곱근을 구합니다. 이 값이 표준 편차입니다.

혼자 식쓰다가 막혀서 제미나이한테 알려달라니까 한줄로 퉁쳐버려서 열받아서 길게써달라고 이렇게 저렇게 하니까 토해내긴하더라. 나중엔 내가 한줄씩만들어보고 확인하고 이런식으로 했는데도 머리에 잘 안남네.

각요소가 있고 요소의 평균을 구하고 각 요소에서 평균을빼고 제곱을 한뒤 모두 더해주고 나누기 평균빼기-1을 해준다.

맞나? 위에코드써잇긴한데 다시봐야겠네. ...음 봣는데 모르겠다. 다시 도전해야지 진짜 빡대가리네. 애초에 분산이란것도 유튜브 보다가 이게 뭐지 해서 이상한 수식이네 하고 파이썬으로 짜볼까 하고 한줄씩 짜봤는데  개빡대가리여서 못짜서 ai도움받았는데 지금봐도 머리안돌아가네 내일 한번 더해본다 일단 자야지.

무슨 글쓰는데 30분이걸리냐..복붙만 한거같은데. 휴 진짜 고등학교 다닐걸...이라곤 해도 내 의지와는 다르게 못다닌건데 ㅆㅂ 운명의 장난이란 진짜..쩝   암튼 내일 통계학 영상 다시보자. 공부할거 디럽게 많네. 진짜로.

 

 

---