별망고 별망고

크롤링(Crawling), 스크래핑(Scraping) 웹 크롤링은 기존의 복사본 만들기, 웹 스크래핑은 분석을 위한 특정 데이터를 추출 or 새로운 것을 만든다. crawling은 다 긁어오는 것, scraping은 필요한 부분을 잘라오는 것 스크래핑을 하기 위해선 크롤링 선행이 필요함 1. 웹사이트 크롤링 텍스트, 영상, 음성, 그림 등.. **저작권** 문제 주의 트래픽을 유발하므로 일반적으로 허용하지 않음 - https://www.google.com/robots.txt - https://www.naver.com/robots.txt User-agent: 대상 웹 크롤링 봇의 이름. *이면 전체 대상 Disallow: 접근 허용 않는 경로. Allow: 접근을 혀용하는 경로. Crawl-delay: 한..

데이터 시각화 흔히 엑셀의 피벗테이블 -> 피벗차트 / 차트만들기를 생각해보면 이해가 빨라질 것이다. - 기본 환경 설정 # 코랩에서 한글 폰트 깨지는 현상 해결을 위해 한국어 폰트들을 설치합니다 !sudo apt-get install -y fonts-nanum # 매직메소드 !sudo fc-cache -fv !rm ~/.cache/matplotlib -rf# 이후 런타임 재시작 1. Matplotlib 파이썬의 대표적인 과학 계산용 그래프 라이브러리 판다스에 연계된 시각화 도구 논문용으로 많이 쓰임 다양한 운영체제와 그래픽 백엔드에서 동작 # %matplotlib inline # 버전이 낮은 노트북에서 그래프가 바로 뜨지 않을 때 사용 % 쉘메소드 import matplotlib as mpl # 기본 ..

2022. 07. 20 _ 병원 약이 좋긴한가보다 동기 영웅님 추천으로 간 병원 약이 아주 잘들어 기분이 좋았다 _ 학원 도착하고 30분쯤 지나니 동기들이 우르르르 오는데 다들 출결어플이 이상한가보다 _ 그러더니 10여분 후 갑자기 매니저님들이 오셔서 코로나 확진으로 인한 비대면 수업전환에 대한 코멘트를 하셨다 _ 코로나 확진 1명 의심 1명 반 내부 발생으로 인한 빠른 일처리에 감탄 _ 근데 또 하필 옆자리 믿음이형이랑 병원 추천해준 영웅님이 그 대상이라니.. _ 바로 옆자리 + 담배친구 + 같은병원감 나는 검사가 필수여서 자가키트 1번, 신속항원 1번 _ 와이프와 곧 태어날 아기를 위해 검사를 마치기 전에 밥부터 먹고 _ 검사하고 미용실 갔다가 집까지 왔다. _ 언젠가 걸리고 지나간걸까 연속음성이라 ..

3일차는 부트캠프 내 코로나 확진자 발생으로 복기할 양이 적어 부득이하게 4일차와 같이 하게 되었다. PANDAS 1. 기본 개념 1 ) 판다스 (Pandas) 란? **pan**el **da**ta **s**ystem에서 유래 패널은 그룹이란 뜻을 갖고 있습니다. 한국노동패널조사, 한국아동청소년패널조사 등 특정 그룹을 시간을 두고 조사할 때 패널조사란 표현을 듣게 됩니다. 패널 데이터는 여러 개체들을 시간을 두고 추적하여 얻는 데이터를 말합니다. 2 ) 판다스의 특징 NumPy를 내부적으로 활용합니다 (NumPy의 특징을 그대로 가집니다) 많은 양의 데이터를 로드해서 분석하는데 최적화되어 있습니다 데이터분석에 특화된 데이터 구조를 제공합니다 다양한 데이터 분석 함수를 제공합니다 다른 시스템에 쉽게 연결..

2022. 07. 18 _ 주말에 아팠던게 심해짐 _ 코를 푸니 피가 섞여나옴 _ 학원에서 계속 기침하는게 눈치보임..ㅠ _ 자가키트 검사 음성이라 다행 _ 파이썬 끝날 조짐이 보였으나 파이썬 마지막에 몸상태가 안좋아서 그런지 월요일 수업을 조짐 _ 집에와서 사랑하는 와이프의 닭볶음탕을 먹고 기운 차림 2022. 07. 19 _ 와이프의 닭볶음탕을 먹고 기운 차렸던게 밤에 배를까고자서 다시 심해짐 _ 학원에 몸살걸린 동기 등장으로 에어컨 온도 올림 _ 데이터 분석 들어감 개꿀잼 예상 _ 넘파이 새로 들어가는거 파이썬 초창기같음 재밌음 _ 행렬이 뭐져 ㄴ0ㄱ ? _ 표준편차, 분산 ㄴ0ㄱ ? _ 12년만에 수학공부 다시 해야할 삘임 이해도를 위해 _ 끝나고 결국 병원감 _ 역시 코로나는 아니라 다행 약받아..

NumPy Numeric + Python의 약자, 수학 및 과학 연산 라이브러리 배열이나 행렬 계산에 필요한 함수 제공 수열 데이터를 다룰 때 용이, 이후에 Pandas에서 DataFrame 형태로 사용함 다차원 배열(Array)을 다룰 때 주로 사용함 (인공 신경망, 비정형 데이터 처리, 자연어 처리 등) 코어 부분이 C로 구현되어 동일한 연산을 하더라도 Python에 비해 속도가 빠름 라이브러리에 구현되어있는 함수들을 활용해 짧고 간결한 코드 작성 가능 1) ndarray Numpy의 데이터 타입 중 하나로, 리스트와 비슷한 형식의 구조적인 데이터 이중 구조의 배열이나 행렬(Matrix)처럼 사용이 가능하며, 수학/과학 연산을 모두 지원한다. import numpy as np # 무언의 약속 nump..

1. 네비게이션 업데이트 서비스 만들기 print('안녕하세요 MS내비 업데이트 서비스 알림입니다.') def navigation() : try : import datetime today = datetime.datetime.now() li_y = int(input('내비 구매 연도를 입력해주세요 ex) 2022 (yyyy) ')) li_m = int(input('내비 구매 월을 입력해주세요 ex) 07 (mm) ')) li_d = int(input('내비 구매 일자를 입력해주세요 ex) 18 (dd) ')) if today.year - li_y > 1 : print("무료 업데이트 대상자입니다. 무료 업데이트를 진행합니다. ") elif today.year - li_y == 1: if today.mont..

2022. 07. 13 _ 등원할때 비가 조금 옴 _ 흡연에 아주 불편했음 _ 수업내용은 어려워지고 몸이 축축 쳐짐 _ 하원할때 비가 너무 많이옴 우산을 쓴건지 잘 모르겠음 _ 비맞은 채로 지하철 이용 집에 가는데 좀 추웠음 _ 도착하니까 비 안옴 ㅎㅎㅎㅎㅎㅎ _ 노곤해져 평소보다 일찍 잠들어서 일기를 못씀 2022. 07. 14 _ 어려워지는 수업내용 _ 문법이랑은 진짜 지지리도 안맞는거같음 _ 데이터 직무를 쭉 둘러봄 _ 퍼포먼스마케터이며 온라인마케팅 팀장을 하면서 외주로 주었던 내용들을 직접해본다 하니 느낌이 새로움 _ 허나 전문가의 수준이 어느정도인지 감이 잡히질 않음 _ 머신러닝에 미, 적분 지식이 필요하다는걸 듣고 약간 멘탈 무리옴 _ 그래도 수학은 학창시절 곧잘했으니 괜찮게 할거라는 긍정적인..