공부일지

작성일: 2024-09-27   상황 Python 프로그램에서 외장 라이브러리 sshtunnel, pymysql을 이용해서RDS에 연결해서 데이터를 적재하고 있다.필요할 때는 특정 데이터를 조회해서 엑셀로 추출하는데, 이번에 'DatabaseError'가 발생했다. 사실 전에도 발생했던 건데이유는 SQL syntax 문제로, 내가 작성한 쿼리에 문제가 있어 DB가 이해 못했다는 의미이다.문제가 있는 구문은 '|&|x|x|X|\\+|/' 가 있는 부분이다.  이는 내가 DB 쿼리에서 데이터가 있나 확인한 후그대로 파이썬 프로그램 쿼리문 부분에 복사 붙여넣기하는 방식 때문에 생긴건데,평소에는 간단한 조회를 많이 하나간혹 REGEXP(정규 표현식)를 할 때 이런 문제가 생긴다.MySQL(혹은 MariaDB)에..

작성일: 2024-09-25   Python을 통해서 컴퓨터 지식 익숙해지기가 요새 내 주안점이다.itertools, functools, … 같은 외장 라이브러리들이 함수형 프로그래밍에 쓰인다는 걸 알게 됐다. 예전에는 ‘왜 functools, itertools 같은 이름을 가졌지? 그다지 와닿지 않는데..’ 라고 생각했었다.그런데 위키독스 예제를 보다보니 기능에 이해가 가면서 이제는 생각이 바뀌었다.아래 위키독스 목차에서 함수형 프로그래밍을 찾으면 자주 쓰이는 요긴한 기능 몇가지를 설명해준다.거기서 functools, itertools, operator라는 외장 라이브러리가 포함되는 걸 확인할 수 있다. c.f.034 다양한 기준으로 정렬하려면? ― operator.itemgetter 034 다양한 기..

작성일 : 2024-09-23   Python에는 Decorator라는 기능이 있다.Decorator하면 '장식하다', '꾸미다'와 같은 의미가 생각나지만기능적으로는 외장 라이브러리 functools의 wrap(wrap도 decorator)이 더 직관적인 이름인 것 같다.말 그대로 감싸는 역할을 한다. 어떨 때 쓰이는가?내가 이해한 바로는, 완성된 함수들에 반복적으로 같은 기능을 적용하고 싶을 때 쓴다.흥미로운 건 디자인 패턴 측면의 기능이라는 것이다.아래 예시를 보자.  Decoratorclass CallpsedTimeDecorator: from datetime import datetime def __init__(self, f): self.func = f def __call__(self, *args,..

작성일: 2024-09-24 상황 데이터를 수집하는 방법 중 가장 쉬운 방법은 공유된 파일을 다운로드하는 것이다.오늘은 디렉토리에 담긴 여러 개 파일의 이름을 리스트에 담기 위해 os 모듈과 os.path 모듈을 사용해보았다.os 모듈은 너무 잡다한 기능이 많아서 오늘 필요한 기능인 os.listdir()만 요약해두고, 나머지는 파일 이름을 조작하는 os.path 모듈 세부기능들이다.자주 쓰니까 정리해둔다. (요약은 GPT가 해줌)  os 모듈 기능 중 os.listdiros.listdir(path='.')설명: 지정된 디렉토리 내의 항목 이름들을 리스트로 반환하는 함수입니다. 반환되는 리스트는 임의의 순서를 가지며, 디렉토리 내에서 .(현재 디렉토리)와 ..(상위 디렉토리)는 포함되지 않는다.만약 함수..

작성일: 2024-08-26 요약상황날짜 관련 변수를 다루는 분기처리에 타입 통일성을 두지 않아 버그 발생 공유Python의 외장 라이브러리 Pandas의 시간 관련 메소드 Timestamp의 자주 쓰이는 기능 3가지를 알아보자.1. 타입 확인2. 문자열로 바꾸기3. 내장 라이브러리 datetime의 객체로 바꾸기  상황 이미지가 S3에 안 올라가는 문제가 있어서 디버깅을 했다.아래는 문제를 해결하기 전 코드이다.이미지 이름을 만들 때 변수 date를 넣는데 그쪽에 문제의 원인이 있다.# beforefor name in df['name'].unique(): df_temp = df[df["name"] == name] date = df_temp["date"].unique()[0]date if type(..

작성일 2024-09-10 요약문제버전 충돌로 인해 설치하려던 패키지 일부가 누락됨. 원인패키지 설치 명령어 복붙했다가 로컬 파이썬 버전이랑 안 맞아서였음. 해결패키지 전체 삭제하고 다시 설치함. 공유패키지 전체 삭제 pip를 이용해 간단히 하는 법    상황Airflow를 로컬에 설치할 때 관련 패키지가 다 깔리지 않고일부가 누락됐다.   버전충돌 때문이라고 짐작했다.처음에 나는 로컬에 PyPI 기반으로 Airflow를 설치하고자 했다.'Installation tools' 항목에 있는 코드를 입력했는데문제는 여깄었다. 코드를 잘 보면 pip install 구문에 있는 Constraint URL 부분에Python 버전이 들어가는데(나는 앞에 에어플로 버전만 봤지 URL을 유심히 보지 않았었다.)그게(3...