공부일지

Msafer라고 본인 명의도용되었는지 아닌지 확인하는 사이트가 있다.통신사나 인터넷 가입처 확인이나 보이스 피싱 등 범죄 예방 목적으로 가입해두면 좋다.나는 알뜰폰을 쓰는데 통신사 확인이 어려워서 이걸로 확인했다. 사용자 인증 캡처 안 했는데 anysign 설치하라고 뜬다.문제는 Mac이라서 아래와 같은 알림이 떴다. 맥 쓰다보면 공인인증, 정부 행정 관련 프로그램, 학교 인증서 출력 등을 하기 어려울 때가 많다.보안 프로그램이나 자체 뷰어 프로그램이 윈도우만 지원해주는 경우가 있어서 그런데,그래서 또 PC방을 가거나 해야하나,, 고민했다. 스택오버플로에서는 수동으로 명령어 입력하는 법을 알려주던데따로 찾아보니 보안에 위험할 수 있다해서 다른 방법을 물색했다. 해결방법시스템 환경설정 ->..

배경데이터를 먼저 수집하고 xml 파일로 저장해두었다.해당 xml 파일을 파싱하기 위해 xml 모듈을 이용했는데 오류가 나타났다.import xml.etree.ElementTree as ETtree = ET.parse('data/ksccPatternStation.xml')root = tree.getroot() 원인xml_data = ''for i in range(1, 254429, 1000): # 처음 샘플 수집해보니 list_total_count가 25449개임 START_INDEX = i END_INDEX = i + 999 url = 'http://openapi.seoul.go.kr:8088/{api_key}/xml/ksccPatternStation/{start_idx}/{end_i..

작성일: 2024-10-08   selenium-wire option 설정하기이제 webdriver의 옵션을 설정하기 위해ChromeOptions의 객체를 만들어준다. (변수 options에 해당)from selenium.webdriver import ChromeOptions()...options = ChromeOptions()options.add_argument('--start-maximized')options.add_argument('--headless')options.add_argument(f'user-agent={useragent}')service = Service(executable_path=executable_path)driver = webdriver.Chrome(service=service,..

작성일: 2024-10-08   selenium-wire 완전히 설치하기pip install selenium-wire # seleniumwire로 쓰면 안 됨 설치는 안전하게 마무리됐지만selenium-wire를 import한 모듈을 실행시키니Error occured.No module named 'blinker._saferef'  아래 답변을 참고해서아래와 같이 blinker 모듈 버전 명시해서 설치했더니 해결됐다.pip install blinker==1.7.0더보기c.f.https://github.com/seleniumbase/SeleniumBase/issues/2782 Wire Mode: `No module named 'blinker._saferef'` if installing `selenium-wi..

작성일: 2024-10-04 서론가끔 pip install이 안 되는 경우가 생긴다.다양한 원인이 있겠지만 내게 자주 발생하는 이유는 아래와 같다. 본론1. (자주 발생) import 됐을 때 이름과 설치할 때 쓰는 이름이 달라서 생긴다. 기존 프로젝트에서 쓰던 모듈을 새로운 프로젝트 환경에 설치하고자 할 때 종종 생기는 문제가 있다. from PIL import Image import yaml from seleniumwire import webdriver 위와 같이 기존 프로젝트 파일에 import할 때와 설치할 때 쓰는 패키지명이 다른 경우에 발생한다.pip install PIL 하면 결과는 다음처럼 에러가 뜬다. -> 해석하자면 해당되는 version도 없고 그런 이름에 맞는 배포된 게 없..

작성일: 2024-09-27   상황 Python 프로그램에서 외장 라이브러리 sshtunnel, pymysql을 이용해서RDS에 연결해서 데이터를 적재하고 있다.필요할 때는 특정 데이터를 조회해서 엑셀로 추출하는데, 이번에 'DatabaseError'가 발생했다. 사실 전에도 발생했던 건데이유는 SQL syntax 문제로, 내가 작성한 쿼리에 문제가 있어 DB가 이해 못했다는 의미이다.문제가 있는 구문은 '|&|x|x|X|\\+|/' 가 있는 부분이다.  이는 내가 DB 쿼리에서 데이터가 있나 확인한 후그대로 파이썬 프로그램 쿼리문 부분에 복사 붙여넣기하는 방식 때문에 생긴건데,평소에는 간단한 조회를 많이 하나간혹 REGEXP(정규 표현식)를 할 때 이런 문제가 생긴다.MySQL(혹은 MariaDB)에..

작성일: 2024-08-26 요약상황날짜 관련 변수를 다루는 분기처리에 타입 통일성을 두지 않아 버그 발생 공유Python의 외장 라이브러리 Pandas의 시간 관련 메소드 Timestamp의 자주 쓰이는 기능 3가지를 알아보자.1. 타입 확인2. 문자열로 바꾸기3. 내장 라이브러리 datetime의 객체로 바꾸기  상황 이미지가 S3에 안 올라가는 문제가 있어서 디버깅을 했다.아래는 문제를 해결하기 전 코드이다.이미지 이름을 만들 때 변수 date를 넣는데 그쪽에 문제의 원인이 있다.# beforefor name in df['name'].unique(): df_temp = df[df["name"] == name] date = df_temp["date"].unique()[0]date if type(..

작성일 2024-09-10 요약문제버전 충돌로 인해 설치하려던 패키지 일부가 누락됨. 원인패키지 설치 명령어 복붙했다가 로컬 파이썬 버전이랑 안 맞아서였음. 해결패키지 전체 삭제하고 다시 설치함. 공유패키지 전체 삭제 pip를 이용해 간단히 하는 법    상황Airflow를 로컬에 설치할 때 관련 패키지가 다 깔리지 않고일부가 누락됐다.   버전충돌 때문이라고 짐작했다.처음에 나는 로컬에 PyPI 기반으로 Airflow를 설치하고자 했다.'Installation tools' 항목에 있는 코드를 입력했는데문제는 여깄었다. 코드를 잘 보면 pip install 구문에 있는 Constraint URL 부분에Python 버전이 들어가는데(나는 앞에 에어플로 버전만 봤지 URL을 유심히 보지 않았었다.)그게(3...

처음에 크롬 드라이버 업뎃해서 안 되는 줄 알았다. 근데 왜인지 모르겠는데(다른 사이트는 괜찮더니) 이 오류는 html element 가져오는 메소드를 변경해주었더니 해결됐다. 수정 전 수정 후 .click .send_keys(Keys.ENTER) 참고 블로그 https://url.kr/z4a615 [selenium] element 클릭이 되지 않을 때: ElementNotInteractableException Message: element not interactable 에러 python selenium 을 이용하여 chorome webdriver 상에서 자동화 코드를 수행하다가 다음과 같은 에러가 발생했습니다. selenium.common.exceptions.ElementNotInteractableEx..

찾아보니 정규 표현식 쓸 때 자주 발생하는 오류라 한다. 정규 표현식은 str 타입에 적용되는데 그게 아닐 경우에 발생하는 문제이므로 str로 변환해주면 된다. (해결 방법: 함수 str() 적용) 참고 블로그 https://nyoungsom.tistory.com/62 [Python, 에러] TypeError: expected string or bytes-like object import re def clean(x): x = re.sub("\&\w*\;", "",str(x)) df['contents'].apply(lambda x: clean(x)) 정규표현식을 사용해서 문자 제거 도중 타입에러(TypeError) 발생 ! 변경 전 re.sub("\&\w*\;", "",x) 변경 후 re.sub("\&\w..