| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
- decorator
- selenium-wire
- 코딩 테스트
- timestamp
- Python
- 생각
- 함수형 프로그래밍
- PIP
- r-string
- 고차함수
- pandas
- S3
- ds_store
- sort(reverse=True) v.s. reverse
- 쿼리
- OS
- sort v.s. sorted
- 순수함수
- boto3
- reverse v.s. reversed
- os.path
- Airflow
- slicing [::-1]
- [초급(예비) 개발자 오픈소스 실무 역량강화 교육]
- CI/CD
- blinker
- functools.wraps
- Today
- Total
목록2025/04/23 (3)
공부일지
[Python]sys.argv 활용으로 main 함수와 test 함수 분리해서 쓰기
기존 나의 방식기존에는 원하는 기능을 하는 파일에 main 함수를 만들어서 하단에 다음 코드를 작성했다.if __name__ == "__main__": main()그러고 나서 CLI에서 파일명을 치거나 단축키 F1(VSCode 기준)을 이용해 파일을 실행한다.python fetch_data.py그러나 기본 기능을 하는 함수에 대해서간단한 테스트 버전이 필요할 때가 많다.그러면 나는 항상 테스트 파일을 따로 만들어 실행해서 확인하고main 함수가 있는 파일을 수정하곤 했다. 가령, fetch_data.py라는 파일의 기본 동작은 옥션 사이트의 전체 페이지 수집이다.test.py를 따로 만들어서 fetch_data.py의 테스트 버전(반복문이 없다거나 간단한 상태, 혹은 데이터 상태를 확인할 정도만)을..
[데이터]너무 큰 데이터란 어느정도일까
파일로 저장했을 때,데이터 베이스로 관리하기에,대용량 데이터 베이스를 쓰기에적당한 건 어느정도인지 프로젝트를 만들면서 확인을 해봐야겠다.
[Python]ParseError: junk after document element: line 10009, column 0
배경데이터를 먼저 수집하고 xml 파일로 저장해두었다.해당 xml 파일을 파싱하기 위해 xml 모듈을 이용했는데 오류가 나타났다.import xml.etree.ElementTree as ETtree = ET.parse('data/ksccPatternStation.xml')root = tree.getroot() 원인xml_data = ''for i in range(1, 254429, 1000): # 처음 샘플 수집해보니 list_total_count가 25449개임 START_INDEX = i END_INDEX = i + 999 url = 'http://openapi.seoul.go.kr:8088/{api_key}/xml/ksccPatternStation/{start_idx}/{end_i..