| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
- sort v.s. sorted
- Python
- os.path
- reverse v.s. reversed
- Rag
- S3
- 고차함수
- selenium-wire
- boto3
- ds_store
- timestamp
- blinker
- r-string
- decorator
- 순수함수
- 생각
- pandas
- Airflow
- CI/CD
- 쿼리
- OS
- 코딩 테스트
- slicing [::-1]
- functools.wraps
- sort(reverse=True) v.s. reverse
- 함수형 프로그래밍
- mongoDB
- Chatbot
- PIP
- [초급(예비) 개발자 오픈소스 실무 역량강화 교육]
- Today
- Total
목록2026/03/01 (3)
공부일지
시나리오: Docker 엔진 업그레이드 및 장애 복구(Rollback) 절차
배경현재 운영 중인 Docker 엔진(v1.13)의 노후화로 인한 극단적인 버전 차이와 최신 docker-compose.yml 스펙과의 호환성 문제 발생.missing validation key 파싱 에러 발생으로 인프라 최적화 및 설정 업데이트가 불가능한 상태를 해소하고, 최신 보안 패치를 적용하고자 함.Docker 패키지 출처가 상이해 환경 일관성 및 호환성을 위해 Docker Community Edition(CE) 통일하고자 함.대상 GCEde-airflow-master, de-airflow-standbyDocker v1.13 - 업그레이드 대상CentOS 7 기본 레포지토리 제공 에디션 - 패키지 변경 대상de-airflow-workerv26.x - 버전 동기화 대상Docker CE - 패키지 변..
Airflow Metadata DB 최적화 및 디스크 용량 회수
배경master VM의 디스크 용량이 꽉 차 정리를 통한 디스크 용량 회수 결정.서버(GCE) 부하를 줄이기 위한 과정의 하나로 진행함.DB 점검전체 확인 후 size 큰 table만 따로 추림.[me@de-airflow-master ~]$ sudo docker exec -it 212ac15566ad psql -U airflowpsql (13.7 (Debian 13.7-1.pgdg110+1))Type "help" for help.airflow=# SELECT relname AS "table_name", pg_size_pretty(pg_total_relation_size(relid)) AS "size"FROM pg_catalog.pg_statio_user_tablesWHERE relname IN..
Airflow 서버 부하 줄이기(로컬, GCE 시범 적용)
배경CPU 및 메모리 고부하 문제로 파이프라인 및 데이터 안정성 해침.git-sync 무작위로 내려가는 문제도 함께 해결할 수 있을지 확인하고자 함.순서로컬 부하 테스트프로세스: core, scheduler, webserverairflow 환경변수만실제 서버 부하 테스트GCE: worker → standby → master(운영)airflow 및 git-sync 환경변수머신 유형로컬: CPU 10코어, 메모리 32GBworker: e2-medium (vCPU 2개, 메모리 4GB)standby, master: e2-standard-2 (vCPU 2개, 메모리 8GB)작업1. 로컬 부하 테스트전제core, scheduler, webserver 환경변수 중 인프라 부하(특히 CPU, 메모리)에 영향을 미치는..