공부일지

이전 글: (1) 배경과 아이디어https://letsstudylog.tistory.com/159 MongoDB Vector Search를 활용한 사내 문서 검색 도우미 구현 및 성능 검증(PoC)_배경과 아이디어배경회사에서 Confluence 문서를 관리하고 있다.https://www.atlassian.com/ko/software/confluence Confluence | 원격 업무에 친화적인 팀 작업 영역 | Atlassian어떤 프로젝트에서든 Rovo AI를 활용해즉시 초안을 작성하letsstudylog.tistory.com 이전 글: (2) 구현 및 검증과정https://letsstudylog.tistory.com/163 MongoDB Vector Search를 활용한 사내 문서 검색 도우미 구현..

이전 글: (1) 배경과 아이디어https://letsstudylog.tistory.com/159 MongoDB Vector Search를 활용한 사내 문서 검색 도우미 구현 및 성능 검증(PoC)_배경과 아이디어배경회사에서 Confluence 문서를 관리하고 있다.https://www.atlassian.com/ko/software/confluence Confluence | 원격 업무에 친화적인 팀 작업 영역 | Atlassian어떤 프로젝트에서든 Rovo AI를 활용해즉시 초안을 작성하letsstudylog.tistory.com 구현 과정 어려운 점전처리 구조 잡는 것 자체가 어려웠다.문서 데이터 depth 자체가 깊고 복잡하며 필요한 데이터를 선별하는 게 쉽지 않았다. 해결방법1. 데이터 정제 기준질..

배경현재 운영 중인 Docker 엔진(v1.13)의 노후화로 인한 극단적인 버전 차이와 최신 docker-compose.yml 스펙과의 호환성 문제 발생.missing validation key 파싱 에러 발생으로 인프라 최적화 및 설정 업데이트가 불가능한 상태를 해소하고, 최신 보안 패치를 적용하고자 함.Docker 패키지 출처가 상이해 환경 일관성 및 호환성을 위해 Docker Community Edition(CE) 통일하고자 함.대상 GCEde-airflow-master, de-airflow-standbyDocker v1.13 - 업그레이드 대상CentOS 7 기본 레포지토리 제공 에디션 - 패키지 변경 대상de-airflow-workerv26.x - 버전 동기화 대상Docker CE - 패키지 변..

배경master VM의 디스크 용량이 꽉 차 정리를 통한 디스크 용량 회수 결정.서버(GCE) 부하를 줄이기 위한 과정의 하나로 진행함.DB 점검전체 확인 후 size 큰 table만 따로 추림.[me@de-airflow-master ~]$ sudo docker exec -it 212ac15566ad psql -U airflowpsql (13.7 (Debian 13.7-1.pgdg110+1))Type "help" for help.airflow=# SELECT relname AS "table_name", pg_size_pretty(pg_total_relation_size(relid)) AS "size"FROM pg_catalog.pg_statio_user_tablesWHERE relname IN..

배경CPU 및 메모리 고부하 문제로 파이프라인 및 데이터 안정성 해침.git-sync 무작위로 내려가는 문제도 함께 해결할 수 있을지 확인하고자 함.순서로컬 부하 테스트프로세스: core, scheduler, webserverairflow 환경변수만실제 서버 부하 테스트GCE: worker → standby → master(운영)airflow 및 git-sync 환경변수머신 유형로컬: CPU 10코어, 메모리 32GBworker: e2-medium (vCPU 2개, 메모리 4GB)standby, master: e2-standard-2 (vCPU 2개, 메모리 8GB)작업1. 로컬 부하 테스트전제core, scheduler, webserver 환경변수 중 인프라 부하(특히 CPU, 메모리)에 영향을 미치는..