redis cache

Today I Learned 날짜 2024년 8월 27일 화요일 내용 Redis 캐시 대소동 오늘 새벽, 똑같은 오류가 6만번이나 발생했다.. 기능에는 이상이 없었으나 너무 놀랄만한 수치라 후딱 확인해봤다. 상품과 관련된 리뷰나 평점 데이터를 쇼피파이 메타필드에 업로드 하는 함수에서 발생했다. 오류 메시지는 떴으나, 정확히 어떤 오류인지 이해가 잘안됐다. 오류 상황들을 살펴보니 공통적으로 비활성화 된 스토어의 상품들이었다. 몇가지 테스트 해보니 쇼피파이에서 비활성화된 스토어의 메타필드에는 접근 자체가 안되었고 거기서 발생한 오류였다. 이 함수는 진작에 매일매일 실행되는 애인데 왜 하필 오늘 아침에만 문제가 됐는가? 어제 내가 수정한 부분 떄문이었다. ...

2024년 8월 27일 · 3 분 · 배준수

새 프로젝트 준비

Today I Learned 날짜 2024년 8월 26일 월요일 내용 또 새로운 프로젝트 아임리포트 기능 개발을 마치고, 테스트를 진행했다. 매번 테스트서버에선 괜찮다가 실서버에서 QA할 때 문제가 발생했기 떄문에 실서버 환경에서 돌리면서 문제점을 찾았다. 가져올 데이터 양이 많아 테스트가 꽤나 오래걸리기 때문에 중간중간 뜨는 시간을 다음 프로젝트 준비로 뗴웠다. 이전에 개발한 인스타그램 비즈니스 계정의 댓글을 가져오는 서비스를 더 고도화해야 한다. 알파플러스 서비에 붙어있는데 이걸 떼내고 새로운 서비스로 만들어야 한다. 기존에 붙여놓을 때도 전혀 서로 연관하지 않도록 독립적으로 개발해놨기 때문에 분리하는 것에는 큰 공수가 들지 않는다. ...

2024년 8월 26일 · 1 분 · 배준수

올해는 윤년입니다.

Today I Learned 날짜 2024년 8월 23일 금요일 내용 방정식 데이터 생성 테스트 중에, 1년이 지난 데이터는 생성되지 않는다는 오류를 발견했다. 아니 그동안은 잘 주다가 갑자기 왜… 문서상으론 1년이 최대라고 하지만 그동안은 호출하면 잘 줬으면서 갑자기 왜 안주는 걸까. 주다 안주니 섭섭하게 짝이 없다. 어쩔수 없이 1년치만 가져오게 하려고 했는데… 정확히는 하루 전부터 364일 전까지 만 가져올 수 있다. 오늘과 1년 전의 오늘것은 가져올 수 없다. 이때부터 머리가 상당히 복잡해졌다. 반복문 에서 루프 한번 당 몇일치씩 요청을 보내야할까? ...

2024년 8월 23일 · 2 분 · 배준수

boto3로 S3 관리하기

Today I Learned 날짜 2024년 8월 22일 목요일 내용 불친절한 이웃 네이버 그래도 내가 쓴 코드라 그런지, 로직은 쉽게 고쳤다. 곤란한 경우가 있었는데, 보고서 생성 요청을 보내도 반환값의 downloadUrl 은 빈값이 들어온다. status 가 REGIST 라고 들어오는데 “니가 보낸 만들어달란 요청 받았음” 이라는 뜻이란다. 그냥 바로 만든거 달라고… 뭐 별수있나 만들고 요청을 보내야지. 그래서 만들고 ⇒ 응답값에 들어있는 reportId 로 다운로드 링크 조회하고 ⇒ 그 링크에서 다운로드 로 변경했다. 근데 웬걸? 조회 요청의 응답에 status 가 RUNNING 으로 온다. 아직 만드는 중이라는 뜻인데 생각보다 생성이 느리다. 어쩔수 없이 40일치 생성 ⇒ 40일치 다운로드 로 로직을 변경했다. ...

2024년 8월 22일 · 1 분 · 배준수

전화위복

Today I Learned 날짜 2024년 8월 21일 수요일 내용 전화위복 대참사도 이런 대참사가 따로 없다! 결국 매일 오전 정기 업데이트는 작동하지 않았다. 추가로, 정기 업데이트가 같은 네이버 API를 사용해서 발생하는 문제인 것으로 확인했습니다. 따라서 현재 같은 광고계정 간의 동시처리 금지 정책을 같은 관리자 계정 간의 동시처리 금지 정책으로 변경해야 할듯 합니다. 이렇게 되면 사용성이 많이 떨어져서 현재 진행 로직을 좀 변경할 계획입니다. 현재 최근 50일치 데이터 생성 및 다운로드(네이버 API 사용) 데이터 전처리(네이버 API 사용 X) 50일전~ 100일전 데이터 생성 및 다운로드(네이버 API 사용) 전처리(네이버 API 사용 X) …400일치 누적되면 구글 API를 이용해 삽입하는 모양새를 취하고 있는데, 각각 2,4번이 꽤 작업이 오래걸립니다(전체 시간 중 약 70~80%).따라서 일괄 생성 및 다운로드 방식으로 변경할 계획입니다. ...

2024년 8월 21일 · 3 분 · 배준수

결과값 통일의 장점

Today I Learned 날짜 2024년 8월 20일 화요일 내용 결과값의 통일 아임리포트 베타테스트가 성공하지 못했다. 시작하자마자 또 온갖 오류가 다터졌기 떄문… 가장 큰 문제는 매일 아침 실행되야할 정기 업데이트가 실행되지 않았다. 뜯어본 결과, 매일 아침 여러 광고 계정이 동일한 네이버 계정으로 API를 호출해서 요청이 실패한 걸로 추정된다. 그런데 이 서비스를 사용할 유저들의 대부분은 이런 형태(하나의 관리자 계정으로 여러 광고계정을 관리하는)일 것이라 이에 대한 대비가 필요하다. 점심먹다가, 다운로드받은 보고서 csv를 s3에 저장하는게 어떻냐는 아이디어를 들었는데 옳타구나 싶었다! ...

2024년 8월 20일 · 2 분 · 배준수

아주 희미한 빛으로도

화씨 451 지은이: 최은영 출판사: 문학동네 감상 오랜만에 읽은, 시간가는 줄 모르고 읽은 국내 소설이었다. 그간 외국 소설들만 읽어서였는지 훨씬 더 와닿는 표현과 내용들이 많았다. 대부분의 소설들은 여성들에 관한 이야기였다. 누군가는 사회적으로 열악함에 속해있고, 누군가는 개인의 위치에서 열외당한 이야기들이었다. 기억에 남는 구절 옛날 사람들은 하늘 위에 하늘나라가 있다고 생각했다. 밤하늘의 별빛들을 보고 하늘에 구멍을 뚫어 지상의 인간들을 바라보는 저 너머 누군가의 눈빛이라고 믿기도 했다. 그들에게 별빛은 신의 눈빛이거나 더는 만날 수 없는 사랑하는 존재들의 시선이었다. ...

2024년 8월 20일 · 1 분 · 배준수

2차 서브도메인

Today I Learned 날짜 2024년 8월 19일 월요일 내용 2차 서브도메인의 SSL 인증서는 별개로 받자. 도메인은 IP주소에 붙인 이름이다. 모든 서버는 자신의 IP 주소를 가지는데, 우리가 쉽게 읽고 쓸 수 있는 자연어를 IP주소에 할당한 것을 도메인이라 한다. naver.com, google.com 등이 우리가 흔히 생각하는 도메인이고 이 도메인은 최상위 도메인이다. 최상위 도메인에 prefix를 붙여서 서브 도메인을 만들 수 있다. 아임리포트를 예시로 들면, 유저들은 최상위 도메인인 imreport.io로 접근한다. 이떄 클라이언트가 서버로 요청을 보내야하는데 서버의 도메인이 server.imreport.io 로 설정되어있다. 이 외에도 여러 서브도메인을 구축하면 같은 도메인 내에서도 다양한 섹션으로 나누어 사용할 수 있다. ...

2024년 8월 19일 · 2 분 · 배준수

테스트만이 살길이다

Today I Learned 날짜 2024년 8월 16일 금요일 내용 테스트케이스 추가 무려 6개월 전에 진행했던 리스트 디자이너의 테스트 케이스를 추가해줬다. 허허.. 진작에 좀 부지런하게 해놓을껄.. 깃헙 액션으로 풀리퀘스트를 머지할 때마다 테스트를 진행해 결과를 나타내고, 커버리지로 테스트되는 코드 비율을 표시하려고 했는데 약간의 문제가 있다. 결국 빌드해서 파이테스트를 돌려봐야 하는데, 깃헙에선 환경변수 파일이 없으니 실행 과정에서 자꾸 오류가 난다. 그렇다고 필요한 환경변수를 모두 repostiory 환경 변수로 설정할 수도 없고 흠.. 다른 방법이 뭐가 있을까 고민하다가 ...

2024년 8월 16일 · 1 분 · 배준수

import 문 정리

Today I Learned 날짜 2024년 8월 14일 수요일 내용 불필요한 import 문 처리 예전부터 꼭 처리하고 싶었던게 있었다. 파일들에 최상단에는 각종 import 문들이 가득한데 중구난방이다. 중복도 너무 많고, 사용하지 않는데 들어가있는 것들도 많다. 아무래도 처음 파일을 만들때 다른 파일에서 긁어오는 경우도 있고 코드를 수정하는 과정에서 더이상 사용하지 않게 됐는데 import문은 처리하지 못한 경우도 있었다. 사용하지 않는 import문은 밑에 점선표시가 뜬다. 이전에 그것만 믿고 지웠다가 사용하는데 점선표시 된 패키지들이 있어서 대참사를 낼뻔했기 떄문에.. 점선을 믿지 않고 일일이 Ctrl + F 로 사용여부를 확인해가면서 지워갔다. ...

2024년 8월 14일 · 1 분 · 배준수