Shein

Today I Learned 날짜 2024년 4월 25일 목요일 내용 Shein이 싫다. 결국 Shein 임포터 태스크는 잠정 보류됐다. 현재 일정상으론 내가 완성할 수 없기 때문이다. 그 이유라고 한다면 아직 프론트 작업은 시작조차 안한 상태고 크롬 드라이버 떄문인지, Shein에서 사람 탐색 기능때문인지 간헐적으로 요청이 실패하고 있으며 이 부분으로 인해 서비스가 멈추는걸 방지하고자 아마존 람다나 구글 쪽에 함수를 올리기엔 시간이 부족하다. 아쉽기도 하고 자존심도 상하고 하.. 예외처리 모든 앱블록을 조회하는 함수가 실서버에서 제대로 작동하지 않았었다. 원인은 ECS에 태스크를 등록할 때 보안그룹을 제대로 설정하지 않아 RDS에 접근하지 못한 것이 원인이었다. 이 부분을 해결하고 나서는, 여러 에러들이 떴다. Key Error와 메인 테마를 찾지 못해 변수가 지정되지 않아 생기는 오류들이었다. 쇼피파이 API로 가져오는 모든 테마의 형식을 내가 확인할 수 없으니, 원하는 형식이 아닐경우 예외처리하고 넘어가는 코드를 추가했다. ...

Today I Learned 날짜 2024년 4월 24일 수요일 내용 동적 페이지 크롤링 결국 리뷰를 가져오기 위해선, SPU가 필요하다. 이 상품정보 페이지에서 SPU를 이용해 리뷰를 서버에서 받아오고 있으니, 분명 어딘가 SPU를 받은 요청이 있을텐데… 진짜 개발자도구에서 수백개를 뒤진 끝에 찾았다. 우선 Shein의 상품 ID에 관한 간략한 설명이다. 상품에는 여러가지 고유 ID가 존재하는데 shein에는 3가지가 대표적으로 있다. SPU : 상품의 고유 ID (ex. 아이폰 13 프로) SKC : 상품 + 색깔의 고유 ID (ex. 아이폰 13 프로 화이트골드) SKU : 상품 + 색깔 + 옵션의 고유 ID (ex. 아이폰 13 프로 화이트골드 1TB) SPU를 변환해 여러 개의 SKC를 만들고, 여기서 또 변환해 SKU를 만든다. 정확한 변환 로직은 모르지만… 어제 말한 것처럼 하나 확실한건 여러 SKU 중의 하나는 반드시 SPU를 포함하고 있다. 다음은 내가 찾아간 과정이다. ...

Today I Learned 날짜 2024년 4월 23일 화요일 내용 SHEIN Importer 기존에 아마존, 알리익스프레스에서 리뷰를 가져오는 기능이 있었는데 이 기능을 SHEIN까지 추가하기로 했다. 개발자 Docs를 찾아봤을 때 리뷰를 가져오는 API 엔드포인트는 아예 없었다. 크롤링 해와야 하나 고민했는데 도움을 받아, 개발자도구에서 요청을 보내는 URL을 알 수 있었다. 문제는 여기부터 발생했는데, 리뷰를 받아오기 위해서는 상품의 고유 ID인 SPU를 변수로 줘야한다. 하지만 이 SPU를 알 방법이 없다. 상품 상세페이지 URL에는 goods_id만 있는데 리뷰 요청떄만 딱 SPU를 사용한다. 그 이전에는 전혀 등장하지 않는 애다. 그 전 요청들 중에 이 값을 받아오는 게 있지 않을까 싶어 정말 싹싹 다뒤져봤는데 절대 등장하지 않는다. 정확히 리뷰 요청때만 등장하는 녀석이다. 도대체 이 값을 어떻게 얻어낼 수 있을지 모르겠다. ...