Selenium

Today I Learned 날짜 2024년 11월 8일 금요일 내용 이모지 인스타그램 댓글엔 이모지를 참 많이 쓴다. 그저께 TIL에도 썼듯이, 하트는 어떻게 해결했는데 여전히 몇가지 이모지가 텍스트로 나와 상당히 거슬린다. 이렇게 나온다.. 어떻게 할까 하다가 GPT가 기가 막힌 아이디어를 제공해줬다. 저 이모지를 태그로 씌운후 클래스를 설정해서, 그 클래스에만 폰트를 적용하는 거다. 🤣 를 <span class="emoji" style="padding:0;">🤣</span> 이런식으로 감싼 후, HTML 스타일에 1 2 3 .emoji { font-family: 'Noto Color Emoji', 'Apple Color Emoji', sans-serif; } 를 추가해줬다. 이제 관건은, 어떻게 이모지를 감지할 거냐는 건데.. 인스타그램에서 자주 쓰이는 이모지 10개만 처리할까 하다가 파이썬에 이모지 라이브러리가 있다는 게 기억났다. 이모지 라이브러리를 이용해 감지해서 태그를 감싸되, 이모지를 HTML 엔티티로 변경하고 Markup으로 감싸줬다. 감싸주지않으면 저 태그자체를 그냥 문자열로 파악해서 적용이되지 않는다. ...

Today I Learned 날짜 2024년 11월 6일 수요일 내용 손님받아라! 하루에 20개의 고객 데이터가 추가된다! 이렇게 반응이 즉각적으로 이루어지는 건 진짜 처음이라, 문제 없이 잘 돌아가는지 하루종일 열심히 살폈다. 그 덕분인지 대참사가 터질뻔한걸 빠르게 캐치할 수 있었다. 엄격한 AI 인스타그램에 작성된 댓글을 이미지로 만드는데 선별하는 AI가 너무 엄격했다. 우리 서비스에 가입한 스토어들의 인스타그램 계정에는 댓글들이 그렇게 많지 않았다.. 적게는 게시글마다 1~2개 씩 총 20개 정도 되는 스토어들이 많았다. 이런 곳은 비록 그 댓글이 우리가 기획할 때 설정한 목표와 적확하게 일치하지 않더라도 이미지로 처리되길 바라지 않을까? 그리고 실제로 내용도 충분히 올라갈법 했다. ...

Today I Learned 날짜 2024년 10월 18일 금요일 내용 HTML에서 전체 길이를 파악하는 법 인스타그램에서 가져온 댓글 10개를 이미지로 만들어야 한다. html2image는 생성할 때 사이즈를 표시할 수 있는데, 어떤 값을 넣어야 할지 불명확했다. 댓글의 작성 길이에 따라 어찌 될지 모르니… GPT께서, selenium을 이용하라고 하신다. 기본적인 원리는 selenium으로 서버에서 크롬창을 띄운다. 거기에 내가 이미지로 만드려는 HTML 파일을 올린다. 그 창의 길이를 측정한다. 이미지로 만들 때 그 값을 높이로 제공하면 딱 알맞은 이미지가 생성된다. 다. 코드가 참 더러운데 어떻게 작동은 된다…? ...

Today I Learned 날짜 2024년 4월 24일 수요일 내용 동적 페이지 크롤링 결국 리뷰를 가져오기 위해선, SPU가 필요하다. 이 상품정보 페이지에서 SPU를 이용해 리뷰를 서버에서 받아오고 있으니, 분명 어딘가 SPU를 받은 요청이 있을텐데… 진짜 개발자도구에서 수백개를 뒤진 끝에 찾았다. 우선 Shein의 상품 ID에 관한 간략한 설명이다. 상품에는 여러가지 고유 ID가 존재하는데 shein에는 3가지가 대표적으로 있다. SPU : 상품의 고유 ID (ex. 아이폰 13 프로) SKC : 상품 + 색깔의 고유 ID (ex. 아이폰 13 프로 화이트골드) SKU : 상품 + 색깔 + 옵션의 고유 ID (ex. 아이폰 13 프로 화이트골드 1TB) SPU를 변환해 여러 개의 SKC를 만들고, 여기서 또 변환해 SKU를 만든다. 정확한 변환 로직은 모르지만… 어제 말한 것처럼 하나 확실한건 여러 SKU 중의 하나는 반드시 SPU를 포함하고 있다. 다음은 내가 찾아간 과정이다. ...