Y.LAB Y.LAB

Recommender System

• LLM with Recommender System 논문 리뷰 - 1부 [M6-Rec: Generative Pretrained Language Models are Open-Ended Recommender Systems]

  Recommender System/논문 및 블로그 리뷰 2023. 5. 22. 19:38

  원문 보기 : https://arxiv.org/pdf/2205.08084.pdf 오랜만에 추천 관련 기술 논문을 두 개 정도 읽게 됐다. 업무 연차가 올라가다보니, 새로운 기술을 접목하거나 논문을 읽어보는 데 할애하는 시간이 점점 줄어들고, 도메인과 서비스에 적용되는 루틴한 개발이나 킬러 피쳐 발굴에만 몰두하게 된다. 그래서 새로운 기술이나 논문을 알아보는 시간이 점점 없어지는 것 같다. 그래도 곁눈질로 종종 들여다보곤 하는데, 요즘 많이 언급되는 추천시스템 관련 기술 동향은 크게 2가지 꼭지가 있다고 생각한다. 하나는 GNN-based 모델이고, 또 하나는 Transformer(BERT)를 기반으로 하는 Sequential Recommendation 이다. 한 2~3년 전에도 이 생각을 똑같이 했었던 ..

  Read More
• [Recommender System] - Sequential Recommendation (feat. BERT4REC)

  Recommender System/추천 시스템 2022. 7. 6. 18:39

  최근에는 GNN 관련 모델 구현, 그리고 시스템적으로 개발할 것들이 많아서 새로운 모델이나 알고리즘을 접할 일이 없었다. 퇴근 후에는 투자 공부에만 집중하고 있어서 ML쪽으로는 조금 소강 상태... ㅋㅋ 여튼 그러던 와중에 오랜만에 새로운 모델을 리서치할 일이 있기도 하고, Session-based Recommender System이 마침 궁금하던 찰나이기도 해서 BERT4REC 모델을 시간을 내서 조금 들여다보고 있다. BERT4REC은 알리바바에서 발표한 논문(BERT4REC : Sequential Recommendation wtih Bidirectional Encoder Representations from Transformer)에 소개된 추천 모델을 의미한다. 이름에서 유추할 수 있듯이, 보통 N..

  Read More
• [Recommender System] - MovieLens 데이터셋으로 MultiSAGE의 Context Query 구현하기 - 2

  Recommender System/추천 시스템 2021. 9. 15. 17:23

  지난 포스팅에 이어, 이번에는 MultiSAGE 알고리즘을 코딩해보자. 모든 실행코드를 보려면 이곳을 참고하자. 그리고 모델 자체에 대한 설명, 혹은 논문에 대한 리뷰는 (링크)를 참고하면 된다. Context Query in MultiSAGE MultiSAGE 알고리즘은 GraphSAGE에 GAT(설명 참고)를 적용한 것이라고 할 수 있다. GAT를 한 문장으로 요약하면, Attention 방식으로 그래프 자료구조의 Convolution 연산을 aggregate 하는 것이다. 아래의 그림을 참고하자. 그리고 PinSAGE의 후속 연구인 MultiSAGE의 구조는 PPR 기반의 Random Walk 샘플링으로 Sub-graph를 생성하는 것으로 시작한다. 여기에 Attention 개념을 적용한 뒤, 노드..

  Read More
• [Recommender System] - MovieLens 데이터셋으로 MultiSAGE의 Context Query 구현하기 - 1

  Recommender System/추천 시스템 2021. 9. 14. 18:55

  GNN with Context Query (from MultiSAGE) 최근 GNN 관련 기술을 계속 공부중인데, 가장 언급이 많이 되는 논문 중에 하나가 바로 PinSAGE, 그리고 후속으로 MultiSAGE라는 알고리즘을 다루는 [Graph Convolutional Neural Networks for Web-Scale Recommender Systems] 논문이다. 이 방법은 GraphSAGE의 기본 골격에서 PPR(Personalized Page Rank) + RW(Random Walk) 기반으로 효과적인 샘플링 기법을 추가한 알고리즘인데, MultiSAGE 라는 후속 연구에서는 Context Query 라는 것을 제안하기도 하였다. Context Query 라는 개념은 보통 조건부 검색이나 모델 ..

  Read More
• [Recommender System] - GCN과 MultiSAGE 알고리즘

  Recommender System/추천 시스템 2021. 7. 26. 15:04

  본 포스팅은 2020년에 발표한 MultiSAGE 알고리즘(MultiSage: Empowering GCN with Contextualized Multi-Embeddings on Web-Scale Multipartite Networks)의 내용을 GCN의 대략적인 히스토리와 함께 엮어낸 것이다. 기술의 주제 자체가 추천시스템인 만큼, 추천시스템과 관련된 내용만을 다루고 있으며 꽤나 많은 부분의 내용을 포스팅 최 하단의 링크들을 참고하여 작성하였다. 1. GCN (Graph Convolutional Neural network)의 개요 1) GCN의 특징 Graph Neural Network는 서로간의 연결관계를 갖고 있는 데이터를 Computer Science 영역의 그래프 표현 방법으로 잘 나타내기 위해 ..

  Read More
• [Graph Convolutional Neural Networks for Web-Scale Recommender Systems] 번역 & 리뷰

  Recommender System/논문 및 블로그 리뷰 2021. 6. 3. 16:05

  원문 보기 : https://arxiv.org/abs/1806.01973 Graph Convolutional Neural Networks for Web-Scale Recommender Systems Recent advancements in deep neural networks for graph-structured data have led to state-of-the-art performance on recommender system benchmarks. However, making these methods practical and scalable to web-scale recommendation tasks with billions of items a arxiv.org 0. Abstract 최근 추천시스템..

  Read More
• [Uber Engineering 블로그 리뷰 & 번역 - Food Discovery with Uber Eats: Using Graph Learning to Power Recommendations]

  Recommender System/논문 및 블로그 리뷰 2021. 5. 28. 16:28

  이번에는 GNN(Graph Neural Network) 관련 임베딩 시스템을 우버잇츠에서는 어떻게 활용했는지에 관한 내용이다. 지난 포스팅들보다는 다소 기술적인 내용이 포함되어 있어 조금 더 흥미롭다. 요번 포스팅 역시 원문에 주관적 해석을 약간 덧붙인 번역문에 가까우니, 영어가 자신있는 분은 원문을 읽는 것을 권장한다. https://eng.uber.com/uber-eats-graph-learning/ 1. Graph learning in a nutshell UberEats의 추천 모델을 제대로 이해하려면, Graph Learning의 동작 방식을 이해할 필요가 있다. 대부분의 ML Task는 그래프 구조의 노드를 표현하는 학습방법을 사용할 수 있다. 노드의 표현이라는 것은 encode properti..

  Read More
• [Uber Engineering 블로그 리뷰 & 번역 - How Trip Inferences and Machine Learning Optimize Delivery Times on Uber Eats]

  Recommender System/논문 및 블로그 리뷰 2021. 5. 25. 12:05

  지난 포스팅들보다 앞서 블로그에 게재된 내용으로, Uber Eats 에서 ETA, ETD 등을 추정하는 모델에 대한 내용을 설명하는 포스팅이다. 마찬가지로 이번 포스팅 역시 원문에 주관적 해석을 약간 덧붙인 번역문에 가까우니, 영어가 자신있는 분은 원문을 읽는 것을 권장한다. https://eng.uber.com/uber-eats-trip-optimization/ How Trip Inferences and Machine Learning Optimize Delivery Times on Uber Eats Using GPS and sensor data from Android phones, Uber engineers develop a state model for trips taken by Uber Eats de..

  Read More
• [Uber Engineering 블로그 리뷰 & 번역 - Food Discovery with Uber Eats: Recommending for the Marketplace]

  Recommender System/논문 및 블로그 리뷰 2021. 5. 21. 16:30

  지난 포스팅이 우버잇츠의 검색/추천 에서 에 초점을 맞춘 포스팅이었다면, 이번 포스팅은 2부작 성격을 띠며 개인화와 추천에 조금 더 초점을 맞춘 내용이다. 그 중에서도 최적화 모델과 그 구조에 대해 이야기한다. 이 글 역시 마찬가지로 원문에 주관적 해석을 약간 덧붙인 번역문에 가까우니, 영어가 자신있는 분은 원문을 읽는 것을 권장한다. https://eng.uber.com/uber-eats-recommending-marketplace/ 1. Our recommender system's journey Uber Eats의 추천/랭킹 모델의 초기버전 에서는 유저-레스토랑의 주문 발생 확률을 모델링하는 single objective optimizing을 사용했다고 한다. 그리고 점차 ML, Personaliza..

  Read More
• [Uber Engineering 블로그 리뷰 & 번역 - Food Discovery with Uber Eats: Building a Query Understanding Engine]

  Recommender System/논문 및 블로그 리뷰 2021. 5. 13. 16:30

  본 포스팅은 Uber Engineering 블로그에 게재되어 있는 Uber Eats와 관련된 Article 들을 읽어보면서 주관적 해석을 약간 덧붙인 번역 포스팅이다. 원문과 내용이 크게 다르지는 않으니, 영어가 편한 분들은 원문의 글을 읽는 것을 추천한다. https://eng.uber.com/uber-eats-query-understanding/ Food Discovery with Uber Eats: Building a Query Understanding Engine Uber engineers share how we process search terms for our Uber Eats service, using query understanding and expansion to find restaura..

  Read More