이상있는 배송 상품 족집게처럼 골라낸다…아마존, 프로젝트 PI로 고객 경험 & 배송 효율 개선

“생성형 AI와 컴퓨터 비전 기술의 조합을 사용하는 프로젝트 P.I는 제품이 고객에게 전달되기 전에 손상된 제품이나 잘못된 색상 또는 크기와 같은 결함을 발견할 수 있다. 또한 문제의 근본 원인을 파악하여 문제가 다시 발생하지 않도록 업스트림에서 예방 조치를 취할 수 있도록 지원한다.”

아마존이 배송하지 말아야 할 상품을 사전에 식별하고 골라내는 프로젝트 PI(Private Investigator)의 기술 요소와 작동 방식 및 적용 효과를 소개했다. 프로젝트 PI는 아마존 베드락(Amazon Bedrock), 아마존 세이지메이커(Amazon SageMaker) 등의 AWS 서비스와 생성형 AI 및 컴퓨터 비전 등 다양한 솔루션과 기술을 활용한다.

아마존의 프로젝트 P.I는 OCR, 컴퓨터 비전, AI 등 다양한 요소와 기술을 결합해, 주문 처리 센터에서 배송되는 상품의 문제 여부를 사전에 식별해 고객 경험과 배송 효율을 개선한다. (자료 : Amazon)

사고 싶었던 물건, 주문한 제품, 그것이 멀쩡한 상태로 제대로 오는 것. 온라인 배송의 기본은 그것이다. 싸게 사는 것, 빨리 오는 것은 그 다음이다. 혁신의 출발은 튀는 것이 아니라, 기본을 잘하는 것이라는 의미다. 아마존의 프로젝트 PI(Project PI)는 그런 관점에서 고객 경험 개선과 배송 효율 증대라는 두 마리 토끼를 한 번에 잡는 솔루션이다.

아마존이 ‘고객에게 집착하는 아마존의 문화’때문에 탄생했다고 소개하는 프로젝트 P.I는 최신 기술의 집합체다. OCR(Optical Character Recognition)은 유효 또는 유통 기간이 지난 상품을 걸러내고, 컴퓨터 비전(Computer Vision)은 카탈로그에 있는 제품 사진과 다른 품목을 감지해 손상 여부를 판별한다.

유효 기간이 지난 식품이나 사료, 표지가 구겨진 도서, 포장이 뜯어진 상자, 내용물이 새어 나온 세재 등 온라인으로 배송되는 상품의 품질이나 상태는 확인하기 전에는 알 수 없다. 누군가 이 과정을 하지 않거나 제대로 하지 않으면, 배송되지 말아야 할 상품이 고객에게 전달된다.

이러한 과정에도 불구하고 문제 있는 제품이 고객에게 배송된 후에야 발견되는 경우가 있다. 결국 고객이 문제를 지적하고 반품 및 환불 또는 교환이라는 과정을 거치게 된다. 이 과정에서 아마존은 배송된 제품의 보관되어 있던 위치 추적, 문제 확인, 주문 처리 센터에서 품목 제거, 환불, 판매자에게 문제 내용 전달 등의 과정을 거치게 된다.

배송하지 말아야 할 상품이 가면서 발생하는 문제는 결국 반품, 환불 등 불필요한 시간, 비용, 인력이 낭비된다. 말은 간단하지만 이러한 과정 속에서 많은 변수와 상황이 손을 잡으면, 배송하지 말아야 할 상품을 배송 전에 걸러내는 일이 상상할 수 있는 것보다 훨씬 복잡해진다.

제품 품질 관리팀의 선임 과학자인 빈세트 가오(Vincent Gao)는 "이러한 접근 방식의 초기 과제 중 하나는 결함을 정확하게 식별할 수 있도록 컴퓨터 비전 모델을 훈련시키는 일이었다. 이것은 건초 더미에서 바늘을 찾는 것과 같다. 우리는 다른 모든 정상 제품 중에서 이러한 제품을 정확하게 식별할 수 있는 모델이 필요했다. 그렇지 않으면 탐지 오류가 많이 발생하여 주문 처리 프로세스가 비효율적으로 진행될 수 있다”고 어려움을 토로했다.

수석 제품 관리자인 마크 마(Mark Ma)는 "우리는 결함이 발생한 후 이를 수정하는 것이 고객 경험을 보호하고 개선하는 최선의 방법이 아니라는 것을 알고 있다. 그래서 업스트림에서 어떤 종류의 데이터를 더 수집할 수 있는지 탐색하기 시작했다. 이러한 논의는 결국 터널 이미지를 활용하여 결함이 있는 제품을 더 잘 식별하고 포장 및 배송 전에 이를 해결하기 위한 외과적이고 사전 예방적인 조치를 취하는 데까지 이어졌다”고 밝혔다.

정확한 식별과 판별이 이루어지지 않으면, 문제 있는 상품을 제대로 골라내지 못하거나, 문제없는 상품을 이상 있는 것으로 잘못 판별할 수 있는 것이다. 이렇게 되면 오히려 문제는 더 심각해지고, 배송 업무의 복잡성과 효율성은 크게 떨어진다. 이러한 문제를 해결하기 위해 사용된 것이 바로 AI다.

아마존 제품 품질 관리팀은 신경망 아키텍처인 슈퍼바이즈드 트랜스포머 모델(supervised transformer models)과 셀프-슈퍼바이즈드 모델(self-supervised models)을 결합한 앙상블 접근 방식으로 이를 해결했다. AI가 주문 처리 센터에 이미지에 있는 올바른 제품 모습을 학습하고, 이를 포장 중인 제품과 비교하는 것이다,

이와 함께 생성형 AI를 적용해 손상된 제품의 식별 정확도를 더욱 높였다. 찢어진 상자, 뜯어진 봉인, 구겨진 책 표지 등 포장이 손상된 제품을 식별하고, 이를 일반적인 언어로 보고하는 다중 모드 거대언어모델(MLLM;multimodal large language model)을 도입한 것이다.

빈세트 가오는 “우리는 MLLM을 사용하여 주문 처리 센터의 이미지를 수집하고 이해하여 제로 샷 학습 기능으로 손상 패턴을 식별한다. 즉, 모델이 훈련에서 보지 못한 것을 인식할 수 있다. 이는 매우 다양한 손상 패턴을 식별하는 데 있어 중요한 장점이다. 그런 다음 이 모델을 사용하여 일반적인 손상 패턴을 요약하면 판매 파트너 및 제조업체와 더 많은 업스트림 작업을 통해 이러한 문제를 사전에 해결할 수 있다”고 설명했다.

MLLM은 부정적인 고객 경험의 원인을 조사하는 데도 사용된다. 문제를 제기한 고객의 피드백을 검토하고, 이를 기반으로 다양한 소스에서 제품 이미지를 분석한 후 문제의 근본 원인을 확인하는 것이다. 또한, 제품 라벨 등에서 추출한 정보 등의 다양한 소스와 양식을 분석해, 품질 관리 팀이 결정을 내리는 데도 거대언어모델이 활용되고 있다.

아마존은 이러한 프로젝트 P.I를 북미의 여러 주문 처리센터에서 이미지 터널을 사용하한 품목 수준 제품 결함 감지 솔루션으로 적용해 왔다. 이러한 주문 처리 센터의 개념 증명 과정에서 좋은 결과를 얻었고, 앞으로 로컬 이미지 처리를 통해 실시간에 가까운 제품 결함 감지 구현을 목표로 하고 있다.

아울러 아마존 주문 처리 센터 네트워크에 이러한 솔루션을 원활하게 통합하려면, 실제 결함과 잠재적으로 식별 오류를 일으킬 수 있는 구문을 분석하는 AI의 모델 개선이 필요하다고 밝혔다. 이를 테면 제조 날짜나 유통 기한 등 혼동할 수 있는 날짜나 포장 박스 없는 운동화는 포장을 줄이기 위한 것이 아니라 잘못된 상품이라는 수준까지 식별하는 것이다.

아마존은 컴퓨터 비전 모델을 주문 처리 센터 주변에 상품을 전달하는 데 사용되는 토트백의 크기와 색상, 다양한 언어로 데이터를 추출하는 기능 등 각 주문 처리 센터 및 지역의 고유한 특성에 맞게 조정하는 데도 어려움이 있다고 밝혔다. 배송 센터를 출발한 후 배송 과정에서 발생하는 문제나 오류에 대한 데이터 축적하고 있는 것도 이런 이유 때문이다.

아마존의 수석 제품 관리자인 케이코 아카시(Keiko Akashi)는 "이러한 정보를 판매 파트너에게 제공함으로써 판매 파트너는 자체 재고에 대한 가시성을 확보하고 반품이 발생하는 근본 원인을 보다 간결하게 파악할 수 있다. 우리가 수집하고 있는 데이터와 우리가 만들고 있는 AI 모델이, 고객과 판매 파트너에게 도움이 될 수 있다는 사실에 기대가 크다”고 전했다.

⧉ Syndicated to WWW.CIOKOREA.COM