Freightos - MATLAB 및 Google BigQuery를 사용한 온라인 화물 물류의 빅데이터 분석 수행 사례
“MATLAB과 BigQuery의 통합으로 인해 전체 데이터베이스를 다운로드하거나 Microsoft® Excel®에서 복잡한 연산을 수행할 필요가 없습니다. 이는 시간 낭비가 줄고 정확도는 높아지는 가운데 운영 및 마케팅 팀을 위한 보고와 분석 및 이해가 개선됨을 의미합니다.”
과제
온라인 화물 판매 자동화를 위한 서비스형 소프트웨어 솔루션 운영 및 출시
솔루션
MATLAB을 사용하여 클라우드에 저장된 빅데이터를 대상으로 고급 분석을 수행함으로써 운영 및 마케팅 통찰력 확보
결과
- 몇 시간이 아닌 몇 분 안에 분석 완료
- 신속한 BigQuery 통합 구현
- 20배 더 빠르게 통찰력 확보
미국 수입품의 가장 일반적인 최초 출항지를 보여주는 Statistics and Machine Learning Toolbox로 생성한 트리맵.
Freightos는 번거로운 수작업 프로세스와 툴을 대체하는 강력한 온라인 화물 경로 및 가격 책정 시스템을 기반으로 온라인 화물 마켓플레이스를 개발함으로써 매년 6억 5,000만 달러로 추정되는 업계 손실의 요인인 수많은 비효율성과 오류를 제거했습니다. Freightos의 SaaS(서비스형 소프트웨어) 시스템은 Google® BigQuery를 사용하여 세계 최대 규모의 여러 물류 제공업체로부터 오는 수천 건의 화물 계약, 수백만 건의 화물 견적, 그리고 다양한 기타 운송 데이터에 대한 여러 데이터베이스를 관리하고 저장합니다.
Freightos는 이런 BigQuery 데이터로부터 운영 및 마케팅 통찰력을 얻기 위해 MATLAB®을 사용한 빅데이터 분석을 적극 활용합니다.
“MATLAB을 통해 우리는 데이터를 잘게 쪼개어 분석해서 비즈니스 의사 결정의 방향을 제시하고 고객을 돕고 판매를 신장하는 통찰력을 얻을 수 있습니다.” Freightos의 마케팅 매니저인 Eytan Buchman의 말입니다. “우리는 MATLAB으로 BigQuery에 있는 대규모 데이터가 주는 이점을 극대화하고 있습니다.”
과제
Freightos의 분석가들은 클라우드의 여러 데이터베이스에 걸쳐 수백만 행에 달하는 데이터를 대상으로 분석을 실행하기가 매우 번거롭고 운영 및 마케팅 업무에 매우 중요한 핵심적인 통찰력을 파악하기가 어렵다는 사실을 발견했습니다. 그들은 정적 리포트를 위해 클라우드의 데이터를 대상으로 쿼리를 실행할 수는 있었지만, 더 깊은 통찰력 확보를 위해서는 실시간 데이터를 대화형 방식으로 탐색하고 분석해야 했습니다. 예를 들어 그들은 사용자의 행동을 이해하기 위해서 소프트웨어로 사용자의 참여 수준과 사용 패턴을 정량화하길 원했습니다. 대부분의 빅데이터셋과 마찬가지로 Freightos의 데이터셋 역시 로컬 처리를 위해 다운로드하기란 거의 불가능했습니다.
화물 업계에서는 공급과 수요의 변화, 연료 가격의 변동에 따라 경로와 가격이 시간 단위로 바뀔 수 있습니다. 이러한 변화에 보조를 맞추기 위해 Freightos는 실시간에 가까운 성능이 필요했습니다. 또한 외부 소스의 데이터는 그 형식과 품질이 제각기 다릅니다. Freightos는 자사 BigQuery 데이터의 서브셋에 효율적으로 액세스하고 신속하게 데이터를 정리하고 고급 분석을 실행하고 결과를 시각화해야 했습니다.
솔루션
Freightos의 분석가들은 MathWorks Consulting Services와 협력하여 빅데이터 분석을 위해 MATLAB을 Google BigQuery와 통합했습니다.
이들은 BigQuery로부터 데이터를 추출해서 MATLAB으로 가져오기 위한 자동화된 접근법을 공동으로 개발했습니다. 이 접근법에서는 BigQuery에 대해 수행한 쿼리의 결과는 Google Cloud Storage로 내보낸 후 MATLAB으로 다운로드해서 액세스합니다.
Freightos는 대부분의 데이터를 외부 데이터 제공업체, 타사 수송업체, 화물 운송 대행사 등의 외부 소스에 크게 의존하므로 분석가들은 분석에 앞서 쿼리 결과를 정리해야 합니다. 이 팀은 MATLAB으로 작업하면서 데이터의 이상값을 식별 및 교정하는 스크립트를 개발했습니다.
이들은 Statistics and Machine Learning Toolbox™를 사용하여 정리된 데이터를 대상으로 복잡한 통계 분석을 수행했습니다. 한 분석에서는 다양한 영업 팀, 회사 및 배송 모드에 따른 화물 가격의 변동을 파악하기 위해 각각 30개 이상의 열이 포함된 120,000행의 화물 견적을 평가했습니다. 마케팅 부서가 주도한 또 다른 분석에서는 가장 일반적인 출발지와 도착지를 탐색하고 그 결과를 트리맵에 자동으로 플로팅했습니다.
Freightos와 MathWorks 컨설턴트들은 MATLAB에서 작업하면서 분석 결과를 더 정확히 이해하기 위해 산점도 플롯, 트리맵 및 기타 시각화를 생성했습니다. 또한 분석 결과를 사용하여 Freightos의 고위 경영진이 의사 결정을 내리고 마케팅 전략을 수립하도록 돕는 리포트도 생성했습니다.
현재 Freightos는 MATLAB과 BigQuery를 사용하여 BigQuery 데이터의 최신 요율 및 경로를 기반으로 하는 동적 인덱스를 개발하고 있습니다. 이 인덱스는 앞으로 중국의 주요 도시에서 북미의 주요 도시로의 운송 비용을 정확히 추정하는 데 큰 도움이 될 것입니다.
Freightos는 Statistics and Machine Learning Toolbox의 머신러닝 알고리즘을 사용하여 미래의 인덱스 가격을 예측할 계획입니다.
결과
- 몇 시간이 아닌 몇 분 안에 분석 완료: Freightos의 데이터 분석가인 Leonid Hatskin은 “MATLAB과 BigQuery의 통합으로 인해 전체 데이터 풀을 대상으로 한 분기별 리포트처럼 큰 리포트도 10분이면 완성됩니다.”라고 말합니다. “과거에는 최소한 하루가 꼬박 걸리는 일이었습니다. MATLAB 덕분에 데이터 팀은 매월 하루 이상의 업무 시간을 아낄 수 있게 되었습니다.”
- 신속한 BigQuery 통합 구현: Buchman은 “MathWorks Consulting에 BigQuery 통합 지원을 요청하자 담당자가 제대로 된 지원을 정말 신속히 제공했습니다.”라고 말합니다. “MATLAB은 원래부터 우리에게 매우 유용한 툴이었는데, 이 지원으로 이제 대체 불가능한 툴이 되었습니다.”
- 20배 더 빠른 인사이트 확보: Buchman은 “MATLAB과 BigQuery를 사용했더니 인사이트 확보 시간이 이전 접근법보다 20배나 빨라졌습니다.”라고 말합니다. “이에 따른 출시 시간 개선 효과는 값을 매길 수 없습니다.”
