Högskolan i Skövde

The physical retail sector faces challenges in improving operational efficiency, reducing costs, and enhancing customer experience. Over the past decade, companies have introduced product recognition technology solutions to improve checkout efficiency, inventory management, and fraud detection. However, most initiatives have struggled to scale or achieve sufficient accuracy due to the complex nature of physical retail, which includes a large number of products that continuously change, as well as varied environmental conditions. In parallel, academic research has tackled many of these challenges by providing datasets and new methods to improve recognition performance, but considerable challenges persist.

This thesis addresses three main challenges in grocery product recognition: robust recognition, recognition of visually similar products, and domain adaptation between different retail systems. To address these challenges, the work centers on the use of Optical Character Recognition (OCR) to extract textual information found on product packaging for product recognition. With extensive experiments and the creation of a dataset, the results show that OCR-based methods for product recognition can improve recognition robustness, enable more accurate differentiation between similar products, and also work across different retail systems.

Therefore, the main contribution of this thesis is the development and validation of these OCR text-based methods and approaches, specifically designed to address the requirements in physical retail.

Den fysiska detaljhandeln står inför utmaningar med att förbättra den operativa effektiviteten, sänka kostnader och stärka kundupplevelsen. Under det senaste decenniet har företag introducerat lösningar baserade på produktigenkänningsteknik för att effektivisera kassaprocesser, förbättra lagerhantering och upptäcka bedrägerier. De flesta initiativ har dock haft svårt att skala upp eller uppnå tillräcklig noggrannhet på grund av detaljhandelns dynamiska natur, som kännetecknas av ett stort och ständigt föränderligt produktsortiment samt skiftande butiksmiljöer. Parallellt har akademisk forskning adresserat många av dessa utmaningar genom att tillhandahålla datamängder och nya metoder för att förbättra igenkänningsprestandan, men betydande utmaningar kvarstår.

Denna avhandling adresserar tre huvudsakliga utmaningar inom produktigenkänning i dagligvaruhandeln: robust igenkänning, finmaskig igenkänning av visuellt liknande produkter samt domänanpassning mellan olika retailsystem. För att hantera dessa utmaningar fokuserar arbetet på att använda optisk teckenläsning (OCR) för att extrahera textinformation från produktförpackningar för produktigenkänning. Genom omfattande experiment och skapandet av en datamängd visar resultaten att OCR-baserade metoder kan förbättra robustheten i igenkänningen, möjliggöra mer noggrann differentiering mellan produkter samt fungera över olika retailmiljöer.

Avhandlingens huvudsakliga bidrag är utvecklingen och valideringen av metoder och tillvägagångssätt för produktigenkänning med text från OCR som möter de unika kraven inom den fysiska detaljhandeln.