Högskolan i Skövde

Denna studie undersöker 18 kombinationer av konfigurationer för konsumenthårdvara i flödet för lokal Retrieval-Augmented Generation’s (RAG) påverkan på tids-, prestanda- och kvalitetsmått. Dessa konfigurationer inkluderar varierad semantisk koncentration av dokument, vektorinbäddningsmodeller och språkmodeller. Datamängden som används kommer från ett ärendehanteringssystem för ett open-source-projekt och ger insikter om teknikens användbarhet som hjälpmedel för systemutvecklare.

Frågeställningen som ämnas besvaras lyder ”Vad karaktäriserar ett effektivt och användbart lokalt RAG-flöde för ärendehantering?”

Den använda metoden är en experimentstudie där en mängd frågor, som skapats över källmaterialet, låts besvaras av samtliga kombinationer av konfigurationer. Att mäta både tidsåtgång, prestanda och kvalitetsmått skapar en nyanserad bild av effektivitets-begreppet där flera betydande aspekter tas i beaktande.

Studiens primära fynd är vikten av noggrant genomförd testning innan driftsättning och fullskalig implementation av RAG-flöden, eftersom valet av konfiguration är avgörande för effektiviteten. Semantisk koncentration i flödets datakällas dokument visar föga fördelar med att avvika från rekommenderat värde, även lokalt. Genom att välja rätt vektorinbäddningsmodell kan tid och datorkraft sparas in beroende på hur ofta ett tänkt slutgiltigt system förbehandlar data. Språkmodellen är flödets mest avgörande komponent och källdatan har omfattande påverkan på dess effektivitet. För denna studies datamängd presterar språkmodellen med minst parameterstorlek mest effektivt. Arbetet med studien har inte bara resulterat i mönster kring konfiguration, men också en kodbas som går att återanvända till tester för andra datamängder och konfigurationer för att bredda kunskapen kring lokal RAG ytterligare.