Högskolan i Skövde

his.sePublications
Planned maintenance
A system upgrade is planned for 24/9-2024, at 12:00-14:00. During this time DiVA will be unavailable.
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • apa-cv
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Assessing Instructions in Augmented Reality for Human-Robot Collaborative Assembly by Using Demonstrators
University of Skövde, School of Engineering Science. University of Skövde, The Virtual Systems Research Centre. (Production and automation engineering)ORCID iD: 0000-0001-9512-7554
University of Skövde, School of Engineering Science. University of Skövde, The Virtual Systems Research Centre. (Production and automation engineering)ORCID iD: 0000-0003-3973-3394
Volvo Car Corporation, Skövde, Sweden.
KTH Royal Institute of Technology, Kungliga Tekniska högskolan, Stockholm.ORCID iD: 0000-0001-8679-8049
2017 (English)In: Procedia CIRP, E-ISSN 2212-8271, Vol. 63, p. 89-94Article in journal (Refereed) Published
Abstract [en]

Robots are becoming more adaptive and aware of their surroundings. This has opened up the research area of tight human-robot collaboration,where humans and robots work directly interconnected rather than in separate cells. The manufacturing industry is in constant need ofdeveloping new products. This means that operators are in constant need of learning new ways of manufacturing. If instructions to operatorsand interaction between operators and robots can be virtualized this has the potential of being more modifiable and available to the operators.Augmented Reality has previously shown to be effective in giving operators instructions in assembly, but there are still knowledge gapsregarding evaluation and general design guidelines. This paper has two aims. Firstly it aims to assess if demonstrators can be used to simulatehuman-robot collaboration. Secondly it aims to assess if Augmented Reality-based interfaces can be used to guide test-persons through apreviously unknown assembly procedure. The long-term goal of the demonstrator is to function as a test-module for how to efficiently instructoperators collaborating with a robot. Pilot-tests have shown that Augmented Reality instructions can give enough information for untrainedworkers to perform simple assembly-tasks where parts of the steps are done with direct collaboration with a robot. Misunderstandings of theinstructions from the test-persons led to multiple errors during assembly so future research is needed in how to efficiently design instructions.

Place, publisher, year, edition, pages
Elsevier, 2017. Vol. 63, p. 89-94
Keywords [en]
Augmented Reality, Human Robot Collaboration, Assembly
National Category
Robotics
Research subject
Production and Automation Engineering; INF201 Virtual Production Development
Identifiers
URN: urn:nbn:se:his:diva-14023DOI: 10.1016/j.procir.2017.02.038ISI: 000418465500015Scopus ID: 2-s2.0-85028641292OAI: oai:DiVA.org:his-14023DiVA, id: diva2:1135252
Conference
The 50th CIRP Conference on Manufacturing Systems, Taichung City, Taiwan on May 3rd – 5th, 2017
Projects
SYMBIO-TIC
Note

CC BY-NC-ND 4.0

Edited by Mitchell M. Tseng, Hung-Yin Tsai, Yue Wang

Available from: 2017-08-22 Created: 2017-08-22 Last updated: 2024-09-04Bibliographically approved
In thesis
1. Augmented reality smart glasses as assembly operator support: Towards a framework for enabling industrial integration
Open this publication in new window or tab >>Augmented reality smart glasses as assembly operator support: Towards a framework for enabling industrial integration
2020 (English)Licentiate thesis, comprehensive summary (Other academic)
Alternative title[sv]
Smarta AR-glasögon som monteringsoperatörsstöd : Mot ett ramverk för att möjliggöra industriell integrering
Abstract [en]

Operators are likely to continue to play an integral part in industrial assembly for the foreseeable future. This is in part because increasingly shorter life-cycles and increased variety of products makes automation harder to achieve. As technological advancements enables greater digitalization, the demands for increased individual designs of products increases. These changes, combined with a global competition, does put an increasing strain on operators to handle large quantities of information in a short timeframe. Augmented reality (AR) has been identified as a technology that can present assembly information to operators in an efficient manner. AR smart glasses (ARSG) is an implementation of AR suitable for operators since they are hands-free and can provide individual instructions in the correct context directly in their real work environment. There are currently early adopters of ARSG in production within industry and there are many predictions that ARSG usage will continue to grow. However, to fully integrate ARSG as a tool among others in a modern and complex factory there are several perspectives that a company need to take into consideration. This thesis investigates both the operator perspective and the manufacturing engineering perspective to support industry in how to make the correct investment decisions as regards to ARSG.

The aim of this licentiate thesis is to provide a basis for a framework to enable industry to choose and integrate ARSG in production as a value adding operator support. This is achieved by investigating the theoretical basis of ARSG related technology and its maturity as well as the needs operators have in ARSG for their usage in assembly. The philosophical paradigm that is followed is that of pragmatism. The methodology used is design science, set in the research paradigm of mixed methods. Data has been collected through experiments with demonstrators, interviews, observations, and literature reviews. This thesis provides partial answers to the overall research aim.

The thesis shows that the topic is feasible, relevant to industry, and a novel scientific contribution. Observations, interviews, and a literature review gave an overview of the operator perspective. Some highlights from the results are that operators are willing to work with ARSG, that operators need help in unlearning old tasks as well as learning new ones, and that optimal weight distribution of ARSG is dependent on the operators’ head-positioning. Highlights from the preliminary findings for the manufacturing engineering perspective include a general lack of standards for AR as regards vertical industrial application, improved tools for faster instruction generation, and large variations in specifications of available ARSG.

Future work includes a complete answer to the manufacturing engineering perspective as well as combining all the results to create a framework for ARSG integration in industry.

Abstract [sv]

Operatörer kommer sannolikt fortsätta att vara en integral del av industriell montering inom en överskådlig framtid. Detta beror delvis på allt kortare livscykler och ökad variation på produkter gör det svårare att automatisera produktionen. Samtidigt som tekniska framsteg möjliggör mer digitalisering så ökar efterfrågan på individuellt designade produkter. De här förändringarna, i kombination med en global konkurrens, skapar en ökad press på operatörer att hantera stora mängder information inom en kort tidsram. Förstärkt verklighet (förkortat AR från engelska ”augmented reality”) har identifierats som en teknologi som effektivt kan presentera monteringsinstruktioner för operatörer. Smarta AR glasögon (förkortat ARSG från engelska ”AR smart glasses”) är en implementering av AR som är lämplig för operatörer eftersom de inte behöver använda sina händer för att bära dem och för att de kan presentera individuella instruktioner i rätt kontext direkt i deras verkliga arbetsmiljö. Det finns industriföretag som redan har börjat använda ARSG i produktion och det finns många förutsägelser om att ARSG kommer fortsätta att växa. För att kunna fullt integrera ARSG som ett bland många verktyg i en modern och komplex fabrik så måste dock ett företag ta hänsyn till ett flertal perspektiv. Den här avhandlingen undersöker både operatörs-perspektivet och beredningsperspektivet för att stödja industrins investeringsbeslut rörande ARSG.

Målet med den här licentiatavhandlingen är att bidra med en grund för ett ramverk som kan möjliggöra för industrin att välja, integrera och underhålla ARSG i produktion som ett värdeskapande operatörsstöd. Det här åstadkoms genom att undersöka den teoretiska grunden för ARSG-relaterad teknologi och dess mognad och även operatörernas behov i ARSG när de används i montering. Det filosofiska paradigm som har följts är pragmatism. Metodologin som har används är designvetenskap, kopplat till forskningsparadigmet blandade metoder. Data har samlats in genom demonstratorexperiment, intervjuer, observationer och litteraturstudier. Den här avhandlingen ger partiellt svar till det övergripande forskningsmålet.

Avhandlingen visar att ämnet är möjligt att genomföra, relevant för industrin och ett originellt vetenskapligt bidrag. Observationer, intervjuer och en litteraturstudie gav en översikt av operatörsperspektivet. Några exempel från resultaten att lyfta fram är att operatörer är villiga att arbeta med ARSG, att operatörer behöver hjälp med att avlära sig gamla uppgifter såväl som att lära sig nya och att den optimala viktspridningen av ARSG beror på operatörernas huvudpositionering. Bland de preliminära resultaten från beredningsperspektivet inkluderas en generell avsaknad av standarder för AR gällande vertikala industriella tillämpningar, förbättrade verktyg för instruktionsskapande som stödjer snabbare instruktionsgenerering och stora variationer gällande specifikationer i tillgängliga ARSG.

Framtida arbete inkluderar ett komplett svar till beredningsperspektivet samt att kombinera alla resultaten för att skapa ett ramverk för ARSG integration i industrin.

Place, publisher, year, edition, pages
Skövde: University of Skövde, 2020. p. 55
Series
Dissertation Series ; 37
National Category
Computer Systems Production Engineering, Human Work Science and Ergonomics
Research subject
Production and Automation Engineering
Identifiers
urn:nbn:se:his:diva-19339 (URN)978-91-984919-1-3 (ISBN)
Presentation
2021-01-14, ASSAR Industrial Innovation Arena, Skövde, 13:00 (English)
Opponent
Supervisors
Note

PUBLICATIONS WITH LOWER RELEVANCE

1. Holm, M., Danielsson, O., Syberfeldt, A., & Moore, P. (2017). Adaptive instructions to novice shop-floor operators using augmented reality. Journal of Industrial and Production Engineering, 34, 362-374.

2. Syberfeldt, A., Danielsson, O., & Gustavsson, P. (2017). Augmented Reality Smart Glasses in the Smart Factory: Product Evaluation Guidelines and Review of Available Products. IEEE Access, 5, 9118-9130.

3. Syberfeldt, A., Danielsson, O., Holm, M., & Wang, L. (2016). Dynamic operator in-structions based on augmented reality and rule-based expert systems. Proceedings of the 48thCIRP Conference on Manufacturing Systems, 41, 346-351.

4. Syberfeldt, A., Holm, M., Danielsson, O., & Wang, L. (2016). Support systems on the industrial shop-floors of the future: operators’ perspective on augmented reality. 6th CIRP Conference on Assembly Technologies and Systems, 44, 108-113.

5. Syberfeldt, A., Holm, M., Danielsson, O., & Wang, L. (2015). Visual Assembling Guidance Using Augmented Reality. Procedia Manufacturing, 1, 98-109.

6. Syberfeldt, A., Danielsson, O., Holm, M., & Ekblom, T. (2014). Augmented Reality at the Industrial Shop-Floor. Augmented and Virtual Reality, 1, 201-209.

Available from: 2021-01-20 Created: 2020-12-21 Last updated: 2021-01-20Bibliographically approved
2. Augmented reality smart glasses as assembly operator support: A framework for enabling industrial integration
Open this publication in new window or tab >>Augmented reality smart glasses as assembly operator support: A framework for enabling industrial integration
2022 (English)Doctoral thesis, comprehensive summary (Other academic)
Abstract [en]

Manufacturing industry is seeing vast improvements in productivity and flexibility as the fourth industrial revolution continues to unfold. However, despite improved computation and automation capacity, there is still a role for operators to play in Industry 4.0, mirrored in the concept of Operator 4.0. Improved productivity and a more competitive global market have contributed to increasing manufacturing complexity, putting greater cognitive demands on operators. A technology that can support operators in this new manufacturing landscape is augmented reality (AR), specifically, headworn AR smart glasses (ARSG). With ARSG, operators can receive information interactively in real time, hands free and overlying their natural environment. ARSG are an emerging technology that is becoming more mature; there are early examples of their use in manufacturing industry, but ARSG are not yet widespread.

Because ARSG are an emerging technology, there is still uncertainty as to how ARSG can be integrated, like other production equipment, in assembly lines. When current literature was analyzed, it was found that there is a need for more knowledge particularly from the manufacturing engineering perspective of practically integrating ARSG on the industrial shop floor in the long term. This thesis therefore aims to create a framework that supports industry in making strategic and practical decisions about integrating ARSG in production as an assembly operator support tool. The framework is designed to guide industrial decision makers in evaluating the suitability of ARSG as support in an assembly station and, further to offer specific recommendations and rationales for actions to take. It has two main perspectives: the operators using the ARSG and the manufacturing engineers conducting the integration into the production systems. The framework was iteratively developed, using design science combining qualitative and quantitative methods into mixed methods. Three research questions were developed and answered as steps toward creating and evaluating the framework.

The results of the thesis show that ARSG integration should be considered in relation to the investment cost and efficiency gains. For instance, ARSG requires the digitalization of assembly instructions before it can be feasible. If operators are mostly stationary when working and have little need for spatial guidance, there might be cheaper alternatives to ARSG, such as monitors or pick-by-light, that merit prior consideration. The framework has been developed and tested iteratively with industrial experts from different fields, with the initial strawman design based on three literature reviews and previous research.

Abstract [sv]

Tillverkningsindustrin ser omfattande förbättringar i produktivitet och flexibilitet när den fjärde industriella revolutionen fortsätter att vecklas ut. Men trots förbättrad beräknings- och automationskapacitet så finns det fortfarande en roll för operatörer i Industri 4.0, vilket speglas i konceptet Operatör 4.0. Ökad produktivitet och mer konkurrens på en global marknad har bidragit till att öka tillverkningens komplexitet och de kognitiva krav som sätts på operatörer. En teknologi som kan stödja operatörer i det nya produktionslandskapet är förstärkt verklighet (engelska ”augmented reality, AR), specifikt den huvudburna varianten i formen av smarta AR glasögon (ARSG). Med ARSG kan operatörer ta emot information interaktivt, i realtid, överlagt på deras verkliga miljö och utan att behöva använda händerna. ARSG är en framväxande teknologi som blir alltmer mogen och det finns tidiga exempel på där de används inom tillverkningsindustrin; men ARSG är ännu inte vitt spridda.

I och med att ARSG är en framväxande teknologi så finns det fortfarande osäkerhet kring hur ARSG kan integreras likt annan produktionsutrustning i monteringslinjer. När den aktuella litteraturen analyserades så identifierades det ett behov av mer kunskap relaterat speciellt till beredningsperspektivet, att praktiskt integrera ARSG på industrigolvet i ett långt perspektiv. Målet med den här avhandlingen är därför att skapa ett ramverk som stödjer industrin i strategiska och praktiska beslut i integrering av ARSG i produktion som ett stödverktyg för monteringsoperatörer. Ramverket är designat för att vägleda industriella beslutsfattare i utvärderingen av lämpligheten av ARSG som stöd i en monteringsstation och att vidare ge specifika rekommendationer och motiveringar för handlingar att utföra. Det har två huvudperspektiv, operatörerna som använder ARSG och beredarna som utför integrationsarbetet in i produktionssystemen. Ramverket utvecklades iterativt genom användande av designvetenskap och kombinerandet av kvalitativa och kvantitative metoder till blandade metoder. Tre forskningsfrågor utvecklades och besvarades som steg mot att skapa och utvärdera ramverket.

Resultaten från avhandlingen visar att ARSG integrering ska övervägas i relation till kostnaden för investeringen och den ökade effektiviteten. Till exempel kräver ARSG digitaliserade instruktioner för att kunna användas. Om operatörer främst är stationära och har litet behov av spatial vägledning så kan det finnas billigare alternativ till ARSG, som bildskärmar eller ”pick-by-light,” som först ska övervägas. Ramverket har utvecklats och testats iterativt med industriella experter from olika områden och med en initial halmgubbedesign baserad i tre litteraturstudier och tidigare forskning.

Place, publisher, year, edition, pages
Skövde: University of Skövde, 2022. p. xix, 101, [67]
Series
Dissertation Series ; 48
National Category
Computer and Information Sciences Production Engineering, Human Work Science and Ergonomics Human Computer Interaction
Research subject
Production and Automation Engineering
Identifiers
urn:nbn:se:his:diva-22635 (URN)978-91-987906-2-7 (ISBN)
Public defence
2022-09-16, ASSAR Industrial Innovation Arena, Skövde, 10:00 (English)
Opponent
Supervisors
Available from: 2023-06-07 Created: 2023-06-01 Last updated: 2023-06-07Bibliographically approved

Open Access in DiVA

fulltext(610 kB)249 downloads
File information
File name FULLTEXT01.pdfFile size 610 kBChecksum SHA-512
0b3db775421cdfb5994af42c317e2805893966ab6692dce2e4132c677e9ad07b1948d1cb27ffa54e805a3b1f5093e9fb6d270a3014c17095da20a76bb9f99390
Type fulltextMimetype application/pdf

Other links

Publisher's full textScopus

Authority records

Danielsson, OscarSyberfeldt, AnnaWang, Lihui

Search in DiVA

By author/editor
Danielsson, OscarSyberfeldt, AnnaWang, Lihui
By organisation
School of Engineering ScienceThe Virtual Systems Research Centre
In the same journal
Procedia CIRP
Robotics

Search outside of DiVA

GoogleGoogle Scholar
Total: 249 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

doi
urn-nbn

Altmetric score

doi
urn-nbn
Total: 1265 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • apa-cv
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf