Högskolan i Skövde

his.sePublikationer
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • apa-cv
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
The impact of task specification on code generated via ChatGPT
Högskolan i Skövde, Institutionen för informationsteknologi.
Högskolan i Skövde, Institutionen för informationsteknologi.
Högskolan i Skövde, Institutionen för informationsteknologi.
2023 (Svenska)Självständigt arbete på grundnivå (kandidatexamen), 20 poäng / 30 hpStudentuppsats (Examensarbete)
Abstract [en]

ChatGPT has made large language models more accessible and made it possible to code using natural language prompts. This study conducted an experiment comparing prompt engineering techniques called task specification and investigated their impacton code generation in terms of correctness and variety. The hypotheses of this study focused on whether the baseline method had a statistically significant difference in code correctness compared to the other methods. Code is evaluated using a software requirement specification that measures functional and syntactical correctness. Additionally, code variance is measured to identify patterns in code generation. The results show that there is a statistically significant difference in some code correctness criteria between the baseline and the other task specification methods, and the code variance measurements indicate a variety in the generated solutions. Future work could include using another large language model; different programming tasks andprogramming languages; and other prompt engineering techniques.

Ort, förlag, år, upplaga, sidor
2023. , s. 60, 29
Nyckelord [en]
Code generation, task specification, prompt engineering, ChatGPT, human evaluation, code similarity
Nationell ämneskategori
Systemvetenskap, informationssystem och informatik med samhällsvetenskaplig inriktning
Identifikatorer
URN: urn:nbn:se:his:diva-22866OAI: oai:DiVA.org:his-22866DiVA, id: diva2:1776870
Ämne / kurs
Informationsteknologi
Utbildningsprogram
Datavetenskap - inriktning systemutveckling, 180 hp
Handledare
Examinatorer
Tillgänglig från: 2023-06-28 Skapad: 2023-06-28 Senast uppdaterad: 2023-06-28Bibliografiskt granskad

Open Access i DiVA

fulltext(3538 kB)790 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 3538 kBChecksumma SHA-512
77da424870a337c7b97dce6a325cb0d64799d6df1fa35e29adaa380733a2082eff2bb3964284c8557d55dd50b96cba22db35547d85650315efed5824cd2e7e3e
Typ fulltextMimetyp application/pdf

Av organisationen
Institutionen för informationsteknologi
Systemvetenskap, informationssystem och informatik med samhällsvetenskaplig inriktning

Sök vidare utanför DiVA

GoogleGoogle Scholar
Totalt: 790 nedladdningar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

urn-nbn

Altmetricpoäng

urn-nbn
Totalt: 862 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • apa-cv
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf