Researcher seminar in EVISOFT project, 18-19 April 2007, Kongsvoll

Tidspunkt: 18. april 2007 kl 10:00 til 19. april 2007 kl 16:00.

Sted: Kongsvoll fjellstue, www.kongsvoll.no??

Deltakere: "Bente Anda" , "Dag Sjberg" , "Erik Arisholm" , "Geir Kjetil Hanssen" , "Hans Westerheim" , "Nils Brede Moe" , "Nina Elisabeth Holt" , "Reidar Conradi" , "Tor Erlend Fgri" , "Tore Dyb" , "Torgeir Dingsyr" , "Tor Stlhane" , "Tor Ulsund"

Hei,

EVISOFT inviterer til 2-dagers forskersamling p Kongsvold fjellstue.

Her kommer revidert program. Ytterligere justeringer tar vi underveis. Den enkelte m vre OBS p sine oppgaver. Velkommen!

Agenda:

ONSDAG 18. APRIL

12:00 Lunsj

13:15 Velkommen ved Tor U.

13:20 Datafangst/mling: Hva kan vi automatisk fange av data, hvordan vi gjr det og hva vi kan bruke det til. Mulige eksempler: Telenor (feildata) og Firm (Zorro). Torgeir og Nils innleder. Nils fasiliterer diskusjonen.

17:00 Slutt for dagen, uformelle aktiviteter/samtaler
(regner med at det fortsatt er muligheter for g p ski - fjellski anbefales)

20:00 Middag

TORSDAG 19. APRIL

08:00 Frokost

09:00 Analyse av kvalitative data:

  • Hvordan strukturer vi for eksempel en kvalitativt orientert artikkel basert p Grounded Theory slik at vi fr den akseptert (basert p editorial statements i Academy of Management Journal, som har 10% akseptanserate) og hvordan gjr vi analysene i praksis? Mulige eksempler p det siste: pgende analysearbeid med bruk av NVivo7. Se to lederartikler fra dettte tidsskriftet Gepharts "Editor's Note" fra 2004 om kvalitative studier og Suddabys "Editor's Note" fra 2006 om Grounded Theory og Tore og Dag forbereder innlegg. Dag fasiliterer diskusjonen.
    • Kvalitative emtoder har like strenge kvalitetskrav til utfrelse som kvantitative metoder.
    • Grounded Theory krever ikke bare dataanalyse (ofte tekstanalyse), men ogs etterflgende teoribygging.
    • Informatikkforskere har ofte liten trening i kvalitative metoder, se f.eks. Carolyn B. Seaman: "Qualitative Methods in Empirical Studies of Software Engineering", IEEE Transactions on Software Engineering, 25(4):557-572, July/Aug. 1999.
    • 2. ...

    10:45 Kaffepause

    11:00 Hvor mye sparte Telenor i kroner/timer ved bruke en feilprediksjonsmodell for fokusert enhetstesting i forbindelse med "COS22"-releasen?. Estimatene er basert p Monte Carlo simuleringer som tar utgangspunkt i ekspertvurderinger rundt feilene som ble funnet, kombinert med prosessdata. Erik presenterer og ber om tilbakemeldinger.

    • Systemet har 4000 klasser, og feil funnet ved enhetstest i 600 av disse, i alt ?? feil.
    • Ved ekstra grundig enhetstest ut fra 25 "kompleksitets-utvalgte" klasser fant man 7 ekstra feil med to ukeverks innsats. Grundig enhetstest betyr her utfre alle veier i alle klasse-metodene enten 0, 1, eller N ganger - skalt "full path coverage". Reidar: Her trenger man en tilfeldig utvalgt testgruppe av 25 klasser for kunne si noe som helst om effekt.
    • Telenor mangler presise estimater p feilkostader, og Erik prver via et sprreskjema f utviklerne til ansl kostnader p tidligere oppdagete feil, da slike feilkostnader ikke har vrt systematisk regisrtert.
    • Reidar: Kostnadsmodellen virker alt for fingranulr og kompleks. Ta heller gjennomsnittlig feilkostnad (kostnad ved lage og kjre en test, samt pvise, lokalisere og rette assosierte feil) hhv. fr enhetstest, i enhetstest, i systemtest og under drift. Disse fire kostnadene vil vre monotont voksende, og for sistnevnte m man vel ogs ta "skadekostnad" i betraktning. Siden man kjenner fordelingen av oppdagete feil p livssykuklus-fasene ovenfor kan ulike slags gjrnnomsnittskostnader beregnes. Men hva med feiltype og alvorlighetsgrad - registreres slikt, da det antakelig har stor effekt p feilkostnadene?
    • Reidar: Strst gevinst fs ved unnlate enhetsteste klasser uten "enhetstest"-feil, dvs. 85% av klassene!? Og ved grundig inspeksjon trenger man ofte ikke enhetstesting, og dette koster ca. ett timeverk per feil oppdaget.

    12:00 Lunsj

    13:00 Dataanalyse: analyseteknikker, datavaliditet, kausalitet vs. korrelasjon.

    Tor S. innleder. Reidar fasiliterer diskusjonen.

    • Tor S.: Korrelasjon, selv med lav p-verdi (0,001-0,05), er ikke det samme som kausalitet; korrelasjoner uttrykker kun samvariasjon. Hvis f.eks. variablene X og Y korrelerer godt (f.eks. korrlasjon p > 0.8), kan enten X vre "rsak" til Y, eller omvendt. Eller det kan vre en tredje variabel Z som pvirker bde X og Y, eller det vre ytterligere variable som virker inn.
      Her m vi bde ske etter dypere forklaringer (kausale lovmessigheter) f.eks. via kvalitative intervjuer, eller vi kan evt. lage et formelt eksperiment for "manipulere" mer eksplisitt med variablene X, Y og Z. +??
    • Selv lave korrelasjonsverdier (0.2-0.5) blir signifikante med meget store utvalg (f.eks. N > 100 000).
    • Tor S.: For drfte signifikans, m vi ikke minst bruke effektstrrelse (ES), ikke bare p-verdi. ES er definert ved ??
    • Tor S.: For kt datakvalitet (intern validitet) m vi ikke stille (utilsiktede) "ledende" sprsml ... "Positive" sprsml som at "X har egenskap E" fr gjerne hyere skr enn "negative" sprsl som at "X ikke har egenskap E".??

        14:30 Oppsummering, avslutning.

        • Lrerikt.
        • Hvordan dokumentere diskusjonen - dette notatet!

        Mvh Tor, og Reidar som arkivar og referent i ettertid.

        This file: http://www.idi.ntnu.no/grupper/publ/ese/kongsvoll-seminar-18apr07.html


        Reidar Conradi
        Last modified: Thu May 24 12:54:11 MEST 2007