Specifična statistička analiza eksperimentalnih podataka slijedi postupak od četiri-koraka: "Kompletno bilježenje neobrađenih podataka → Ručno označavanje i klasifikacija → Izračun osnovnih pokazatelja → Provjera značajnosti." Svaki korak je praktičan i osigurava rigorozne i pouzdane statističke rezultate:
Korak 1: Dovršite snimanje neobrađenih podataka (bez gubitka podataka)
Nakon što eksperiment započne, svaka se podatkovna točka bilježi u sljedećem formatu. Preporučljivo je izvesti ga kao CSV/Excel tablicu:
Tablica Snimanje vremena Faza procesa SenzorA Neobrađena vrijednost SenzorB Neobrađena vrijednost Algoritam Odstupanje izlaza Alarm pokrenut Napomene (ručno označavanje)
2026-xx-xx xx:xx Injekcija 12.352 12.358 0.006 Da Prava greška/Lažni alarm
Pravila snimanja:
Kad god algoritam aktivira alarm, on mora biti snimljen 100% bez izostavljanja;
Tijekom normalne proizvodnje bez alarma, potrebno je samo jednom svaki sat zabilježiti podatke o odstupanju (za naknadne 3σ statistike, nema potrebe za pohranjivanjem svih podataka);
Tijekom testiranja simulacije kvara, vrijeme ubrizgavanja kvara treba se zabilježiti odvojeno za izračun kašnjenja odgovora.
Korak 2: Ručna klasifikacija (razlikovanje pravih od lažnih alarma)
Nakon što su svi zapisi alarma dovršeni, ručno ih klasificirajte jedan po jedan:
|
Vrsta alarma |
Kriteriji prosudbe |
|
Pravi alarm (TP) |
Postoji stvarna greška senzora/odstupanje pri instalaciji/prekoračenje tolerancije (potvrđeno nakon zamjene i verifikacije) ili je stvarna greška ručno unesena. |
|
Lažna uzbuna (FP) |
Alarm se aktivirao isključivo zbog smetnji/fluktuacija, iako su senzor i instalacija normalni. |
|
Propušteni alarm (FN) |
Postoji stvarna greška (ručno unesena ili stvarno potvrđena), ali algoritam nije aktivirao alarm. |
Napomena: Za propuštene alarme potrebno je računati samo "poznate izvorne greške"; slučajeve bez grešaka nije potrebno brojati. Jednostavno izbrojite "broj puta kada poznata greška nije pokrenula alarm."
Korak 3: Kvantitativni izračun osnovnih pokazatelja
Izračunajte četiri ključna pokazatelja pomoću sljedećih formula i izravno usporedite rezultate:
1. Stopa lažnih uzbuna (većina jezgri)
Stopa lažnih alarma=ukupnih alarma (TP + FP) / lažnih alarma (FP) × 100%
Primjer: ukupno 20 alarma, od kojih su 3 bila lažna alarma, stopa lažnih alarma=3/20=15%
2. Stopa lažnih uzbuna
Stopa lažnih alarma=Ukupno stvarnih grešaka (TP + FN) / lažnih alarma (FN) × 100%
Primjer: ubačeno je 10 stvarnih grešaka, 0 su bili lažni alarmi, stopa lažnih alarma=0%
3. Prosječna odgoda odgovora
Za svaki stvarni alarm, izračunajte vrijeme alarma - vrijeme pojavljivanja greške da dobijete odgodu jednog-pokušaja. Zatim uzmite prosjek svih kašnjenja-pokušaja kako biste dobili prosječno kašnjenje odgovora.
4. Dugoročna -stabilnost (stopa promjene stope lažnog alarma)
Stopa promjene stope lažnih alarma=|Stopa lažnih alarma nakon 3 mjeseca - Početna stopa lažnih alarma|
Primjer: početna stopa lažnog alarma 2%, stopa lažnog alarma nakon 3 mjeseca 2,8%, stopa promjene=0.8%, zadovoljava odličan standard
Korak 4: Provjera značajnosti rezultata (izbjegavanje nasumičnih pogrešaka)
Ako razlika između dvije skupine stope lažnih uzbuna nije značajna, upotrijebite hi-kvadrat test da provjerite je li razlika nasumična:
Izračunajte vrijednost hi-kvadrat. Ako je p < 0,05, to znači da je smanjenje stope lažnih alarma optimiziranog algoritma stvarno i učinkovito, a ne slučajna fluktuacija; ako je p > 0,05, to znači da razlika nije značajna, te je potrebno produljiti razdoblje testiranja prije daljnje statistike.
Ako niste upoznati s testom hi-kvadrat, možete izravno pogledati "postotak smanjenja stope lažnih alarma": Ako je stopa lažnih alarma optimiziranog algoritma smanjena za Veće ili jednako 60% u usporedbi s izvornim algoritmom, može se utvrditi da je izvedba bolja i dovoljna za inženjerske scenarije.
