Kako pravilno meriti tačnost RFID očitavanja

Zašto tačnost RFID čitanja često biva pogrešno shvaćena

Ako pitate pet različitih timova kako mere tačnost RFID čitanja, često ćete dobiti pet različitih odgovora, a najmanje tri od njih će biti obmanjujuća. Jedan tim će reći da njihov sistem čita 99 procenata RFID oznaka, što zvuči odlično dok ne pitate 99 procenata čega. Drugi tim će reći da je pilot bio uspešan jer je portal zahvatio gotovo svaku paletu tokom čistog testnog prozora, što vam malo govori o onome što se dešava u užurbanom ponedeljak ujutru. Treći tim će prijaviti hiljade uspešnih čitanja na sat, kao da sam obim dokazuje tačnost. To je zamka. Tačnost RFID čitanja zvuči kao jednostavna tehnička metrika, ali u stvarnim operacijama to je poslovni problem merenja prerušen u tehnički.

To je važno jer kompanije stalno donose skupe odluke na osnovu pogrešne logike o RFID tačnosti. One prerano odobravaju šire implementacije. Krive oznake kada je proces slab. Krive proces kada je zona čitanja pogrešna. Pretpostavljaju da jak rezultat ručnog brojanja znači jaku implementaciju portala. Porede performanse čitanja između slučajeva upotrebe koji nikada ne bi trebalo da se ocenjuju po istom standardu. Kada kupci pretražuju fraze poput RFID tačnost čitanja, kako meriti stopu RFID čitanja, testiranje RFID performansi, tačnost RFID sistema, merenje RFID pilota ili UHF RFID testiranje tačnosti, oni obično ne traže laboratorijsku definiciju. Žele da znaju kako meriti RFID onako kako bi to stvarno preduzeće trebalo da meri, tako da odgovor zaista pomogne da odluče šta popraviti, čemu verovati i šta proširiti.

Definišite poslovni događaj pre izračunavanja tačnosti

Prvo što treba razumeti jeste da tačnost čitanja nikada nije samo procenat. To je odnos između poslovnog događaja i onoga što je RFID sistem trebalo da otkrije u tom događaju. To zvuči apstraktno, ali to je srž celog pitanja. Ako paletu treba potvrditi pre utovara, tačnost znači da li je sistem ispravno identifikovao tu paletu u pravom trenutku i nije je pomešao sa nečim u blizini. Ako zaposleni u prodavnici broji teksas na jednom zidu, tačnost znači da li je čitač zahvatio artikle u predviđenoj zoni bez uvlačenja susednih zaliha koje ne bi trebalo brojati. Ako bolnički tim locira infuzione pumpe, tačnost znači da li im sistem pomaže da veruju gde se uređaj sada nalazi, a ne samo da li se oznaka može detektovati negde u zgradi.

Jedan modni trgovac je to naučio na teži način. Slavio je veoma jak RFID pilot na nivou artikla jer je sirova stopa čitanja na označenim odevnim predmetima izgledala odlično tokom popisa u prodavnici. Zatim je tim za e-trgovinu ukazao da otkazivanja kupovine onlajn sa preuzimanjem u prodavnici nisu opala onoliko koliko se očekivalo. RFID podaci nisu bili lažni, ali metrika je bila previše meka. Tim u prodavnici je merio da li su oznake čitljive tokom popisa. Biznis je zapravo trebalo da meri da li su metoda popisa i kontrola zone dovoljno tačne da poboljšaju pouzdanost zaliha za obećanja kupcima. Kada je trgovac promenio merenje sa širokog uspeha čitanja na operativnu tačnost zaliha u odabranim kategorijama, rezultat pilota je postao mnogo korisniji i mnogo manje laskav.

Merite slučaj upotrebe umesto celog sistema

To je prvo pravilo. Uvek definišite šta sistem treba da dokaže pre nego što izračunate broj. U suprotnom, broj će zvučati naučno i značiti gotovo ništa. Magacin koji verifikuje izlazne palete zahteva jednu vrstu mere tačnosti. Perionica koja prati odeću kroz cikluse pranja zahteva drugu. Kartični sistem kampusa koji validira događaje pristupa zahteva drugu. Ručni čitač koji se koristi za ciklusne popise u prodavnici zahteva drugu. Jedna od najčešćih grešaka u RFID projektima je merenje svih ovih jednim generičkim procentom kao da žive u istom svetu. Ne žive.

Napravite pravu formulu za tačnost RFID

Pravilno definišite imenilac

Drugo pravilo je da pravilno definišete imenilac. Ovde mnogi RFID izveštaji tiho greše. Ljudi kažu da je portal pročitao 980 oznaka od 1.000 očekivanih i to nazivaju 98 procenata tačnosti. Dobro, možda. Ali šta je tačno bilo očekivano. Da li je svih 1.000 oznaka trebalo da bude u zoni čitanja u tom trenutku. Da li su neke bile izvan ciljne trake. Da li je bilo duplikata. Da li je bilo oznaka koje je trebalo ignorisati. Da li je sistem pročitao 980 ispravnih oznaka i takođe 40 pogrešnih sa susedne palete. Ako je tako, da li je 98 procenata i dalje pouzdan broj. U praksi, imenilac nije jednostavno broj oznaka prisutnih u širem okruženju. To je broj oznaka koje je trebalo zahvatiti u tom konkretnom događaju, pod tim konkretnim slučajem upotrebe, sa tim konkretnim poslovnim značenjem.

Jedan distributer pića je to otkrio tokom pilota na dokskim vratima. Tim je ponosno prijavio veoma visoke performanse čitanja pri kretanju paleta, ali kada su nadzornici otpreme detaljnije pregledali događaje, primetili su povremene lažne pozitive sa paleta postavljenih preblizu izlazne trake. Sistem nije promašivao mnogo ciljnih paleta, ali je ponekad čitao i pogrešne. To je značilo da problem performansi nije bio samo u propuštenim čitanjima. Bio je u čistoći događaja. Pilot je u početku merio samo da li su ciljne oznake zahvaćene. Nije merio da li su zahvaćene samo ciljne oznake. Kada je kompanija to ispravila, njeno razumevanje tačnosti RFID postalo je realističnije i mnogo korisnije.

Merite lažne negative i lažne pozitive

To direktno vodi ka trećem pravilu. Ne možete ispravno meriti tačnost RFID čitanja ako ne merite i lažne negative i lažne pozitive. Većina ljudi se fokusira na promašaje jer je promašaje lako zamisliti. Paleta se nije pročitala. Odevni predmet se nije izbrojao. Oznaka opreme se nije pojavila. Ali lažni pozitivi su često jednako opasni. Sistem koji čita previše može izgledati jako u sirovom obimu čitanja, a ipak biti nepouzdan. U maloprodaji, to može naduvati popis uvlačenjem zaliha sa susedne police. U skladištenju, može potvrditi pogrešnu paletu. U zdravstvu, može učiniti da se oprema pojavi u pogrešnoj zoni. U kontroli pristupa, može stvoriti neuredne tragove događaja koji izgledaju kao zloupotreba akreditiva kada je problem zapravo loša definicija granice čitanja.

Bolnički tim za opremu naišao je upravo na ovaj problem. Njihovi rani izveštaji o praćenju sredstava činili su vidljivost uređaja boljom nego što je zaista bila jer je sistem povremeno čitao pumpe postavljene blizu bolničkih pragova i dodeljivao ih pogrešnoj strani granice. Da su merili samo sirovu detekciju oznaka, projekat bi izgledao odlično. Kada su umesto prostog obima detekcije merili ispravnu dodelu zone, videli su pravi posao koji je još pred njima. To je razlika između tehničke priče o uspehu i operativno iskrene.

Testirajte tačnost RFID u stvarnim tokovima rada

Merite proizvodne uslove, a ne demonstracione uslove

Četvrto pravilo je da se tačnost čitanja mora meriti prema stvarnom poslovnom toku rada, a ne prema čistoj demonstracionoj postavci. Ovde piloti često obmanjuju ljude. U urednom testu, tereti se kreću pravom brzinom, oznake su poravnate, korisnici prate uputstva, a okruženje nije neuredno. U stvarnom životu, kolica se gomilaju, odeća se drugačije savija, osoblje žuri, palete se zaustavljaju na pola puta kroz kapiju, a mešoviti materijali stvaraju ružno RF ponašanje. Jedna zdravstvena služba za pranje veša mislila je da ima jaku tačnost čitanja na nivou odeće nakon kontrolisanog testa na paketima mantila. Kada je sistem prešao u puni pogonski tok, slika se promenila. Pretrpana kolica, mešoviti prljavi povrati i promenljivo vreme ruta proizveli su daleko neurednije okruženje. Početni broj nije bio lažan. Bio je nepotpun. Kompanija je poboljšala merenje prikupljanjem podataka o performansama u stvarnim proizvodnim uslovima, a ne samo u urednim demonstracionim uslovima.

Slično se dogodilo u proizvodnom pogonu koji prati posude za rad u toku. Inženjerski tim je prvo prijavio jaku stopu čitanja jer su posude prolazile kroz tačku čitanja jedna po jedna tokom kontrolisane validacije. Kasnije, u punim smenama, operateri su postavljali posude bliže jednu drugoj i blago menjali uglove prilaza da uštede vreme. Tačnost čitanja je opala. Problem nije bio u tome što se sistem odjednom pogoršao. Problem je bio u tome što prvobitno merenje nije predstavljalo stvarno operativno ponašanje. Ako želite ispravno da merite tačnost RFID čitanja, potrebna vam je hrabrost da je merite tamo gde je posao zaista neuredan.

Odvojite tehničku čitljivost od poslovne upotrebljivosti

Peto pravilo je da odvojite tehničku čitljivost od poslovne upotrebljivosti. Oznaka može biti čitljiva u statičkom testu, a ipak ne podržavati slučaj upotrebe dovoljno dobro. Ručni čitač može na kraju detektovati odevni predmet, ali ako zaposleni mora da se kreće tako sporo i pažljivo da popis u prodavnici postane nepraktičan, operativna tačnost je slabija nego što sirovi RF broj sugeriše. Tim za skladištenje u muzeju otkrio je to prilikom testiranja RFID na kućištima predmeta i sanducima. Oznake su bile čitljive, da, ali neka privremena premeštanja dešavala su se prebrzo i previše neredovno da bi sistem podržao stvarne potrebe registratora za pouzdanošću. Tehnički uspeh čitanja bio je visok. Poslovna korisnost bila je mešovita. Ta razlika spasila je muzej od preuveličavanja onoga što je sistem dokazao.

To je jedan od razloga zašto vreme treba da bude deo merenja. Da li je sistem pročitao pravu oznaku u pravo vreme, a ne samo na kraju. Jedan logistički provajder imao je projekat verifikacije ruta gde su neke izlazne manipulativne jedinice zaista bile zahvaćene, ali malo prekasno u sekvenci kretanja da bi podržale predviđenu potvrdu otpreme. Da je tim merio samo da li je oznaka viđena u nekom trenutku blizu trake, možda bi sistem nazvali tačnim. Kada su izmerili da li je događaj stigao u ispravnom prozoru odlučivanja, jasnije su videli slabost. U stvarnim operacijama, kasna istina i dalje može biti loša istina.

Kontrolišite zone čitanja, granice i ponovljivost

Definišite zonu čitanja pre nego što bilo šta izmerite

Šesto pravilo je da pažljivo definišete zonu čitanja ili granicu događaja pre nego što bilo šta izmerite. To zvuči tehnički, ali je zapravo veoma praktično. Ako ne znate gde ciljna zona počinje i završava se, ne možete pravično proceniti tačnost. Prodavnica koja broji pletivo blizu promotivnog stola dobiće drugačiji odgovor od istog čitača na istim artiklima ako se zona popisa slučajno preklapa sa obešenim zalihama iza izloga. Bolnički prag sobe može zamutiti lokaciju opreme ako se zona čitanja preliva u hodnik. Parking kapija može pročitati važeću RFID karticu iz sledećeg automobila u redu ako je granica preširoka. Tačnost se uvek meri prema definiciji zone, bez obzira da li tim to shvata ili ne.

Jedan projekat kartičnog sistema kampusa to je učinio očiglednim. Čitači za kontrolu pristupa su tehnički bili odlični, ali tim je u početku merio performanse samo po tome da li važeća kartica pokreće događaj pristupa. Nakon pritužbi korisnika, shvatili su da je stvarni problem jasnoća granice. Neki ljudi su slučajno pokretali događaje pre nego što bi stigli do predviđene tačke interakcije, posebno u gužvama pri ulasku. Sistem nije bio „netačan“ u klasičnom RF smislu. Bio je nedovoljno kontrolisan za način na koji su se ljudi kretali kroz ulaz. Iskrenije merenje granice čitanja promenilo je to kako je projekat podešen i kako je njegov uspeh ocenjen.

Merite ponovljivost kroz radne uslove

Sedmo pravilo je da merite ponovljivost, a ne samo vrhunske performanse. Ovde jednokratne provere mogu biti veoma obmanjujuće. Sistem koji radi divno u utorak popodne i neredovno u petak ujutru nije dovoljno pouzdan, čak i ako prosečan broj izgleda prihvatljivo. Jedan operater hladnog lanca naučio je to nakon što su rezultati pilota izgledali dobro u umerenom periodu, a zatim se pogoršali tokom nedelje većeg obima i dužeg zadržavanja blizu hlađenog pripremnog prostora. Prosečna stopa čitanja i dalje je izgledala odbranjivo, ali konzistentnost kroz različite dane i radne uslove bila je slaba. Kada je kompanija dodala merenje ponovljivosti po smeni, nivou obima i uslovima okruženja, podaci su postali mnogo korisniji. Pouzdanost je oblik tačnosti u stvarnim poslovnim terminima. Ako osoblje ne može da predvidi kako će se sistem ponašati, neće mu verovati.

Validirajte tačnost RFID operativnom istinom

Merite tačnost po slučaju upotrebe

Još jedna kritična tačka je da morate meriti tačnost po slučaju upotrebe, a ne po sistemu uopšte. To se ne može dovoljno naglasiti. Ista RFID implementacija može biti odlična u jednoj stvari, a osrednja u drugoj. Trgovac može imati jake performanse ciklusnog popisa i slabije performanse lociranja artikala. Bolnica može imati jaku vidljivost soba sa sredstvima i slabiju logiku prelaza kroz hodnik. Perionica može imati jako zahvatanje broja pranja i slabiju verifikaciju povrata od kupaca. Ako projektni tim to proseči u jedan globalni broj tačnosti, rezultat postaje gotovo besmislen. Jedan operater perionice u odmaralištu napravio je ovu grešku rano. Prijavio je ukupnu vidljivost odeće u jednoj objedinjenoj metrici i mučio se da objasni zašto sporovi oko računa i dalje postoje. Kada je tim razdvojio brojeve, otkrio je da je tačnost izlaznih čistih zaliha jaka, dok je disciplina zahvatanja povrata i dalje slabija za određene objekte. Taj novi pogled učinio je sledeći korak poboljšanja očiglednim.

Koristite uzorkovanje fizičke istine

Osmo pravilo je da koristite uzorkovanje fizičke istine. RFID podaci treba da se testiraju prema stvarnosti na disciplinovan način, a ne samo da se pretpostavlja da su tačni jer softver tako kaže. To je posebno važno nakon puštanja u rad, kada poverenje počinje da zavisi od nagomilanih performansi. Jedan operater magacina to je uradio veoma dobro odabirom slučajnih uzoraka paleta i kartona nakon događaja čitanja i fizičkom potvrdom da li se tumačenje sistema poklapa sa stvarnom manipulativnom jedinicom i lokacijom. Taj proces je zahtevao trud, ali je sprečio biznis da se zarobi unutar sopstvenog optimizma na kontrolnoj tabli. U RFID-u, sistem može biti pogrešan na sofisticirane načine. Provere fizičke istine štite od toga.

Jedna služba za bolničku posteljinu koristila je sličan pristup. Umesto da samo veruje izveštajima o cirkulaciji mantila, povezala je RFID podatke sa proverama na licu mesta u određenim odeljenjima i u određeno vreme. To je otkrilo važan obrazac. Oznake su često bile čitane, ali neko ponašanje zadržavanja u odeljenjima stvaralo je privremene slepe tačke u toku koje sistem nije zahvatao tako jasno kako je rukovodstvo očekivalo. Opet, sistem nije bio beskoristan. Jednostavno je bio meren iskrenije. Uzorkovanje fizičke istine pretvara maglovito poverenje u testirano poverenje.

Uključite ponašanje korisnika u merenje

Deveto pravilo je da uključite ponašanje korisnika u merenje. To iznenađuje neke tehničke timove, ali ne bi trebalo. Ako sistem zavisi od ručnih pregleda, pravilnog postavljanja, konzistentnog prikazivanja bedža ili disciplinovanog prolaska kroz portal, onda je ljudsko ponašanje deo tačnosti čitanja hteli vi to ili ne. Jedno proizvodno postrojenje videlo je velike varijacije u performansama čitanja rada u toku između smena i u početku je tražilo objašnjenja u hardveru. Stvarna razlika bila je u ponašanju. Jedna smena je zbijala posude čvrsto i pauzirala ih drugačije. Kada je kompanija prihvatila da je stil korišćenja deo merenja, podaci o performansama postali su daleko primenjiviji. Sistem koji zahteva nemoguće ponašanje korisnika nije operativno tačan, bez obzira koliko dobro radi u laboratoriji.

To ne znači da treba kriviti osoblje za svaki slab rezultat. Sasvim suprotno. Ispravno merenje ponašanja korisnika često otkriva gde sistem traži previše od običnih ljudi. Proces ručnog popisa u modnoj prodavnici jednom je izgledao slab dok trgovac nije shvatio da očekuje od zaposlenih da održavaju nerealno čist ugao pregleda u pretrpanim policama. Ispravan zaključak nije bio „trenirajte više“. Bio je „redizajnirajte metodu popisa tako da normalno ponašanje osoblja i dalje može da proizvede pouzdane rezultate“. Upravo zato je poslovno orijentisano merenje RFID važnije od tehničkog ponosa.

Procenite tačnost RFID prema poslovnoj posledici

Deseto pravilo je da prag uspeha bude specifičan za odluku koja je u pitanju. Ovde mnogi RFID projekti postaju ili previše strogi ili previše blagi. Tim može zahtevati gotovo savršenu tačnost čitanja za slučaj upotrebe koji može da toleriše neke promašaje, ili može prihvatiti laskav prosek za slučaj upotrebe koji zahteva strožiju kontrolu. Sistem pristupa parkingu može tolerisati drugačiji rizik od sledljivosti farmaceutskih serija. Ciklusni popis u maloprodaji može tolerisati drugačiji šum od bolničkog toka lekova. Stopa čitanja od 98 procenata može biti odlična u jednom okruženju i neprihvatljiva u drugom. Jedini iskren način da je procenite jeste da pitate šta se dešava kada tih 2 procenta zakaže. Ako je rezultat manji ponovni popis, dobro. Ako je rezultat regulatorni problem ili problem bezbednosti pacijenata, dobro više nije dobro.

Jedna kompanija za farmaceutsko pakovanje to je dobro razumela. Nije pitala da li RFID sistem može pročitati većinu paleta većinu vremena. Pitala je da li sistem može podržati tačnu tačnost potvrde serije potrebnu pre izdavanja i otpreme u stvarnim radnim uslovima. Taj okvir promenio je i kako je test izveden i kako je ishod protumačen. Tako treba meriti tačnost RFID: u direktnom odnosu sa poslovnom posledicom.

Završne misli o ispravnom merenju tačnosti RFID čitanja

Na kraju, ispravno merenje tačnosti RFID čitanja znači mnogo više od izračunavanja procenta čitanja. To znači jasno definisanje poslovnog događaja, izbor pravog imenioca, zahvatanje i promašaja i lažnih pozitiva, merenje u stvarnom toku rada, odvajanje tehničke čitljivosti od poslovne upotrebljivosti, iskreno definisanje zone čitanja, proveru ponovljivosti, razdvajanje performansi po slučaju upotrebe, validaciju prema fizičkoj istini, uzimanje u obzir ponašanja korisnika i procenu rezultata prema stvarnoj posledici greške.

Timovi koji to rade dobro obično primete nešto važno. Njihovi RFID brojevi postaju manje dramatični i mnogo korisniji. Izveštaji zvuče malo manje trijumfalno, ali odluke postaju bolje. Prestaju da se raspravljaju o tome da li je sistem „u osnovi dobar“ i počinju da razumeju gde je jak, gde je slab i šta to znači za implementaciju, podešavanje i poverenje. To je prava svrha ispravnog merenja tačnosti RFID čitanja. Ne da se dobije sastanak o pilotu, već da se zna šta sistem može iskreno da podrži kada počne stvarni posao.