Manglende EMC-filter ga havari av IT-utstyr

Denne bloggposten beskriver et tidligere oppdrag som PQA har utført for en bedriftskunde.

Den korte versjonen av historien er at en større maskin i et anlegg viste seg å være produsert og levert til kunden uten å inneholde et nødvendig EMC-filter. Dette forårsaket skader på IT-utstyr for store summer og sannsynligvis en brann (!) eller to før dette til slutt ble undersøkt, påvist og rettet opp.

Om du er fan av mer detaljerte problembeskrivelser, feilsøkingshistorikk og ikke minst en rekke skjermbilder av oscilloskopmålinger, er det bare å lese videre:

Kilovis med ødelagt utstyr

Bedriftens problem var at de over lengre tid hadde opplevde at IT-utstyr havarerte uten kjent årsak. Både PC-er, printere, rutere, en server og annet utstyr kunne vare så kort som en uke før de bare døde. Ved reklamasjon ble det oppgitt av de ulike leverandørene at produktenes hovedkort var skadet og måtte skiftes ut. Bedriftens IT-utstyr har også hatt driftsproblemer som potensielt kan være forårsaket av samme feil, som korrupsjon av databaser og kryptiske feilmeldinger. Sist, men definitivt ikke minst, har også hele bedriftsbygget brent ned to ganger i løpet av de siste årene. Brannvesenet har oppgitt at brannen i minst et av tilfellene så ut til å ha oppstått i det elektriske anlegget.

Det lokale nettselskapet var først inne og utredet saken fra sin side, og slo fast at Forskrift om Leveringskvalitet (FoL) ble oppfylt ved tilknytningspunktet – problemet måtte derfor antas å ha opprinnelse inne i kundens installasjon. Etter dette ble en spesialist på IT-problemer leid inn uten å finne software-relaterte eller rent IT-tekniske feil som kunne forklare problemet, før PQA ble engasjert for å gjøre en grundigere feilsøking på byggets spenningskvalitet.

Vi starter ofte problemløsingsoppdrag ved å gjøre en lengre spenningsmåling på følgende steder: Bygningens inntak, ved apparater som opplever problemer, og ved eventuelle “mistenkte” apparater som kan være kilde til problemene. Første måling er en dobbeltkontroll av forsyningskvaliteten til bygget, og de to andre målingene kan potensielt avdekke en årsakssammenheng mellom emisjon- og immunitetsproblemer mellom utstyr.

I dette tilfellet ble det opprinnelig målt ved hovedinntaket og inne i installasjonen ved en av de få “uvanlige” maskinene bedriften eide (spesialbygd og produsert av et lite, utenlandsk selskap). I tillegg kjente vi til at observerte IT-feil som kommunikasjonssvikt og skadde kretskort-komponenter har oppstått i tilfeller hvor det har vært spenningsforskjeller i jordingsanlegget. Vi gjorde derfor noen stikkprøvemålinger med oscilloskop samme dag som måleutstyr ble oppmontert.

Nettloggerne bekreftet at FoL ble overholdt og kunne samtidig ikke melde om noen fenomener som skulle kunne forklare hvorfor IT-utstyr ryker, men oscilloskopmålingen ga interessante resultater. Figuren ovenfor viser potensialforskjell målt mellom to jordledere i bygget: Jord i bedriftens serverrom, og jord ved den nevnte spesialleverte maskinen. Disse punktene ble valgt fordi det har røket utstyr i serverrommet tidligere, og den spesialleverte maskinen var en potensiell problemkilde.

Langs horisontalaksen er det ett sekund mellom hver rute, og disse viser korte, transiente spenningstopper som oppstår med 20 ms mellomrom (hver periode i et 50 Hz-nett). Disse spenningstoppene var på rundt 20-30 V, men over 80 V på det aller høyeste. De var kun til stede når nevnte maskin i bedriften var påslått, men denne var vanligvis påslått 24 timer i døgnet. En interessant detalj er at maskinen ikke behøvde å være i drift for å produsere spenningstransientene; det var nok at den var påslått. Merk at jordspenningens toppverdi vil være forskjellig overalt i bygget, avhengig av hvilke to målepunkter man velger å måle mellom, men den samme karakteristikken med én topp hver 20 ms kunne måles i hele bygget. En tilsvarende strømmåling med samme apparat viste at det ble injisert strømmer i jordlederen.

I figuren nedenfor er det zoomet inn på en spenningstransient fra forrige bilde. Den er kortvarig og høyfrekvent – sannsynligvis henger den svingende kurveformen sammen med den naturlige svingefrekvensen i det elektriske anlegget som transienten mates inn i.

Videre arbeidshypotese ble derfor at disse spenningstransientene ikke nødvendigvis var store nok til å momentant skade utstyr, men at en kontinuerlig eksponering for dette over noen uker ville kunne knekke tålegrensen til komponenter på sårbart, tilkoblet utstyr andre steder i bygget, sånn som hovedkort i PC-er, printere og servere.

Direkte inngrep i bedriftens utstyr er ikke ønskelig uten et klart bilde av nøyaktig hva som forårsaker fenomenet, og er også utenfor PQAs spesialkompetanse. Maskinen hadde i tillegg en relativt høy prislapp, og det var derfor ikke ønskelig å skifte den ut hvis alternative løsninger fantes. Det ble derfor i første omgang anbefalt å utbedre maskinens kobling til jord. En redusert impedans mot jord kan lede unna produsert støy bedre, og dermed unngå at den brer seg ut i resten av anlegget i samme grad som før.

Da dette var gjort, ble en ny måling av jordpotensial-forskjell gjort mellom de samme to punktene som sist:

Etter tiltaket ble det avventet å gjøre noe mer for å se om det ville komme nye utstyrshavari. Interessant nok ble det heretter ingen nye innmeldte problemer av samme type som før (ødelagt hovedkort). PC-er virket fra nå av greit, med unntak av enkelte problemer som kanskje kunne relateres til støyen på jordingsanlegget, men bedriftens printere gikk fortsatt dukken med irriterende kort tid mellom hver enhet. Problemårsak var nå “ymse feil” med ikke-reelle feilmeldinger og andre problemer (ikke spesifisert av produsent ved reklamasjon) som gjorde at de ikke virket.

Åpning og utbedring av problematisk maskin

Det ble til slutt avtalt å åpne “den mistenkte” maskinens kontrollboks i samråd med leverandørbedriften til maskinen. Maskinen drifter bl.a. en DC-motor ved hjelp av en frekvensomformer, og alle kraftelektroniske omformere produserer høyfrekvent støy som må filtreres vekk i etterkant. Det var derfor overraskende å se at det rett og slett ikke fantes noen EMC-filtrering her overhodet, selv om det i omformerens datablad kunne leses at den kun overholdt relevante emisjonsforskrifter når den ble kombinert med et spesifisert EMC-filter. Maskinen manglet også skjermet kabel mellom omformer og motor. I dette tilfellet ble det ikke målt problematiske nivåer av såkalt normal svitsjestøy fra omformeren, men et EMC-filter ville også ha dempet transientene som vi målte i denne saken.

Leverandøren ettermonterte derfor filter og skjermet kabel mens PQA gjorde en referansemåling av potensialforskjell i jord før og etter hvert av tiltakene. Resultatet var veldig gledelig: Sammenlignet med målingen gjort rett før tiltakene, ga begge tiltakene en betydelig reduksjon i injisert støy, og totalt sett ble spenningstoppene redusert med rundt 80 %. Denne reduksjonen kommer i tillegg til opprinnelig reduksjon etter første jordingstiltak beskrevet tidligere.

Kunden har ikke opplevd nye problemer med ødelagt eller dårlig fungerende utstyr etter EMC-filter og skjermet kabel ble installert. Konklusjonen er derfor at én maskin førte til skader for store summer på IT-utstyr i samme bygg, fordi denne ble levert med grunnleggende mangler på evne til å filtrere unna emittert støy.

I forkant av PQAs arbeid testet tidligere aktører ut andre tiltak som ikke fungerte, som bl.a. en UPS (uavbrutt strømforsyning) og en skilletranformator til nevnte maskin. Disse tiltakene fungerte ikke, fordi de ikke endret maskinens kobling til jord, og det var denne koblingen som spenningstransientene kunne måles i. Det er derfor ofte lønnsomt å vurdere hvorvidt et tiltak vil fungere eller ikke (basert på problembeskrivelse, spenningsmålinger og annet relevant grunnlag) før de testes. Det gir også økt kunnskap om problemets natur, som kan tas i bruk ved fremtidig problemløsing.