Institutionen för informationsteknologi och medier (ITM) Slutrapport Patrik Jonsson 2013-01-30 Vägstatusbestämning av vägbaneavsnitt med optiska metoder Trafikverkets Dnr: AL90 A 2009:39240 Patrik Jonsson, Mittuniversitetet Sammanfattning Steg 1 involverade en fältmässig utprovning av hur IR temperaturmätning kan utnyttjas för att öka kvaliteten på mätdata från VViS samt hur en kostnadseffektiv IR vägstatussensor skulle kunna konstrueras. I Myggsjön testades både värmekamera och IR temperaturdetektorer och slutsatsen var att IR temperaturmätning ger en mer korrekt information om vägytans temperatur än de vägmonterade temperatursensorerna. Dessutom kan IR temperaturvärden utnyttjas för trafikflödesbestämning. En laboratorieuppställning med IR detektorer och IR belysning har visat att det går att bestämma ytstatus i klasserna; torr, våt, is och snö, genom att studera hur tre olika våglängdsområden absorberas och reflekteras av en provyta. Resultaten från steg 1 har legat till grund för forskningsarbetet i Steg 2 där en kostnadseffektiv avbildande metod för detektion av olika väglag över en större yta har utarbetats. I Steg 2 har en avancerad forskningskamera utnyttjats för att hitta metoder att särskilja väglagen torr, våt is och snö. Flera modeller för klassificering av de olika väglagen har utvecklats och resultaten är mycket lovande. En kostnadseffektiv prototyp har även framtagits vilken kan utgöra grunden till en framtida kommersiell produkt för ytstatusbestämning över en större yta. Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson Sida 2 Inledning Trafikverkets VViS har framtagits för att ge information om aktuellt vägstatus och för att ge underlag för vägstatusprognoser. Syftet är att öka framkomligheten och framförallt att minska antalet olyckor i trafiken. Utvecklingen inom den beröringsfria sensorteknologin har lett till att Trafikverket kan förbättra möjligheten att ge korrekt information om väglaget. Framförallt har kostnaden för IR sensorer minskat betydligt de senaste åren vilket gör det möjligt att införa tekniken på ett landsomfattande system som VViS. Bakgrund Det finns idag några få IR sensorer som ger information om väglaget. Vissa sensorer fungerar relativt bra när det gäller att särskilja väglagen torr, våt, snö och frostig is. Nackdelarna har funnits vara den begränsade detektionsytan samt den höga kostnaden. I och med att IR teknologin har förfinats bör det finnas goda möjligheter att eliminera dessa nackdelar. Den utökade beräkningskapaciteten som kommer att finnas i nästa generations mätstationer innebär att nödvändiga beräkningsalgoritmer för IR sensorerna kan utföras i sensorn eller i en nära ansluten mätstation. Det senare innebär en kostnadseffektiv lösning eftersom sensorerna kan tillverkas utan egen datorenhet. Egenskaper hos beröringsfri sensorteknologi IR sensorer mäter på vägbanans allra översta lager. Det innebär t.ex. att mätvärdet från en IR temperatursensor kan skilja mycket från en temperatursensor monterad i vägbanan när vägen är täckt med snö eller is. En IR väglagssensor kommer därmed också att återge det översta väglaget och inte eventuella underliggande väglag, t.ex. kommer en snötäckt isig vägbana att detekteras som en snötäckt väg. Teori Atmosfären absorberar IR inom olika våglängdsområden, se Figur 1. Detta förhållande har gjort att IR temperatursensorer arbetar inom området 8-14 µm där absorptionen är låg varvid felvisningarna därmed kan undvikas. Absorptionen utgörs framförallt av vattenånga och CO2. IR vägstatusensorer ska däremot hitta förekomst av vatten i formerna; vått, snö eller is på en vägbana. Det innebär att andra våglängder är att föredra. I Figur 1 ses att det finns flera absorptionstoppar som kan Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson Sida 3 utnyttjas för att detektera förekomst av vatten. Normalt arbetar väglagsdetektorerna i området 1-2 µm där några av absorptionstopparna återfinns. Absorption 1 0.5 0 0 2 4 6 8 10 12 Wavelength [µm] 14 16 18 20 Figur 1. Atmosfärens absorption av IR, främst av vattenånga och koldioxid [1, 2] Tillgänglig sensorteknologi Inom våglängdsområdet 1-2 µm finns flera detektorer tillgängliga på marknaden. De kommersiellt mängdproducerade kiselsensorerna har ett arbetsområde från ca 0.2 µm upp till ca 1.1 µm vilket gör att de inte är lämpliga för väglagsdetektion. Sensorer av typen InGaAs är däremot känsliga från ca 0.9 µm upp till ca 2.5 µm vilket gör de mer lämpade för väglagsdetektion [3]. Det finns även bildsensorer som arbetar inom detta våglängdsområde vilket gör framtida applikationer mycket intressanta. Det finns möjlighet att utveckla en kamera som kan särskilja olika väglag [4]. Sensorer känsliga inom området 2.5µm till 8 µm har för närvarande ett högt pris vilket gör dem mindre intressanta för väglagsdetektion. Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson Sida 4 Metod Till att börja med anskaffades en IR kamera från FLIR, modell A320. Denna kamera installerades vid trafikverkets provplats i Myggsjön utanför Borlänge. Denna IR kamera tog bilder varje minut under en stor del av vintersäsongen 2010. Dessa bilder utnyttjades som stöd vid framtagande av rapporten ”Sensortester vid Myggsjön 2009-2010” [5]. Förhoppningen var bl.a. att se när vatten ombildades till is genom att detektera värmeavgivningen vid vattnets fasövergång till is. Tyvärr kunde detta inte ses p.g.a. att vägen hållits isfri av väghållningspersonal, vilket naturligtvis är det önskade väglaget ur Trafikverkets och trafikanternas synvinkel. Det resulterade dock i uteblivna detektioner av isbildning på vägbanan. Den omfattande datamängden från IR temperaturmätningen har resulterat i en forskningsartikel som Mittuniversitet för närvarande försöker få publicerad [6]. För det fortsatta forskningsarbetet har några våglängder bedömts ge information om väglaget. För att verifiera denna hypotes har sensorer och tillhörande förstärkareutrustning anskaffats. Dessa sensorer är känsliga för några olika våglängder mellan 1 µm och 2 µm där absorptionen av vatten är hög, se Figur 1. Fotodetektorer har anskaffats från halvledartillverkaren Hamamatsu och deras karakteristik kan ses i Tabell 1. Tabell 1. Fotodetektorer från Hamamatsu Sensorbetecking enligt Känslighetsområde Hamamatsu [nm] Peak känslighet [nm] S1223 320-1100 960 G8370-03 900-1700 1550 G5852-23 900-2100 1950 Fotodetektorerna enligt Tabell 1 har monterats i optiska komponenter anskaffade från Thorlabs. Fotodetektorerna kan därmed monteras på en ställning där detektorerna kan riktas in mot en mätyta. Det inkommade ljuset till fotodetektorerna samlas in via ett linssystem och oönskade våglängder kan filtreras bort med optiska våglängdsfilter anskaffade från Spectrogon. Fotodetektorerna var riktade mot en blästrad kompo- Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson Sida 5 sityta för att få liknande utseende som asfalt. Kompositytan är gjuten på en aluminiumplatta i vilken kylvatten kan ledas för att simulera olika vägtemperaturer, ända ned till några minusgrader. Provvägen tillsammans med belysning och detektorer monterades i ett isolerat utrymme. Laboratorieuppställningen var enligt Figur 2, och bilder från uppställningen återfinns i Figur 3 och Figur 4. Detectors and illuminator Cooling liquid inlet Cooling liquid outlet Figur 2. Laboratorieuppställning med provväg av komposit gjuten på aluminiumplatta med kylslingor. Provvägen installerades i ett isolerat utrymme. Figur 3. Laboratorieuppställning Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson Sida 6 Figur 4. Fotodetektorerna uppställda i det isolerade utrymmet I laboratorietesterna belystes ytan med en halogenlampa som ger ljus från de lägre vågländerna för synligt ljus till de lägre IR regionerna, se Figur 5. I de genomförda experimenten har våglängdsområdet 1000 till 2000 nm utnyttjats. Figur 5. Halogenlampans ljusutbyte börjar i det lägre synliga våglängderna och sträcker sig upp mot infraröda området [http://zeiss-campus.magnet.fsu.edu/articles/lightsources/tungstenhalogen.html]. Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson Sida 7 Resultat Resultaten från IR temperaturmätningarna visade att IR yttemperaturen stämde väl överens med den vägmonterade pt100 temperatursensorn vid torrt väglag. I övriga fall var det en dålig korrelation mellan yttemperaturen mätt med IR och den vägmonterade sensorn, se tabell 2, tabell 3 och tabell 4. TABELL 2 TEMPERATURKORRELATIONER UNDER EN TORR REFERENSPERIOD Pt100 Luft temp IR yttemp yttemp Luft temp 1 0.91 0.76 Pt100 Yttemp 0.91 1 0.88 IR yttemp 0.76 0.88 1 TABELL 3 TEMPERATURKORRELATIONER UNDER EN VINTERPERIOD MED DELVIS SNÖ- OCH IS-TÄCKT VÄGBANA Pt100 Luft temp IR yttemp yttemp Luft temp 1 0.20 0.81 Pt100 yttemp 0.20 1 -0.14 IR yttemp 0.81 -0.14 1 TABELL 4 TEMPERATURKORRELATIONER UNDER EN PERIOD MED VÅT OCH IBLAND SNÖTÄCKT VÄGBANA Luft temp Luft temp Pt100 yttemp IR yttemp 1 0.73 0.88 Pt100 yttemp 0.73 1 0.53 IR yttemp 0.88 0.53 1 En analys av bruset i temperaturmätningen visade även att trafikflödet går att bestämma med IR temperatursensorn, se Figur 6. 10 Temp [C] 5 0 IR surface temp Car -5 Cars/Hour -10 200 100 0 18:00:00 00:00:00 06:00:00 12:00:00 18:00:00 00:00:00 06:00:00 Figur 6. Trafiken visas som röda + och de avviker från de blåa punkterna som beskriver yttemperaturen. Genom att integrera antalet avvikelser kan trafikflödet bedömas. Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson Sida 8 Resultaten från laboratorieuppställningen för vägstatusbestämning visade att olika väglag kunde särskiljas genom att bedöma mätvärden från de olika detektorerna beskrivna i tabell 1, se Figur 7. 5 Detector 1000 nm Detector 1500 nm Detector 1900 nm Detector output [V] 4 3 2 1 Sample number 0 0 Surface status: Dark 50 Dry 100 Wet 150 200 250 300 Black ice Thick ice Wet snow Cold snow Detector 1900 nm Figur 7. Detektorvärden vid olika väglag. Det är möjligt att särskilja olika väglag med data från 3 optiska detektorer med olika känslighetsområden för IR ljus 2 1 0 2 1 Detector 1500 nm 0 0 2 4 6 Detector 1000 nm Figur 8. En grafisk representation av de olika väglagen. Detektorvärden för de olika väglagen kan åskådliggöras i en 3 dimensionell figur där det de olika väglagen är väl separerade, se Figur 8. Detta innebär att det bör vara möjligt att skapa en kostnadseffektiv och pålitlig väglagssensor för trafikverket. Mätresultaten kommer även presenteras i en vetenskaplig artikel [7]. Slutsatser från steg 1 Mätningarna vid Myggsjön visar att en IR temperaturmätare ger viktig information om vägens temperatur under våta, isiga och snöiga vägförhållanden. En IR temperaturmätare skulle därför kunna förbättra modeller för prognosticering av väglaget. Dessutom kan IR temperaturmätare användas för att bedöma trafikflödet. Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson Sida 9 Ett införande av en kostnadseffektiv beröringsfri sensorteknik för bestämning av väglagen, torr, våt, is och snö i VViS bedöms vara genomförbar utifrån de laboratorietester som genomförts. En sådan beröringsfri sensorteknologi realiseras genom att detektorer levererar mätsignaler till mätstationen som utför analys och klassificering av väglagen. På detta sätt undviks kostnadsdrivande mikrodatorer i sensorenheterna. Ekonomi för steg 1 Projektet har tilldelats FoU medel från Trafikverket med SEK 300 000 i steg 1 och ytterligare 280 000 i steg 2. Upparbetade kostnader beskrivs i tabell 5. Tabell 5. Upparbetade kostnader i steg 1 Beskrivning IR Kamera Flir A320 IR fotodetektorer IR Detektorförstärkare Optiska komponenter Mätinsamlingskort till PC Nätaggregat till förstärkare Summa: Kostnader [SEK] 134600 55569 32350 39121,93 6260,95 5100 273001,88 Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson Sida 10 Inledning steg 2 I steg 2 ska en kameradetektor utnyttjas för att erhålla en bild av en yta och därmed bestämma ytstatus över en större yta. Detta innebär forskning kring IR kameradetektorer och analysmetoder. En ytstatusdetektor som ger information om en större yta ger ovärderlig information till väghållningspersonal och kaan utgöra indata för t.ex. variabla hastighetssystem. systemet skulle t.ex. kunna varna för ispåbyggnad mellan hjulspåren som kan orsaka allvarliga omkörningsolyckor. I steg 2 bedrivs både forskning för att hitta en kostnadseffektiv kameralösning och forskning för att hitta modeller som kan bestämma aktuellt väglag från bilder tagna med väglagskameran. I dagsläget är forskningsarbetet fortsatt pågående och här visas de resultat som framkommits till och med 2013-01-30. Metod i steg 2 För att kunna påbörja utveckling av en kostnadseffektiv lösning anskaffades Digilent FPGA utvecklingskort och InGaAs NIR kameradetektorer. Framgångsfaktorn för att kunna utveckla en kostnadseffektiv lösning beror på att det finns möjlighet att anskaffa kameradetektorer med få pixlar, det är nämligen antalet pixlar som styr priset på NIR kameror. Det har varit nödvändigt att samtidigt som utvecklingsarbetet har pågått kunna utföra experiment nödvändiga för att hitta lämpliga modeller för väglagsklassificering. För dessa experiment anskaffades en FLIR SC7100 NIR kamera. Denna kamera är avsedd för forskning och har ett motoriserat filterhjul där 4 st optiska spektralfilter kan monteras. Upplösningen på denna kamera är 320x256 pixlar. Det anskaffades även en Axis 221 färgkamera att utnyttjas för dokumentation av de ytor som fotograferades med FLIR SC7100 kameran. En spektrometer inhyrdes för att kunna hitta lämpliga våglängdsområden för detektion av vatten, is och snö. Resultat i steg 2 Alla laboratoriemätningar genomfördes på en kyld yta med liknande färg och reflektion av IR ljus som asfalt. Den kylda ytan var monterad i ett isolerat utrymme enligt Figur 9 nedan. Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson Sida 11 Figur 9. Principskiss över laboratorieuppställning för provväg där beröringsfri sensorteknologi kan testas. Inuti utrymmet monterades ett XY-bord för att kunna svepa med spektrometer över ytan. Till att börja med genomfördes spektralmätningar i laboratoriemiljö enligt Figur 9, för de olika förhållandena torr, våt, is och snö. Spektrometern monterades på ett rörligt XY-bord för att erhålla stabila och jämförbara mätvärden från spektrometern. I Figur 10 visas resultatet från en spektrometermätning. Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson Sida 12 Spectras for Dry, Wet, Ice and Snow 2.2 2 Absorbtion 1.8 1.6 1.4 1.2 Dry Wet Snow Ice 1 1350 1400 1450 1500 1550 Wavelength [nm] 1600 1650 Figur 10. Spektrometermätning av olika väglag. Utgående från absorbtionskurvorna i denna bild har ett antal spektralfilter anskaffats. Spektralfiltren släpper igenom ljus inom ett bestämt våglängdsområde och genom att jämföra bilder tagna med olika filter är det möjligt att utarbeta en metod som särskiljer de olika väglagen torr, våt is och snö. Flera olika metoder, bl.a. neurala nät, multivariat analys, discriminant analysis, Partial Least Squares, nearest neighbour, symbolic regression m. fl metoder, testas för klassificering av väglag. De initiala testerna visar på lovande resultat. Nedan visas några bilder från väglagsklassifikationer där det inte gick att särskilja om vägytan var våt eller isig med en visuell kontroll. De ljusa prickarna i bilderna visar där modellen klassificerat väglaget som anges i figurtexten. Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson 50 100 150 Snö Vatten Is 200 250 50 100 150 200 250 300 Figur 11. Detektion av is. På vägen kunde man inte se skillnaden mellan vatten is. 50 100 150 200 250 50 100 150 200 250 300 Figur 12. Detektion av is, nearest neighbours 50 100 150 200 250 50 100 150 200 250 Figur 13. Detektion av snö, PLS 300 Sida 13 Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson 50 100 150 200 250 50 100 150 200 250 300 250 300 Figur 14. Detektion av is, PLS 50 100 150 200 250 50 100 150 200 Figur 15. Detektion av is, neurala nät 50 100 150 200 250 50 100 150 200 250 Figur 16. Detektion av våta området, SVM 300 Sida 14 Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson Sida 15 Prototyp för NIR kamera På mittuniversitetet har det bedrivits arbete med att bygga en kostnadseffektiv prototyp. Bilden nedan till vänster i Figur 17 visar det kretskort som framtagits där den kostnadseffektiva NIR bildsensorn är installerad. Bilden nedan till höger visar andra sidan där en standard kameralins är monterad. Figur 17. Bilder på kameraprototypen som framtagits på Mittuniversitetet. Här utnyttjas en kostnadseffektiv detektor, egenutvecklat kretskort för kameradetektorn samt utvecklingskort för programvaran som används för utläsning av bilderna. En bild från den utvecklade kameran kan ses i Figur 18 nedan. Figur 18. En av de första bilderna tagna med NIR kameran utvecklad på Mittuniversitet. Bilden visar en hand som håller i en datormus. Upplösningen på bilden är 64x64 pixlar. Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson Sida 16 Ekonomi för steg 2 Steg 2 har tilldelats FoU medel från Trafikverket med SEK 280 000 och ytterligare 120 000 för anskaffning av dyr utrustning. Genom samarbete med företaget Klimator har nödvändig utrustning kunnat anskaffas, eftersom projetbudgeten från TrV inte räckte till. Upparbetade kostnader beskrivs i tabell 6. Tabell 6. Upparbetade kostnader i steg 2 Beskrivning NIR Kamera Flir SC7100 XY-bord motoriserat NIR kameradetektor InGaAs Hyra spektrometer Spektralfilter 1" Axis 221 färgkamera Atlys digilent FPGA utv. Kort Optik Övrig utrustning, fäste, nätagg Summa: Kostnader [SEK] 492000 58200 29800 32000 14200 11500 6500 5800 7300 657300 Realisering av resultaten De framgångsrika resultaten har visat stort intresse och Klimator har som tidigare nämnts tillskjutit medel för forskningsarbetet. Avsikten från Klimator är att produktifiera denna teknik för att den förhoppningsvis kan kunna finnas på marknaden om några år. De första prototyperna bör finnas tillgängliga för initiala tester nästa år, d.v.s. år 2014. Vägstatusbestämning av vägbaneavsnitt med optiska metoder Mittuniversitetet, Patrik Jonsson Sida 17 Kommentarer Förseningar i projektet har orsakats av långa leveranstider och trasiga komponenter. När väl komponenter fanns tillgängliga löpte mätningarna smidigt. Det ska noteras att fälttester som de vid Myggsjön kan ta väldigt mycket tid i anspråk eftersom väderförhållandena ibland inte är de som efterfrågas för att få önskade mätresultat. Ytterligare orsaker som förorsakat förseningar är att materielen för forskningsarbetet är väldigt kostsamma. Det har tagit mycket tid i anspråk att hitta finansiärer som är villiga att investera i forskningsprojektet, men denna fråga har till slut löst sig i detta projekt. Referenser [1] [2] [3] [4] [5] [6] [7] L. S. Rothman, I. E. Gordon, A. Barbe et al., “The HITRAN 2008 molecular spectroscopic database,” Journal of Quantitative Spectroscopy and Radiative Transfer, vol. 110, no. 9-10, pp. 533-572, 2009/7. S. N. Mikhailenko, Y. L. Babikov, and V. F. Golovko, “Information-Calculating System Spectroscopy of Atmospheric Gases,” Atmospheric and Oceanic Optics vol. 18, no. 09, pp. 680-684, 2005. Hamamatsu. "Photon is our business," 2010-04-27; http://www.hamamatsu.com. Sofradir. "SOFRADIR: infrared & cooled technologies, IR detector for military, space & commercial applications," 2010-11-09; http://www.sofradir.com/. P. Jonsson, Sensortester vid Myggsjön 2009-2010, TRV 2010/62744 A, Borlänge, 2010. P. Jonsson, and M. Riehm, "Infrared Thermometry in winter road maintenance," Unpublished, Mid Sweden University, 2011. P. Jonsson, “Remote sensor for winter road surface status detection,” in IEEE Sensors, Limerick, Ireland, 2011.