Çok spektral görüntüleme teknikleri ve kamera seçimi

Multispektral Kamera Teknolojisi
İlk multispektral sistemler uzay bilimi görüntülemesi veya resim ve kültürel mirası analiz etmek ve sayısallaştırmak için kullanılıyordu. 1972'de fırlatılan orijinal LANDSAT 1 uydusu, görünür yeşil ve kırmızı kanalların yanı sıra iki NIR bandı da içeren dört bantlı multispektral görüntüleme sistemiyle donatılmıştı.

1999'da LANDSAT 7 fırlatılışına kadar sistem, görünür mavi ışıktan termal kızılötesine kadar uzanan sekiz çok bantlı banda genişletilmişti. Bu çok bantlı uydular ve halefleri, kıyı ve okyanus akıntısı gözlemi, bitki örtüsü analizi, kuraklık stresi, yanık/yangından etkilenen alanlar ve hatta bulut örtüsü desenleri dahil olmak üzere öncelikle tarımsal ve çevresel analizler için kullanılır. Optiklerden kullanılan sensörlere kadar, bunlar son derece karmaşık ve pahalı sistemlerdir.

Benzer şekilde, sanat ve arkeolojide yıllardır gelişmiş çok bantlı statik kameralar kullanılmaktadır. Bu kameralar, sanat eserlerindeki pigmentleri ve süslemeleri haritalamak ve önceden tanımlamak için 18'e kadar çok bantlı bant kullanır. Bu görüntüler ayrıca eski ve solmuş belgeleri ve eserleri dijitalleştirmek ve/veya görsel olarak geliştirmek için kullanılır. Koruyucular ayrıca orijinal ve üzeri boyanmış bölümleri ayırt etmek ve uygun koruma prosedürlerini seçmek için çok bantlı görüntülemeyi kullanabilirler.

Zamanla, Fourier dönüşüm spektroskopisi, sıvı kristal ayarlanabilir filtreler, geniş bant ve dar bant filtreler vb. temel alınarak farklı tipte çok bantlı sistemler geliştirildi. Çeşitli yöntemlerin iyileştirilmesiyle, ultra üst düzey uydulardan ve sanat eseri koruma sistemlerinden makine görüş kameralarına göç ettiler ve çok çeşitli çok bantlı uygulamalar için uygun hale getiren çözünürlük, kare hızı ve fiyat kombinasyonunu sundular. Bu teknik kılavuzda, makine görüş uygulamalarında giderek daha popüler hale gelen bu kamera tabanlı çok bantlı görüntüleme teknolojilerine odaklanacağız.

İki (veya Daha Fazla) Ayrı Kamera (Alan veya Satır Taraması)
Bir makine görüş kurulumuna daha fazla spektral aralık eklemenin orijinal yöntemi, birden fazla kamerayı hedefe doğru hizalamaktır. Örneğin, bir meyve üreticisi rengi incelemek ve çürükleri kontrol etmek isterse, kurulumlarına bir renkli kameranın yanı sıra bir NIR kamera ekleyebilir. Ancak, iki görüntüden gelen spektral verileri tek bir inceleme adımında birleştirmek oldukça zorlayıcıdır ve hatalara açıktır. İki kamera birbirine yakın yerleştirilse bile, iki görüntünün piksellerini hizalamayı neredeyse imkansız hale getirecek kadar optik paralaks olabilir. Bu nedenle, iki görüntüyü "birleştirme" girişimi genellikle başarısız olur. Bunun yerine, çoğu müşteri ek spektral görüntülemeyi ayrı kameralar, aydınlatma, lensler ve kurulumlar (ve masraflar) kullanarak tamamen ayrı bir inceleme adımı olarak ele alır ve süreçte kullanılan diğer kameralardan gelen görüntü verilerinden yararlanamaz.

Filtre Tekerleği Kamera (Alan Taraması)
Çok dar bantlı filtre tabanlı görüntüleyici olarak da bilinen filtre tekerlekli kamera, sensör veya lensin önüne yerleştirilen bir filtre tekerleğine takılı filtreleri döndürerek çok kanallı spektral görüntüler yakalar. Böyle bir filtre tekerleği tipik olarak 12 banda kadar destekleyebilir. Daha sonra her pikselin spektral yansıması çok spektral görüntüye göre tahmin edilir. Filtre tekerleği tabanlı bir kameranın avantajı, her bant için tam mekansal çözünürlüktür. Filtreler uygulama gereksinimlerine göre özelleştirilebilir ve filtre tekerleği değiştirilebilir. Bu sistemin dezavantajları arasında yavaş ve zaman alıcı görüntüleme, karmaşık görüntü kaydı, karmaşık geometrik bozulma ve özel filtreler için yüksek maliyetler bulunur. Bir diğer sorun ise sisteme mekanik bileşenler (elektrikli tekerlek) eklemenin düzenli bakım veya değiştirme gerektirebilmesidir.

Filtre tekerlekleri kullanan multispektral kameralar multispektral görüntüler yakalayabilir. Bu, lensin önüne veya sensör ile lens arasına monte edilmiş filtre tekerleğinin döndürülmesiyle elde edilir.

Pikselli Çok Spektral Filtre Dizisi (Alan Tarama)
Bayer Renkli Filtre Dizisi (CFA) ve tek sensörlü görüntüleme için mozaikleme kullanımı, günümüzün kompakt, düşük maliyetli renkli dijital kameralarında iyi bir şekilde yerleşmiştir. CFA kavramını Çok Spektral Filtre Dizisi'ne (MSFA) genişleterek, boyut veya maliyeti artırmadan çok spektral görüntüler ve hatta bazı durumlarda hiper spektral görüntüler yakalanabilir. Bu yakalama yöntemine anlık mozaik görüntüleme de denir. Anlık mozaik sensörler, VIS (Görünür), VIS-NIR ve NIR-SWIR dalga boylarında 4 ila 40 kanalı destekleyebilir. Partiler arasında üretimde çok yüksek piksel tabanlı tutarlılık elde etmek zor olmuştur. Gerçek dünya bantları, genel spektral duyarlılığı, pikselle ilgili gürültü parametrelerini ve spektral yeniden yapılandırmanın doğruluğunu etkileyebilecek nispeten yüksek çapraz konuşmaya sahip olabilir. Bu filtreler için algoritmik düzeltme oldukça karmaşıktır. Daha da önemlisi, filtre dizisindeki her spektral bandın çok seyrek örneklenmesi nedeniyle, çok spektral filtre dizilerinin çok spektral mozaiklenmesi her zaman zorlu bir sorun olmuştur. Bant sayısı arttıkça her bir bandın mekansal doğruluğu azalır.

Işın Bölücülü İki Kamera (Alan Tarama)
Çoklu kamera yöntemiyle ilgili sorunları ele almanın bir yaklaşımı, ortak bir optik setinden birden fazla kameraya aynı anda görüntü yakalayabilen bir ışın bölücü eleman tanıtmaktır. Örneğin, iki Bayer desen kamerası kullanılarak iki adet 3 bantlı görüntü yakalanabilir ve bunlar 6 kanallı (2x RGB) spektral görüntüye yeniden yapılandırılabilir. Alternatif olarak, bir Bayer kamera, 4 kanallı RGB + NIR çıkışı üretmek için bir NIR kamerayla birleştirilebilir. Ekstra bantları yakalamak için ek ışın bölücüler ve kameralar eklenebilir. Bu yöntem, temel çoklu kamera yaklaşımıyla ilişkili görüntü yakalama ve görüntü kaydı sorunlarını hafifletir. Spektral bilgiler, birden fazla yakalanan görüntü arasında ilişkilendirilebilir ve birleştirilebilir. En büyük dezavantajı, sistemde birden fazla kamera varsa, çok hantal ve pahalı hale gelebilmesidir. Ayrıca, ışın bölücülerin kullanılması ışık yoğunluğunda kayba neden olur. Bu yöntem genellikle yüksek güçlü aydınlatma gerektirir ve yüksek hız ile sistemin ışık hassasiyeti arasında bir denge gerektirir.

Bu çok bantlı görüntüleme tekniği bir ışın bölücü kullanır. Bu nedenle, görüntüleri aynı anda yakalamak için birden fazla kamera kullanılabilir

Bu, önceki yöntemlerde olduğu gibi iki ayrı kamera ve ayrı lensler kullanmak yerine, lens de dahil olmak üzere tüm optik bileşenlerin her iki sensör için ortak olduğu, ortak bir ışın bölücünün kullanıldığı ışın bölme tekniğini kullanan başka bir multispektral görüntüleme tekniğidir.

Çok Sensörlü Dikroik Prizma Kamera (Alan veya Çizgi Tarama)
İlk bakışta, bu ışın bölücü yöntemine çok benziyor, ancak iki önemli fark var. Birincisi, yalnızca sensörler, tamamlanmış kameralar değil, prizma yüzeyine monte ediliyor ve hizalanıyor. Bu, daha önce açıklanan çok kameralı ışın bölücü görüntüleme sistemine kıyasla boyutu önemli ölçüde azaltıyor. İkincisi, prizma bloğu, olay ışığının uygun spektral aralığını her sensöre yönlendiren, girişim filtreleri gibi davranan sert dikroik kaplamalar kullanıyor. Bu nedenle, aynı ışığı birden fazla kanala bölüp yoğunluğunu azaltmak yerine, her kanal, görünür veya görünmez bölgelerde geniş bant veya dar bant olsun, yakalamak için ihtiyaç duyduğu tam ışık miktarını alır. Mozaik yönteminin aksine, her bant için tam mekansal çözünürlük elde edilebilir. Alan tarama senaryolarında, bant başına 100 fps'yi aşan hızlarla 3,2 MP'ye kadar çözünürlükler artık mümkünken, satır taramasında kamera 35 kHz'de bant başına 8192 piksele ulaşabilir. Bu yöntemin temel sınırlaması, prizmanın (ve dolayısıyla kameranın) boyutunun birden fazla büyük sensörü desteklemesi gerektiğidir. Bu, kullanılabilecek sensörlerin maksimum çözünürlüğünü ve/veya piksel boyutunu sınırlayabilir.

Bir prizma kamerada, prizma bloğu esasen girişim filtreleri olan sert dikroik kaplamalardan oluşur. Bu filtreler gelen ışığın ilk ayrılmasından sorumludur.

İkincil ayırma için prizma bloğunda ilave filtreler kullanılır.

Çok Satırlı Kameralar (Üç Satırlı, Dört Satırlı, Filtreli TDI Tipi Satır Tarama)
Çok satırlı sensörlere sahip satır taramalı kameralar, multispektral uygulamalar için de kullanılabilir. Üç satırlı RGB sensörlere sahip satır taramalı kameralar, genellikle renkli görüntüleme uygulamalarında kullanılır. Dört satırlı sensörlü kameralar, RGB-NIR veya RGB-monokrom kombinasyonlarından oluşabilir. Bu, multispektral görüntüleme elde etmenin yöntemlerinden biridir. Çok satırlı bir sensördeki satır sayısı 3 ila birkaç düzine arasında değişebilir. Günümüzün en popüler kameraları, her biri benzersiz bir spektral bant geçiş filtresine sahip 8 ila 16 satıra sahiptir ve bu da 16 banda kadar multispektral görüntülerin yakalanmasına olanak tanır. Aynı teknoloji, 3 veya 4 spektral alana bölünmüş yaklaşık 200 satırdan oluşan TDI tipi sensörlere de genişletilebilir. Çok satırlı kameralar, mevcut RGB sensörlerine ek optik filtreler de monte edebilir. Bu yöntem, optik filtre sayısına bağlı olarak yatay satır çözünürlüğünü 4 parçaya kadar böler. 5 optik filtreyi bir RGB sensörüyle birleştirerek 15'e kadar spektral bant elde edilebilir. Bu yöntemin dezavantajı ise spektral kanal sayısı arttıkça sistemin yatay çözünürlüğünün azalmasıdır.

Çok satırlı sensörlere sahip satır tarama kameraları, her piksel satırının benzersiz bir spektral bant geçiş filtresine sahip olduğu çok spektral uygulamalar için kullanılabilir.

Bu yaklaşım bir çizgi tarama sensörü kullanır ve optik düzeneğe ek filtreler eklenerek sensörün yatay çözünürlüğü bir multispektral alana bölünebilir. Burada, üç çizgi sensörü üç spektral ayrıma bölünür ve 9 kanallı bir multispektral kamera elde edilir.

Çok Spektral Görüntüleme (Çizgi Tarama) için Pushbroom Kameralar
Geleneksel olarak hiperspektral kameralarda kullanılan pushbroom yöntemi, multispektral görüntülemeye de uygulanabilir ve yakalanabilen spektral bant sayısında önemli esneklik sunar. x-λ taraması (yani yatay çözünürlük ve çoklu bantlar boyunca) aynı anda yapılırken, taşıma yönü (y ekseni) boyunca tarama süreklidir. Bu teknoloji, satır satır eksiksiz mekansal ve spektral bilgi yakalayabilir. Pushbroom kameraları üç ana bileşenden oluşur: bir lens, bir görüntüleme spektrometresi ve bir silikon tabanlı görüntü sensörü (VIS-NIR için) veya bir InGaAs sensörü (NIR-SWIR için). Bir ışık dağılım ünitesi ve odaklama optiğinden oluşan görüntüleme spektrometresi, pushbroom kamerasının temel bir bileşenidir. Görüntüleme spektrometresinde, ışık giriş yarığından (kolimatör) dağılım ünitesine geçer ve ardından görüntü sensörüne odaklanarak tek bir satır için x-λ koordinatları sağlar. Günümüzde, çizgi çözünürlükleri 1024 piksele ulaşabilirken, dalga boyu 5 ila 224 bant arasında serbestçe seçilebilir. Spektral aralık kullanılan sensör türüne bağlıdır, ancak VIS-NIR popülerdir. Bu teknoloji iyi esneklik sunarken, dezavantajı hızın kanal sayısıyla artmasıdır. Tam aralıkta (224 bant), bu yalnızca 500 Hz kare hızına sahip bir hiperspektral yöntemdir. Birçok endüstriyel uygulama için bu çok yavaştır.

Satır satır tam mekansal ve spektral bilgi yakalayabilen itmeli-süpürgeli hiperspektral kamera teknolojisi kullanılarak multispektral görüntüleme mümkündür.

Çok Spektral Görüntülemede Alan Taraması ve Çizgi Taraması

Açıklanan çok bantlı görüntüleme yöntemleri arasında, yalnızca birkaçı yüksek hızlı endüstriyel uygulamalar için uygundur. Alan taramasında, çok sensörlü prizma tabanlı yaklaşım, yüksek hızlı üretimde toplu ürünleri incelemek için oldukça uygundur. Pikselli çok bantlı piksel dizileri (anlık görüntü mozaikleri) ve filtre tekerleği tabanlı yaklaşımlar gibi diğer alan tarama yöntemleri, endüstriyel görüntüleme için çok yavaştır. Ek olarak, anlık görüntü mozaik kameraları kullanılarak mekansal çözünürlük ve piksel bilgisi yeniden yapılandırması oldukça zordur.

Filtre tekerleği tabanlı kameralar hantal olup birden fazla hareketli parçadan oluşur, bu da bu yöntemin sağlamlığını azaltır. Bununla birlikte, anlık mozaikler ve filtre tekerleği yöntemleri, çoklu sensör prizma tabanlı yöntemlere kıyasla daha fazla spektral bant sunar. Anlık mozaikler, iyi mekansal doğruluğun gerekli olmadığı tarımsal, akıllı tarım ve tıbbi görüntüleme uygulamaları için uygundur. Filtre tekerleği tabanlı kameralar, özellikle eski resimlerin ve klasik sanatın dijital arşivlenmesi için uygundur. Çoklu sensör prizma tabanlı kameralar, hassas tarım, akıllı tarım, meyve, sebze, et, deniz ürünleri gibi emtiaların ve gıda ve ilaç ambalajı, elektronik ve baskılı devre kartları gibi endüstriyel ürünlerin hat içi denetimi için oldukça uygundur.

Çizgi tarama kameraları kullanan çok bantlı görüntüleme için iki ana yaklaşım iyi bir potansiyel göstermektedir. Bunlardan biri, hiperspektral yöntemlerden (225 spektral bant) çok bantlı yöntemlere (5 spektral bant, 6,5 kHz çizgi hızı) ölçeklendirmeye izin veren Pushbroom hiperspektral sensörlerini kullanmaktır ve bu yaklaşım, gıda, geri dönüşüm ve paketleme ürünleri gibi endüstriyel orta hızlı uygulamalar için uygundur.

Çoklu sensör prizma tabanlı çizgi sensör yaklaşımı son derece yüksek hızlara ulaşır (4K piksellerde 77 kHz'e kadar) ve aynı anda görünür ve yakın kızılötesi bantları görüntüleyebilir, dört spektral bandı birleştirebilir. Hız, bu yaklaşımı bant, kanal veya serbest düşüş sıralamasına dayalı tüm yüksek hızlı uygulamalar için uygun hale getirir.

Üçüncü yaklaşım, optik filtreli standart üç hatlı hat sensörleri kullanarak, yatay hat çözünürlüğünü düşürerek ve 6 ila 12 kanala ulaşarak, yıllardır baskı, gıda, seramik ve tekstil muayene sektörlerine girmeye çalışmış ancak karmaşık kalibrasyon prosedürleri, düşük doğruluk ve kullanımı zor API'ler nedeniyle başarısız olmuştur.

Çok Spektral Görüntüleme Kamera Teknolojisini Seçerken Önemli Hususlar

Kurulum Kolaylığı (Sistem Entegrasyonu): Çok spektral görüntüleme kullanmak, standart makine görüş kameralarını kullanmaktan önemli ölçüde daha karmaşıktır. Çok spektral görüntüleme sisteminin farklı bileşenlerini kurmak ve entegre etmek için, yalnızca kameralarda değil, aynı zamanda ışık kaynaklarını içeren kalibrasyon prosedürlerinde, incelenecek nesnelerin doğasında ve veri işleme ve görüntü verisi düzeltmesinden kaynaklanan darboğazlarda da iyi bir uzmanlığa sahip olmak önemlidir. Genel sistem entegrasyonu hiper spektral sistemler kadar karmaşık olmayabilir, ancak aslında kullanıcının çok spektral görüntüleme sistemiyle ne elde etmek istediğine bağlıdır.

Hız ve Çözünürlük: Endüstriyel inceleme prosedürleri yüksek verim gerektirir. Birçok multispektral sistemin okuma mimarisi ve yapısı hız açısından sınırlıdır. Hız, dalga boyu kanallarının sayısına, kullanılan multispektral teknoloji türüne ve arayüze bağlıdır. Spektral bantlar ne kadar fazlaysa, yüksek hızlı uygulamalar için gereken miktarda ışığı yakalamak o kadar zor olur. Mekansal çözünürlük, özellikle küçük nesneleri algılarken multispektral görüntüleme için de bir zorluktur. Anlık görüntü mozaik sensörlerine dayalı kameralar, tek piksel değerlerinden eksik mekansal bilgileri tahmin etmek için enterpolasyon kullanır, ancak bu yöntem daha küçük kusur boyutlarını algılarken çok doğru değildir. Her uygulama, olası multispektral kanal sayısı ile elde edilebilir hız ve çözünürlük arasında farklı bir denge gerektirebilir.

Spektral Bant Sayısı: Bir uygulama için gereken spektral bant sayısı aslında algılanacak nesnenin doğasına, gereken algılama doğruluğuna ve ek spektral tahmin teknikleri kullanılarak görüntü işlemede elde edilebilecek doğruluğa bağlıdır. Kırmızı kenar algılama veya NDVI analizi gibi bazı uygulamalarda, bitkilerden gereken verileri yakalamak için kırmızı ve NIR bölgelerindeki hangi bantların gerekli olduğu açıktır. Aynı durum, spektral verilerin iyi bilindiği plastikler ve organik malzemeler için de geçerlidir. Bir diğer örnek, ICG emilimi ve floresan yansıma bantlarının bilindiği floresan endoskopisidir. Bu gibi durumlarda, sınırlı sayıda bant yeterli olabilir. Ancak, denetlenecek farklı malzemelerin karışımlarını içeren veya belirli dalga boyu bantlarını doğru bir şekilde tanımlamak için birden fazla spektral bant gerektiren uygulamalar veya çok spektral görüntüleme tabanlı spektral renk ölçümü uygulamaları da vardır. Bu tür uygulamalar nispeten çok sayıda spektral bant gerektirir.

Esneklik: Esnek veya ölçeklenebilir bir multispektral sistem, esas olarak aynı makinede farklı malzeme türlerinin incelendiği uygulamalar için uygundur. Esneklik, kullanıcıların multispektral görüntüleme sistemini uygulama gereksinimlerine göre ayarlamasına olanak tanır. Bu esneklik, esas olarak görüntüleme sisteminin hızını artıran veya azaltan gereken spektral bant sayısına yansır. Bazı sistemlerin esnekliği, daha düşük sağlamlık anlamına da gelir çünkü bileşenlerin değiştirilmesini veya hareket ettirilmesini gerektirebilir (örneğin, filtre tekerleği yönteminde, filtre tekerleği kolayca değiştirilebilir, ancak sisteme sağlamlığını etkileyen hareketli bir bileşen ekler). Öte yandan, bazı kameralar üretilirken esnekliğe sahiptir, ancak ürün tamamlandıktan sonra değildir. Çok sensörlü prizma tabanlı kameralar, üretim sırasında esnekliğe sahiptir ve sert dikroik kaplamalara ve temel prizma parametrelerine dayalı olarak kameranın istenen spektral tepkisinin seçilmesine olanak tanır. Ancak, prizma sensörü bileşeni üretildikten sonra değiştirilemez. Anlık mozaik sensörlere dayalı kameralar aynı mantığa sahiptir. Çok spektral filtre dizisi sensöre sabitlendikten sonra, inceleme görevi sırasında değiştirilemez veya modifiye edilemez.

Çok Spektral Veri Küplerini ve Veri Akışlarını İşleme: Çok spektral görüntüleme zorluklarından biri çok spektral veri küplerini işlemektir. Bu, piksel başına birkaç yüz spektruma sahip olabilen hiper spektral veri küplerinden çok daha az karmaşıktır, ancak geleneksel RGB kamera sistemlerini işlemekten daha karmaşıktır. Sistem mimarisi, çok spektral verileri düzgün bir şekilde işleyebilmeli, filtreleyebilmeli ve yorumlayabilmelidir. Spektral kanallar ne kadar azsa, bu o kadar basittir. İkinci zorluk, kameradan işleme istasyonuna veri akışı için kullanılan yöntemden kaynaklanabilir. Birden fazla akış durumunda, avantaj her veri akışının bağımsız olarak kontrol edilebilmesidir ve zorluk, bunu uygulama yazılımında yönetmektir. Birden fazla akışı işlemek, iki veya daha fazla akışı aynı anda işleyebilen bir yazılım mimarisi gerektirir. Yalnızca tek bir akış için tasarlanmış yazılım, cihazın aynı anda tek bir kare veya birden fazla kullanılabilir yük göndermesini bekler. Bu nedenle, hem tek kareler hem de birden fazla yük için, kullanıcılar tek bir işlevi çağırabilir ve tek bir akıştan görüntü alabilir. Ancak, kamera aygıtlarını ikinci veya üçüncü kez salt okunur modda açabilen ve birden fazla veri akışını işleyebilen JAI'nin eBUS Player'ı gibi platformlar da bulunuyor.

Sistem Maliyeti: Maliyet, karar alma sürecinde her zaman itici bir faktördür. Kompakt, kullanıcı dostu, seri üretim kameralar, son derece uzmanlaşmış ve hantal sistemlerden daha düşük maliyetlidir. Maliyet, gerçekleştirilmesi gereken inceleme görevine de bağlıdır. Gıda ve tarım incelemeleri gibi son tüketiciler veya son tüketicilere yakın olanlar tarafından yönlendirilen uygulamalar, araştırma, yüksek teknoloji veya bilimsel görüntüleme uygulamalarına kıyasla fiyat konusunda daha hassastır. Günümüzde, üst düzey hiperspektral görüntüleme sistemleri kamera sistemi başına yaklaşık 20.000 avrodan başlıyor. Seri üretim multispektral kameralar, ticari olarak çekici olabilmek için 10.000 avronun önemli ölçüde altında olmalıdır. Birden fazla kameraya dayanan multispektral kameralar, multisensör prizma tabanlı kameralar veya multispektral dizi tabanlı kameralar gibi diğer yöntemlerden daha pahalıdır. Maliyet tartışmasının, multispektral görüntülemenin mevcut görüntüleme sorunlarını çözmek için sağlayabileceği değere göre tartılması ve ele alınması veya basitleştirilmesi gerektiğini de belirtmek önemlidir.