Fixed-Pattern Korrektur von HDRC- Bildsensoren Analyse und Korrektur in Echtzeit der helligkeits-, orts- und temperaturabhängigen Rauschmuster hochdynamischer Bildsensoren Von der Fakultät Maschinenbau der Universität Stuttgart zur Erlangung der Würde eines Doktors der Ingenieurwissenschaften (Dr.-Ing.) genehmigte Abhandlung Vorgelegt von Verena Schneider aus Stuttgart Hauptberichter: Prof. Dr. Bernd Höfflinger Mitberichter: Prof. Dr. Wolfgang Osten Tag der mündlichen Prüfung: 13.02.2007 Institut für Mikroelektronik Stuttgart 2006 II Danksagung III Danksagung Diese Arbeit entstand während meiner Tätigkeit als wissenschaftliche Mitarbeiterin am Insti- tut für Mikroelektronik Stuttgart. Als erstes möchte ich mich bei allen Mitarbeitern des Insti- tuts bedanken, die meine Promotion durch optimale Bedingungen unterstützt haben. Mein größter Dank gilt dabei meinem Doktorvater, Herrn Prof. Bernd Höfflinger, der mir jederzeit für Fragen zur Verfügung stand. Unsere regelmäßigen Diskussionen und seine Un- terstützung haben mir viele neue Denkanstöße gegeben, die maßgeblich zum Gelingen dieser Arbeit beigetragen haben. Sein persönlicher Einsatz für dieses Projekt war ausschlaggebend für die zügige Bearbeitung des Themas. Herrn Prof. Wolfgang Osten möchte ich für die Zweitberichterstattung danken. In zahlreichen Vorträge und Diskussionen haben meine Kollegen das Thema kritisch und aus verschiedenen Perspektiven betrachtet. Daraus haben sich viele nützliche Anregungen zur Optimierung des Algorithmus und der Hardware ergeben. An dieser Stelle danke ich allen, die an diesen Diskussionen beteiligt waren. Praktische Hilfestellungen habe ich von Kollegen der Abteilungen „Systemintegration“ und „Zentrale Werkzeuge“ erhalten. Allen voran möchte ich hier Herrn Dipl.-Ing. Cor Scherjon danken, welcher jederzeit meine Fragen beantwortete und durch sein umfassendes Wissen mir stets Tipps für neue, wissenschaftliche Betrachtungen geben konnte. Mein Dank gilt auch Herrn Dipl-Ing. Wolfram Klingler, der mir bei Fragen jederzeit zur Verfügung gestanden hat. Insbesondere für die schnelle Hilfe bezüglich MOS-Transistor-Parameter wie auch deren Theorie. Herrn Dipl.-Ing. (FH) Willi Selinger danke ich, dass er bereits im Vorfeld ein Evalu- ationboard entwickelt und mir zur Verfügung gestellt hat, auf welchem ich meinen Prototyp aufbauen konnte. Hierbei sei besonders der zeitliche Aspekt hervorzuheben. Diesbezüglich bin ich auch Herrn Dipl.-Ing. (FH) Daniel Brosch zu Dank verpflichtet. Er hat mir ein Soft- wareprogramm zur Verfügung gestellt, auf dem ich mit meinen Simulationen und Implemen- tierung der Algorithmen aufbauen konnte. Bei Herrn Torsten Fiethen möchte ich mich bedan- ken, der mich jederzeit bei praktischen Problemen mit dem Messplatz unterstützt hat. Nicht zuletzt möchte ich allen Korrekturlesern meinen Dank aussprechen. Abschließend möchte ich meiner Familie und meinem Partner danken, die mich zu jederzeit während meiner Promotion unterstützt haben. Ich widme diese Arbeit meinen Eltern, die mir durch die Finanzierung und Unterstützung während meines Aufbaustudiums an der Universität Stuttgart erst diese Promotion ermöglicht haben. IV Inhaltsverzeichnis V Inhaltsverzeichnis 1 Einleitung _______________________________________________________________ 1 1.1 Motivation _________________________________________________________________ 1 1.2 Gliederung der Arbeit _______________________________________________________ 2 2 Grundlagen der (Bild-)Sensorik ______________________________________________ 3 2.1 Einführung in die Sensortechnologie ___________________________________________ 3 2.2 Merkmale von Sensoren ______________________________________________________ 4 2.3 Das VGAx-Sensorsystem _____________________________________________________ 6 2.4 Nichtidealitäten von Sensoren _________________________________________________ 7 2.5 Kalibrierung von Sensoren/Bildsensoren ________________________________________ 8 2.6 Kompensation von Störgrößen ________________________________________________ 9 3 CMOS-Bildsensoren ______________________________________________________ 11 3.1 Das menschliche Auge - Die Natur als Vorbild bei der Bildsensorentwicklung ________ 11 3.1.1 Einleitung _____________________________________________________________________ 11 3.1.2 Weber-Fechner-Gesetz ___________________________________________________________ 12 3.1.3 Die Sehschärfe _________________________________________________________________ 13 3.2 Übersicht zu CMOS-Bildsensoren_____________________________________________ 15 3.2.1 Allgemeiner Aufbau _____________________________________________________________ 16 3.2.2 Varianten von CMOS-Bildsensoren _________________________________________________ 17 3.3 Lineare vs. Logarithmische CMOS-Bildsensoren ________________________________ 19 3.4 Der HDRC-Bildsensor ______________________________________________________ 23 3.4.1 Der Dynamikbereich_____________________________________________________________ 23 3.4.2 Anwendungsgebiete der HDRC-Bildsensors __________________________________________ 24 3.4.3 Funktionsweise des HDRC-VGA-Frontends __________________________________________ 26 3.4.4 Analyse der Pixelzelle ___________________________________________________________ 27 3.4.5 Das physikalische Modell des HDRC-Sensors_________________________________________ 29 3.4.6 Der 3dB-Punkt _________________________________________________________________ 30 3.4.7 Ermittlung durch Sensitivitätskurve _________________________________________________ 32 4 Die Physik des HDRC-Sensors ______________________________________________ 33 4.1 Der MOS-Transistor________________________________________________________ 33 4.1.1 Einführung ____________________________________________________________________ 33 4.1.2 Transistor in schwacher Inversion __________________________________________________ 34 4.1.3 Variation der Schwellspannung ____________________________________________________ 38 4.2 Die Fotodiode______________________________________________________________ 39 5 Das Fixed-Pattern Rauschen _______________________________________________ 44 5.1 Problematik _______________________________________________________________ 44 5.2 Ursachen _________________________________________________________________ 44 5.3 Auswirkungen der Parametervariation ________________________________________ 46 Inhaltsverzeichnis VI 5.4 Die Statistik des Bildsensors__________________________________________________ 48 5.5 Darstellungsformen des Fixed-Pattern Rauschens _______________________________ 55 6 Stand der Technik ________________________________________________________ 60 6.1 Analoge und digitale Korrektur ______________________________________________ 60 6.2 A-posteriori Verfahren______________________________________________________ 61 6.2.1 1-Punkt-Offset-Korrektur _________________________________________________________ 61 6.2.2 Der Mehrpunkt-Abgleich _________________________________________________________ 64 6.2.3 Dual-Slope-Korrektur____________________________________________________________ 65 6.3 Analyse externer Arbeiten ___________________________________________________ 67 6.3.1 Logarithmischer CMOS-Bildsensor mit Kalibrierung über Referenzstromquelle ______________ 67 6.3.2 Selbstkalibrierende 1-Chip-Kamera mit Logarithmischer Kennlinie ________________________ 68 6.3.3 Kalibrierung eines logarithmischen CMOS-Pixels unter Berücksichtigung der Offset- und Verstärkerfehler_____________________________________________________________________ 70 6.3.4 Logarithmischer CMOS-Bildsensor mit on-Chip FPN-Korrektur __________________________ 71 6.3.5 Amerikanisches Patent zur Korrektur des örtlichen Rauschens bei logarithmischen Sensoren ____ 72 6.4 Diskussion der Verfahren____________________________________________________ 73 7 Experimenteller Aufbau und Ergebnisse ______________________________________ 75 7.1 Experimentelle Ermittlung der Sensordaten und Simulation_______________________ 75 7.1.1 Berechnung der Parameter und Korrektur ____________________________________________ 75 7.1.2 Aufnahme der Sensor-Charakteristik ________________________________________________ 76 7.1.3 Wahl der Messpunkte ____________________________________________________________ 80 7.1.4 Berechnung der Parameter ________________________________________________________ 84 7.1.5 Die Soll-Kennlinie ______________________________________________________________ 85 7.1.6 Maskierung schlechter Pixel_______________________________________________________ 86 7.1.7 Korrektur durch Umkehrfunktion___________________________________________________ 87 7.1.8 Simulation verschiedener Algorithmen ______________________________________________ 87 7.1.9 Bewertung der 3-Parameter-Methode________________________________________________ 89 7.1.10 Variationen der Logarithmischen-Methode __________________________________________ 90 7.2 Auswirkung der Quellen des örtlichen Rauschens auf die Korrekturqualität _________ 91 7.2.1 Allgemeines ___________________________________________________________________ 91 7.2.2 Die Parameter-Algorithmen _______________________________________________________ 92 7.2.3 Mathematische Analyse der Rauschquellen ___________________________________________ 93 7.2.4 Grafische Diskussion der Ergebnisse ________________________________________________ 95 7.2.5 Vergleich der Simulationsergebnisse mit der Physik ____________________________________ 96 8 Hardware-Optimierung der 3-Parameter-Methode______________________________ 97 8.1 Motivation ________________________________________________________________ 97 8.2 Die 3-Geraden Methode: Par4Lin_____________________________________________ 97 8.3 Die 3-Geraden Methode: Par3Lin____________________________________________ 102 8.4 Datenreduktion ___________________________________________________________ 104 8.5 Vergleich des Verfahrens Par3Lin mit anderen Algorithmen _____________________ 106 9 Temperaturkompensation _________________________________________________ 107 Inhaltsverzeichnis VII 9.1 Temperaturgang des VGAx-Bildsensors ______________________________________ 107 9.2 Bestimmung der Temperaturabhängigkeit durch Regression _____________________ 108 9.3 Par3Lin-Temp und Par4Lin-Temp___________________________________________ 112 9.4 Temperaturabhängigkeit des Thresholds______________________________________ 112 9.5 Diskussion der Ergebnisse __________________________________________________ 113 9.5.1 Speicherreduzierte Version_______________________________________________________ 113 9.5.2 Erste Ergebnisse mit dem Evaluationboard __________________________________________ 114 9.6 Vergleich mit anderen Algorithmen __________________________________________ 115 9.7 Temperaturgang des VGAx-Sensors__________________________________________ 117 9.8 Grobe Temperaturkorrektur durch Schwarzspalten ____________________________ 119 9.9 Weitere Experimente bezüglich Datenreduktion________________________________ 120 9.9.1 Speicherreduktion durch Gruppenbildung ___________________________________________ 120 9.9.2 Speicherreduktion durch Delta-Bildung _____________________________________________ 123 9.9.3 Diskussion der Ergebnisse _______________________________________________________ 124 10 Hardwarerealisierung der Algorithmen_____________________________________ 125 10.1 Sensorsignale des HDRC-VGAx ____________________________________________ 125 10.2 Aufbau des Evaluationboards ______________________________________________ 127 10.3 Par3Lin ________________________________________________________________ 128 10.3.1 Speicherorganisation __________________________________________________________ 128 10.3.2 Modularer Aufbau der Digitalkorrektur ____________________________________________ 129 10.3.3 Ergebnisse___________________________________________________________________ 133 10.4 Par3Lin-Temp___________________________________________________________ 136 10.4.1 Modulbeschreibung ___________________________________________________________ 136 10.4.2 Experimentelle Ergebnisse ______________________________________________________ 139 10.4.3 Interaktion zwischen Soft- und Hardware __________________________________________ 142 11 Weiterführende Experimente _____________________________________________ 144 11.1 Vorkorrektur____________________________________________________________ 144 11.1.1 3-Bit Vorkorrektur ____________________________________________________________ 144 11.1.2 Simulation einer Analog-Digitalkorrektur __________________________________________ 146 11.2 Kalibrierung der Kennlinie ________________________________________________ 147 11.2.1 Kalibrierung mehrerer Sensoren bei Raumtemperatur _________________________________ 147 11.2.2 Kalibrierung eines Sensors bei unterschiedlichen Temperaturen _________________________ 148 11.2.3 Kalibrierung mehrerer Sensoren bei unterschiedlicher Temperatur _______________________ 148 12 Ausblick ______________________________________________________________ 150 Anhang A CCD und CMOS-Sensoren ________________________________________ 151 A.1. Die CCD-Technologie __________________________________________________ 151 A.2. Linear-integrierende CMOS-Sensor ______________________________________ 153 A.3. Diskussion CCD- und CMOS-Technolgie __________________________________ 154 A.4. Anwendungen des HDRC-Sensors im Automobil____________________________ 155 Inhaltsverzeichnis VIII Anhang B Rauschen bei Bildsensoren ________________________________________ 157 B.1. Der Signalrauschabstand _______________________________________________ 157 B.2. Rauschquellen ________________________________________________________ 157 B.3. Das 3D-Rauschmodell __________________________________________________ 159 B.4. Grafische Analyse eines HDRC-Bildsensors ________________________________ 160 Anhang C Der Bildqualitätsindex ____________________________________________ 164 Anhang D Literaturverzeichnis ______________________________________________ 166 Index ___________________________________________________________________ 170 Abkürzungsverzeichnis V Abkürzungsverzeichnis Symbol Erklärung γ Body Faktor σ, σx Standardabweichung (allgemein), Standardabweichung bezüglich der Variable x ΦF Fermipotential ΦS Oberflächenpotential εSi, εox Permittivität von Silizium bzw. Oxid µn Beweglichkeit der Elektronen A Fläche des Pixels ai, a Offset eines Pixels bzw. Mittelwert über den gesamten Sensor aL2, bL2 Parameter der Gerade L2 im Hellen, wie sie bei der parametrisier- ten FPN-Korrektur verwendet wird aL3, bL3 Parameter der Gerade L3, welche durch den 3dB-Punkt geht, wie sie bei der parametrisierten FPN-Korrektur verwendet wird aLog, bLog, cLog Parameter, welche die logarithmische Charakteristik eines Pixels beschreiben bi, b Verstärkungsfaktor eines Pixels bzw. Mittelwert des gesamten Sensors C Kontrast (Kapitel 3.1) C Kapazität des Kondensators im Pixel C’ox Oxidschichtkapazitätsbelag ci, c 3dB-Punkt eines Pixels bzw. Mittelwert über den gesamten Sen- sor CS Kontrastempfindlichkeit Dn,p Diffusionskonstante für Elektronen und Löcher Eg Bandabstand ∆E Schwellenkontrast (Kapitel 3.1) e - Re-Noise Variation der gespeicherten Elektronen, verursacht durch kTC- Rauschen bei Reset-Vorgang frames Anzahl der Bilder über die integriert wurde GAperture Abschwächungsfaktor durch die Blende GAperture GLens GQuantum Verlustmechanismen durch die Blende, Linse bzw. Quantenaus- beute GLens Abschwächungsfaktor durch die Linse GQuantum Abschwächungsfaktor durch die Quanteneffizienz I Gesamtstrom durch die Fotodiode I Intensität (Kapitel 3) Ical Kalibrierstromstärke Id Drainstrom Abkürzungsverzeichnis VI Symbol Erklärung Idark Dunkelstrom IDS Drainstrom des Imax max. Drainstrom des Logarithmier-Transistors in schwacher In- version Imax maximale Drainstrom in schwacher Inversion Intensitymax maximale Intensität, welcher ein Bildsensor ohne in Sättigung zu gehen detektieren kann Intensitymin minimale Intensität, welcher ein Bildsensor vom Dunkelstrom unterscheiden kann Iober Oberflächenleckstrom IPhoto Fotostrom IS,diff IS,diff,n IS,diff,p gesamter Diffusionsdunkelstrom, n- bzw. p-seitiger Diffusions- dunkelstrom IS,gen Generationsdunkelstrom Itun Tunneldunkelstrom K Steilheit des Transistors L Kanallänge L1 „Leading One“, höchstwertige 1 in einer binären Zahl Leff effektive Kanallänge M Anzahl der Dekaden (Kapitel 3) N Anzahl der Bits (Kapitel 3) n Subthreshold Slope Faktor des Logarithmier-Transistors NA Dotierung des Kanals ni intrinsische Ladungsträgerdichte Nsub Dotierung des Substrats NV, NC Zustandsdichte im Valenz bzw. Leitungsband Q Qualitätsindex für Bilder Qint Gespeicherte Ladung nach Ende der Integrationszeit QRe-Noise Variation der gespeicherten Ladung, verursacht durch kTC- Rauschen bei Reset-Vorgang Qreset Gespeicherte Ladung nach dem Reset Qs,d flächenbezogene Inversionsladung am Source- bzw. Drain-Ende R Sinnesreiz (Kapitel 3) R Ohmscher Widerstand Sensitivity Empfindlichkeit des Sensors Sigma1 frame Standardabweichung, wenn nur ein einzelnes Bild aufgenommen wurden Sigman frames Standardabweichung, wenn über n Bilder integriert wurde SNR Signalrauschabstand T Temperatur in Kelvin T°C Temperatur in °C Abkürzungsverzeichnis VII Symbol Erklärung Tint Integrationszeit bei linear, integrierenden CMOS-Bildsensoren tox Oxiddicke U Spannung UBS Substratvorspannung Ucal Kalibrierspannung UD Drain-Spannung UDS Drain-Source-Spannung UDS Drain-Source-Spannung UFB Flachbandspannung UGS Gate-Source-Spannung Uint Spannung, die nach Ende der Integrationszeit anliegt ULSB kleinste, detektierbare Spannungseinheit eines A/D-Wandlers Umax maximale, wandelbare Spannung eines A/D-Wandlers Umin minimale, wandelbare Spannung eines A/D-Wandlers Uphoto Spannung erzeugt durch den Fotostrom URe-Noise Spannungsvariation, verursacht durch kTC-Rauschen bei Reset- Vorgang Ureset Spannung, die am Kondensator nach dem Reset anliegt US Source-Spannung Usb, Udb, Ugb Substrat-Bulk-Spannung, Drain-Bulk-Spannung bzw. Gate-Bulk- Spannung UTemp Temperaturspannung Uthresh Schwellspannung Uthresh, 0 Schwellspannung ohne Substratvorspannung W Kanalbreite Wd Breite der Sperrschicht im Kanal Weff effektive Kanalbreite x Beleuchtungsstärke ykorr Korrigierte Daten yroh Rohdaten des Sensors Zusammenfassung VIII Zusammenfassung Aufnahmen mit gängigen Bildsensoren sind in sehr hellen Bereichen weiß gesättigt und haben im Dunkeln eine schlechte Kontrastauflösung, so dass sie dort schwarz gesättigt erscheinen. Der in dieser Arbeit untersuchte HDRC-Bildsensor nimmt dagegen einen extremen Hellig- keitsbereich von über 7 Dekaden ohne Weißsättigung und mit guter Kontrastauflösung im Dunkeln auf. Bei diesem hohen Umfang von Signalwerten machen sich aber örtliche physika- lische und fertigungstechnische Abweichungen der Pixelkennlinien in einem Flächensensor mit z.B. 300 000 Pixel bemerkbar: Bei gleichförmiger Beleuchtung entsteht ein „gesprenkel- tes“ Bild. Dieses Fixed-Pattern ist statistisch über dem Sensor verteilt. Die optimalen Korrek- turparameter sind abhängig von der Helligkeit und der Temperatur, was insbesondere für den Einsatz dieser Bildsensoren in rauer Umgebung (Produktionsanlagen, Automobil) kritisch ist. Die Korrektur in Echtzeit bei 32 Bildern/Sekunde über den gesamten Helligkeits- und Tempe- raturbereich dieser HDRC-Bildsensoren war das Ziel dieser Arbeit. Es gibt bereits Verfahren, die das örtliche Rauschen im Hellen korrigieren. Die signifikante Temperaturabhängigkeit wie auch das Verhalten im Dunkeln wurden dagegen noch nicht be- trachtet. Erstmals realisiert diese Arbeit eine Methode, die an der Dunkelgrenze sowie durch- gängig über den gesamten Dynamikbereich von 7 Dekaden gute Korrekturergebnisse erzielt. Zudem ermöglicht das neue, auf dem physikalischen Modell des Pixels basierte Verfahren, erstmals die Korrektur des örtlichen Rauschens über einen weiten Temperaturbereich. Ergeb- nisse werden für 0°C bis 80°C vorgelegt. Die Strategie und die Realisierung des Verfahrens basieren auf der Ökonomie und Geschwin- digkeit digitaler Speicher- und Rechenverfahren, so dass im Kamerakopf die Korrektur in Echtzeit mit 32 Bilder / Sekunde bei VGA-Auflösung (300 000 Pixel) möglich ist. Ein ent- sprechender echtzeitfähiger Prototyp wurde in Hardware aufgebaut und bei verschiedenen Temperaturen getestet. Abstract IX Abstract Recordings taken with common image sensors are white saturated in the bright and have a poor contrast resolution in the dark, which leads to a black saturation. This work deals with HDRC image sensors which can record an extremely high dynamic range exceeding 7 decades without white saturation and good contrast resolution in the dark. Due to the high range of signal values, local physical and process variations of the pixel characteristics are visible in a field sensor of e.g. 300 000 pixels: A homogeneous illumination results in a “speckled” image. This so-called fixed-pattern noise is distributed statistically over the sensor. Optimal correction parameters are dependent on the illumination and on the temperature. The latter is very important for the application of the image sensors in harsh environments (e.g. manufacturing facilities, automotive). The correction in real-time at 32 frames/second over the whole illumination and temperature range for HDRC-image sensors was the aim of this work. There already exist methods which correct local noise in the bright. Neither the significant temperature dependence nor the behaviour in the dark was addressed before. This work realises for the first time a method, which works well at the dark limit as well as over the whole dynamic range of 7 decades. Additionally, the new technique, based on the physical model of the pixel, corrects the local noise over a wide temperature range. Results for 0°C to 80°C are given in this work. The strategy and the realisation of this method are based on the economy and speed of digital storage and processing, so that a correction within the camera-head in real-time with 32 frames / second at VGA-resolution (300 000 pixels) is possible. A prototype was realised in hardware and tested at different temperatures. X 1 Einleitung 1 1 Einleitung 1.1 Motivation Bildsensoren werden in CCD- und CMOS-Technologie gefertigt. Die Industrie bewertet dabei die weiteren Entwicklungsmöglichkeiten der CMOS-Bildsensoren als besonders positiv. Dementsprechend stellen viele Industriebranchen hohe Erwartungen an die weitere Optimie- rung von CMOS-Bildsensoren. Sie erhoffen sich dadurch, die CCD-Sensoren durch die güns- tigere CMOS-Technologie zu ersetzen und auch Bildsensoren in neuen Anwendungsfeldern einsetzen zu können. Inhalt dieser Arbeit ist deshalb die Optimierung des hochdynamischen HDRC-VGAx-Sensors des Instituts. Das Besondere an diesem Sensor ist seine logarithmische Charakteristik, die einen hohen Dynamikbereich zulässt. Anwendungsbeispiele für den HDRC-Sensor sind z.B. die Schweißnahtverfolgung und die automatische Inspektion von Metalloberflächen. In bei- den Fällen muss der Sensor extreme Helligkeitsunterschiede innerhalb einer Szene erfassen, ohne dabei in Sättigung zu gehen. Diese Eigenschaften realisiert der HDRC-Sensor durch die logarithmische Komprimierung im Pixel. Problematisch beim HDRC-Sensor ist jedoch das hohe örtliche Rauschen, welches zu Qualitätsverlusten im Bild führt. Ursachen sind hierfür prozessbedingte Parameterunterschiede zwischen den einzelnen Pixeln, die auf Grund des logarithmischen Verhaltens besonders schwerwiegend und komplex zu korrigieren sind. Zwei wichtige Rauschquellen stellen dabei die Schwellspannung und der Dunkelstrom dar, welche jeweils stark temperaturabhängig sind. Um einen noch größeren Einsatzbereich des Bildsensors in der Automatisierungstechnik und Automobilindustrie zu erreichen, muss deshalb das örtliche Rauschen besser korrigiert und auch temperaturabhängige Anteile im Korrekturverfahren berücksichtigt werden. Ziel dieser Dissertation ist deshalb die Entwicklung und Analyse von Fixed-Pattern Korrekturverfahren, die die Temperatur als zusätzlichen Parameter berücksichtigen. Um die Vorteile des HDRC- Sensors ausnützen zu können, muss eine gleich bleibende Korrekturqualität über einen hohen Dynamikbereich gewährleistet werden. Dies führt zu einer ganzheitlichen und komplexen Betrachtung des Problems. Das Institut legt dabei besonderen Wert auf eine sehr gute Korrek- tur im Dunkeln. Neben der Entwicklung eines geeigneten Korrekturalgorithmus ist eine weitere, elementare Aufgabe dieser Arbeit die Umsetzung des Algorithmus in Hardware. Dies erfordert eine An- passung des Verfahrens an eine Hardware Implementierung. Im Rahmen dieser Arbeit wird Leistungsfähigkeit des VGAx-Sensors als intelligenten Sensor weiterentwickelt und um eine digitale Hardware-Einheit, die das örtliche Rauschen in Abhängigkeit von der Temperatur korrigiert, erweitert. 1 Einleitung 2 1.2 Gliederung der Arbeit Das erste Kapitel gibt eine allgemeine Einführung in die Sensorik. Neben Begriffsdefinitionen zeigt dieser Abschnitt den Unterschied zwischen Bildsensoren und Einzelsensoren. Hierbei ist besonders hervorzuheben, dass die Korrektur von Bildsensoren komplexer ist als die von Ein- zelsensoren. Bildsensoren sollen die Funktionalität des Auges aufweisen. Deshalb geht das Kapitel „CMOS-Bildsensoren“ zunächst auf die Physiophysik des menschlichen Auges ein. An- schließend wird die CMOS-Bildsensortechnologie vorgestellt und der Unterschied zwischen linearen und logarithmischen Sensoren herausgearbeitet. Abschließend gibt dieser Abschnitt eine Einführung in den HDRC-Bildsensor, welcher dieser Arbeit zu Grunde liegt. Wichtige physikalische Grundlagen beschreibt Kapitel 4. Die Problematik des Fixed-Pattern Rau- schens, seine Ursachen analysiert das 5. Kapitel. Durch die Analyse verschiedener Darstel- lungsformen des Fixed-Pattern Rauschens, kann der Leser anschließend die Grafiken besser interpretieren. Das Kapitel 6 beschreibt den aktuellen Stand der Technik, bei dem das Prob- lem der Offsetkorrektur, wie auch der Korrektur des Verstärkungsfaktors gelöst ist. Die aus der Literatur entnommenen Verfahren arbeiten dabei mit einer analogen in-Pixel Korrektur. Die Analyse des Pixelverhaltens sowie der Qualität bekannter Korrekturverfahren hat erge- ben, dass die Korrektur auf dem physikalischen Modell des Sensors beruhen muss. Auf Grund des technologischen Fortschritts soll zudem die Korrektur durch ein digitales A-posteriori Verfahren realisiert werden. Aus diesem Grund beschreibt der Abschnitt 7 die logarithmische Korrektur durch die 3-Parameter-Methode und stellt den experimentellen Aufbau vor. Die erste Innovation der Arbeit erläutert das darauf folgende Kapitel, in dem es die 3- Geraden-Methode näher analysiert und anderen Methoden vergleicht. Ziel dieses Schrittes ist das physikalische Modell für eine digitale Hardware-Implementierung zu vereinfachen, da die Verwendung logarithmischer und exponentialer Funktionen zu vermeiden ist. Der 9. Abschnitt geht auf den zweiten, großen Fortschritt dieser Arbeit ein: der ganzheitlichen Betrachtung des örtlichen Rauschens unter Berücksichtung des Temperaturgangs. Zum ersten Mal wird in diesem Kapitel eine Methode vorgestellt, die das örtliche Rauschen des HDRC- Sensors, unter Berücksichtung des physikalischen Modells und dem signifikantem Tempera- turverhalten der Elektronik, korrigiert. Im Rahmen dieser Arbeit wurden abschließend Prototypen für beide Methoden mit und ohne Temperaturkompensation realisiert. Die Testergebnisse der Hardware-Implementierungen zeigt Kapitel 10. Abschließend analysiert Abschnitt 11 weiterführende Experimente im Zu- sammenhang mit dem HDRC-Bildsensor. 2 Grundlagen der (Bild-)Sensorik 3 2 Grundlagen der (Bild-)Sensorik Sensoren wandeln physikalische, chemische und biologische Messgrößen in mechanische oder elektrische Signale um. Dieses Kapitel führt Begriffe aus der allgemeinen Sensorik wie auch Bildsensorik ein, welche im Rahmen dieser Arbeit benötigt werden. Zudem werden die Unterschiede zwischen einfachen Sensoren und Bildsensoren hervorgehoben. 2.1 Einführung in die Sensortechnologie Der Begriff Sensor kommt vom lateinischen Begriff „Sensus – der Sinn“. Sensoren bilden dementsprechend Systeme, mit denen physikalische, chemische und biologische Messgrößen erfasst werden können. Diese werden anschließend in mechanische Signale (z.B. Quecksilber- thermometer) oder elektrische Signale (z.B. temperaturabhängiger Widerstand) umgewandelt. Diese Arbeit beschäftigt sich mit Bildsensoren, welche in der Lage sind, Lichtintensität in elektrische Signale und anschließend in ein schwarz-weiß Bild umzuwandeln. Bei Sensoren werden verschiedene Hierarchiestufen unterschieden. Zunächst gibt es den Ele- mentarsensor, welcher eine Messgröße aufnimmt und in ein entsprechendes elektrisches bzw. mechanisches Signal umwandelt. Dieses Rohsignal ist noch nicht weiter aufbereitet. In der 2. Hierarchiestufe befinden sich die integrierten Sensoren, welche eine zusätzliche Signalaufbe- reitung inkl. Verstärkung, Filterung, Linearisierung, Normierung etc. beinhalten. Die oberste Stufe bilden die intelligenten Sensoren, welche zusätzlich eine rechnergesteuerte Auswertung am Ausgang besitzen. [7] Abbildung 2-1: Vergleich der Sensor-Hierarchie mit einem VGAx-Bildsensor Abbildung 2-1 vergleicht die soeben beschriebene Sensor-Hierarchie mit der eines VGAx- Sensors, welcher dieser Arbeit zu Grunde liegt. In der untersten Stufe befindet sich hierbei nur das 2-dimensionale Pixelarray von Elementarsensoren. Anschließend werden diese Daten durch eine Verstärker- und eine Sample & Hold-Stufe weiterverarbeitet und digitalisiert. Dann erfolgt in der obersten Stufe die Fixed-Pattern Korrektur (FPN-Korrektur, vgl. Kapitel 4). Im Rahmen dieser Arbeit soll die Leistungsfähigkeit des VGAx-Sensors durch eine opti- mierte Fixed-Pattern Korrektur verbessert werden. Elementarsensor Integrierter Sensor Intelligenter Sensor Pixelarray Ausleseschaltung inkl. Verstärkung- FPN-Korrektur Sensor-Hierarchie Hierarchie im VGAx- Sensor 2 Grundlagen der (Bild-)Sensorik 4 Im direkten Zusammenhang mit dieser Hierarchie stehen auch die Signale, die vom System weitergegeben werden (vgl. Abbildung 2-2). Der Elementarsensor, im Falle des VGAx- Sensors, das Pixelelement, liefert ein analoges Signal. Dieses wird durch den integrierten Sensor aufbereitet und zu einem digitalen Wert gewandelt. Im letzten Schritt, dem intelligen- ten Sensor erfolgt die Korrektur und Weitergabe als busfähiges Signal. [58] Abbildung 2-2: Signale innerhalb eines Sensorsystems Die Sensortechnologie unterscheidet des Weiteren interne und externe Sensoren. Interne Sen- soren erfassen interne Zustände, während externe Daten über die Umwelt aufnehmen. Diese Arbeit beschäftigt sich dabei vorrangig mit einem externen Sensor – dem Bildsensor VGAx. Für die Lösung der Fragestellung eines temperaturunabhängigen Fixed-Pattern Korrekturalgo- rithmus wird zusätzlich ein interner Sensor benötigt, welcher die Temperatur des Bildsensors erfasst und an den digitalen Schaltungsteil weitergibt. Beim Endsystem handelt es sich dann auch um ein Multisensorsystem, in welchem unterschiedliche Sensortypen integriert sind. 2.2 Merkmale von Sensoren Die Qualität von Sensoren wird von verschiedenen Kenngrößen bestimmt. Die nachfolgend genannten sind für alle Sensortypen von Bedeutung: • Messbereich: Innerhalb welchen Intervalls kann die Messgröße liegen, die vom Sensor erfasst und ausgewertet werden soll? • Betriebsbereich: Hier werden Angaben zu den äußeren Einwirkungen auf einen Sensor definiert. Vorrangig betrifft dies die Umgebungstemperatur, in der der Sensor eingesetzt werden kann. Angaben über Schutz vor Wassereinwirkung oder Staub zählen ebenfalls dazu. • Baugröße und -form: Je nach dem wo der Sensor eingesetzt werden soll, ist die Baugröße und Bauform entscheidend. Elementarsensor/ Pixelelement Integrierter Sensor/ Ausleseschaltung Intelligenter Sensor/ FPN-Korrektur analoges Signal digitales Signal busfähiges Signal 2 Grundlagen der (Bild-)Sensorik 5 • Genauigkeit: Die Genauigkeit gibt an, mit welchem Fehler die Messung behaftet ist. Häu- fig besteht ein direkter Zusammenhang zwischen Sensorkomplexität, dessen Genauigkeit und dem Preis. • Signal-Rausch-Verhältnis: Wie klein darf der Abstand des zu messenden Signals und ei- ner Rauschquelle sein, so dass der Sensor das Messsignal sicher erfassen kann. • Kosten: Alle genannten Einflussfaktoren sind für den Preis bestimmend. Für Bildsensoren sind weitere Angaben wichtig: • Technologie: Ist der Sensor in CMOS- oder CCD-Technologie gefertigt? • Auflösung: Über wie viele Pixel verfügt der Sensor? Je höher die Auflösung, desto feiner kann das Bild dargestellt werden. • Farbe/monochrom: Handelt es sich um einen Farb- oder Monochrom-Sensor? • Farbtiefe: Wie viele Bits stehen für die Darstellung der Farbkanäle zur Verfügung. • Datenrate: Wie viele Bilder pro Sekunde kann der Sensor aufnehmen und übertragen? • Dynamikbereich: Der Dynamikbereich beschreibt, bei welchen maximalen und minimalen Helligkeitswerten arbeitet der Sensor ohne in Sättigung zu gehen. Je größer der Dynamik- bereich ist, desto mehr Details können auch noch im Dunkeln und im Hellen erkannt wer- den. Es kommt zu keiner Über- bzw. Unterbelichtung. • Übersprechen: Diese Problematik beschreibt, dass Informationen von einem Pixel in einen Nachbarpixel übersprechen können und damit die ursprünglichen Werte überlagern. • Einheitliche Pixelwerte: Auf Grund des Herstellungsprozesses, variieren die Ausgabewer- te der Pixel bei homogener Beleuchtung (Flat Field Noise, Fixed Pattern Noise). Dieser Wert gibt an, wie einheitlich die Pixel sind. • Sättigung: Bis zu welcher Beleuchtungsstärke können Bildsensoren Szenen erfassen, ohne dass diese in Sättigung gehen. • Füllfaktor: Der Füllfaktor eines Bildsensors ist eine elementare Charakteristik, da sie aus- sagt, wie hoch der Anteil der fotosensitiven Fläche zur Gesamtpixelfläche ist. Je höher dieser Anteil ist, desto besser ist die Ausbeute des Bildsensors, da die Anzahl der erzeug- ten Fotoelektronen direkt proportional zur fotosensitiven Fläche ist. • Dunkelstrom: Aus physikalischen Gründen begrenzt der Dunkelstrom die Empfindlichkeit im Dunkeln. Je niedriger der Dunkelstrom eines Bildsensor ist, desto höher ist seine max. Empfindlichkeit im Dunkeln. • Quantenausbeute: Sie gibt an, wie viele Fotoelektronen durch Fotonen erzeugt werden. Die Quantenausbeute gibt in Abhängigkeit von der Wellenlänge des Lichtes an, welcher Anteil von Fotonen Fotoelektronen erzeugt hat. • Schnittstelle: Welche Schnittstellen stellt die Kamera zur Verfügung? 2 Grundlagen der (Bild-)Sensorik 6 2.3 Das VGAx-Sensorsystem Signal- verarbeitung Sensor- element Sensor- auslese... Sensor- ansteuerung AD- Wandlung Licht 1-Punkt Offset- Korrektur Digitale Schnittstelle Analoge SchnittstelleOn-Chip Elementar- sensor Integrierter Sensor Integrierter Sensor (Modulplatine) Intelligenter Sensor (Modulplatine) Abbildung 2-3: Blockdiagramm des VGAx-Kamerasystems Abbildung 2-3 macht den Transfer von einem allgemeinen Sensorsystem zum VGAx-Sensor. Die eigentlichen Sensorelemente, welche die Beleuchtungsstärke messen, befinden sich im Pixel Array und umfassen beim VGAx-Sensor 784 Spalten und 501 Zeilen. Zur Ansteuerung der einzelnen Pixelzellen ist ein Adressgenerator notwendig, welcher die entsprechenden Zei- len- bzw. Spaltensignalleitungen aktiviert. Die Sensorinformationen werden dann über eine Sample- und Holdstufe und den analogen Pfad ausgelesen. Diese Komponenten sind direkt auf dem Sensor integriert. Eine zusätzliche AD-Wandlung und, falls erwünscht, eine 1-Punkt- Offset-Korrektur finden nicht direkt im Sensor, sondern auf einer „nachgelagerten“ Schaltung statt. Die 1-Punkt-Offset-Korrektur soll im Zuge dieser Arbeit durch einen neuen, leistungs- stärkeren Algorithmus ersetzt werden. 2 Grundlagen der (Bild-)Sensorik 7 2.4 Nichtidealitäten von Sensoren Im Idealfall sollte jeder Sensor eine Messgröße zeitinvariant in das entsprechende elektrische Signal wandeln. Sensorelemente des gleichen Typs sollten dabei jeweils die gleichen Ergeb- nisse liefern. In der Realität sind die Sensorinformationen jedoch von verschiedenen Rausch- quellen überlagert. Abbildung 2-4: Kategorisierung von Nichtidealitäten und mögliche Korrekturmaßnahmen [63] Abbildung 2-4 gibt eine Kategorisierung von Nichtidealitäten an. Zunächst unterscheidet sie zeit-invariante und zeit-variante Komponenten, welche wiederum deterministisch oder statis- tisch auftreten können. • Zunächst können Prozessparameterschwankungen auftreten, welche durch eine Festwert- korrektur, Differenz- oder Quotientenbildung eliminiert werden können. Prozessschwan- kungen sind statistisch verteilt und zeit-invariant. • Rauschen, Alterung sind zeit-variant und statistisch verteilt. Aus diesem Grund können sie z.B. durch Filterung, Correlated Double Sampling oder Bildung von Mittelwerten korri- giert werden. • Nichtlinearitäten sowie parasitäre Effekte stellen deterministische, zeit-invariante Störfak- toren dar, welche durch Festwertkorrektur oder entsprechende Schaltungen behoben wer- den können. • Temperatur, Spannung, Luftfeuchtigkeit sind deterministisch, aber zeitlich ändernde Fak- toren, welche durch Online Messung der Querempfindlichkeit kompensiert werden kön- nen. 2 Grundlagen der (Bild-)Sensorik 8 Für die Betrachtung von HDRC-Bildsensoren sind im Rahmen dieser Arbeit drei Nichtideali- täten von besonderer Bedeutung: 1. Prozess-Parameter-Schwankungen: Sie führen zu dem in Kapitel 4 beschriebenen örtli- chen Rauschen. Eine Korrektur kann mittels analoger oder digitaler Verfahren erfolgen. 2. Zeitliches Rauschen, verursacht z.B. durch Störeinflüsse von außen oder Schrotrauschen führt ebenfalls zu einer Degradierung der Bildqualität. Eine Integration über mehrere Bil- der eliminiert zeit-variantes Rauschen. 3. Abhängigkeit von der Temperatur: In Kapitel 8.5 wird ein Algorithmus vorgestellt, wel- cher die Temperaturabhängigkeit der Parameter berücksichtigt und diese während der Laufzeit entsprechend berechnet. Die Vorgehensweise bei der Korrektur von zeit-varianten und zeit-invarianten Rauschquellen ist unterschiedlich. Eine Kalibrierung erfasst die Korrekturparameter zeit-invarianter Rausch- quellen. Diese Parameter bleiben konstant und können herausgerechnet werden. Zeit-variante Rauschquellen können dagegen nicht durch eine Kalibrierung eliminiert werden. Hier ist es erforderlich, dass sie während der Laufzeit erfasst werden. Die Korrektur erfolgt dann konti- nuierlich mit den sich zeitlich verändernden Korrekturparametern. Es liegt eine Kompensati- on vor. [23] 2.5 Kalibrierung von Sensoren/Bildsensoren Ziel der Sensorkalibrierung ist, dass zwei baugleiche Sensoren bei gleichen Eingangsstimuli die gleichen Ausgabewerte erzeugen. Dies ist wichtig, damit z.B. Sensoren problemlos in einem Messsystem ausgetauscht werden können. Kapitel 2.4 hat bereits verschiedene Nichti- dealtitäten von Sensoren vorgestellt, die eine Kalibrierung notwendig machen. Bei diesem Schritt werden von dem einzelnen Sensor charakteristische Daten erfasst und entsprechende Korrekturparameter berechnet. (vgl. Abbildung 2-5) Sensor 1 Sensor 2 Sensor 3 Einheitlicher Ausgabewert Eingangs- stimuli Abbildung 2-5: Kalibrierung von Einzelsensoren Bei einem Bildsensor ist die Kalibrierung wesentlich komplexer. Zunächst müssen die einzel- nen Pixel, welche als unabhängige Sensoreinheit aufgefasst werden können, so aufeinander abgestimmt werden, dass sie bei homogener Beleuchtung den gleichen Ausgabewert erzeu- gen. Bei einem Bildsensor mit VGA-Auflösung müssen für einen einzigen Bildsensor 640⋅480 Pixelelemente kalibriert werden. (siehe Abbildung 2-6) 2 Grundlagen der (Bild-)Sensorik 9 Eingangs- stimuli Pixel 1,1 ... Pixel m,1 Einheitlicher Ausgabewert ... ... ... Pixel 1,n ... Pixel m,n Bildsensor Abbildung 2-6: Kalibrierung der Pixel eines Bildsensors Erst, wenn die Homogenität des Pixelfeldes gewährleistet ist, können verschiedene Bildsenso- ren untereinander kalibriert werden. Auf Grund dieser Zusammenhänge gestaltet sich die Ka- librierung von Bildsensoren schwieriger, als bei einfachen Sensorsystemen. Abbildung 2-7) Bild- sensor 1 Bild- sensor 2 Bild- sensor 3 Einheitlicher Ausgabewert Eingangs- stimuli Abbildung 2-7: Kalibrierung mehrerer Bildsensoren 2.6 Kompensation von Störgrößen Messwerte werden durch Störgrößen verfälscht. Zu Störgrößen zählen alle Größen, die nicht Gegenstand der Messwerterfassung sind. Je nach Sensortyp unterscheiden sich dementspre- chend die Störgrößen. So zählt einerseits die Temperatur zu einer der wichtigsten Störquellen, andererseits ist sie in einem Temperatursensor Inhalt der Messwerterfassung. Zusätzlich hängt es vom verwendeten Sensor ab, wie hoch die Querempfindlichkeit auf bestimmte Umweltein- flüsse ist. Je nach Komplexität des Sensorsystems, Preisgestaltung und der Störgröße ist es möglich, diese zu erfassen und entsprechend zukompensieren. [36] 2 Grundlagen der (Bild-)Sensorik 10 SensorMessgröße x Störgrößen Korrektur y out Pixel i Störgrößen Korrektur Pixel i Messgröße yinysensor yPixel,i Pixel i KorrekturPixel i yout yPixel,i ... Einfaches Sensorsystem Bildsensor Abbildung 2-8: Korrektur von Sensoren Abbildung 2-8 verdeutlicht die Problematik zwischen der Korrektur eines einfachen Sensors und eines Bildsensors. Auf beide Systeme wirken Störgrößen ein. Im Fall des Bildsensors müssen diese Störquellen bei allen Pixelelementen entsprechend kompensiert werden. Eine optimale Kompensation müsste theoretisch auch berücksichtigen, dass sich die Störgröße über der Sensorfläche unterschiedlich verhält. So ist z.B. Temperaturverteilung über der Sensorflä- che nicht gleichmäßig. Da diese Schwankungen jedoch schwer erfassbar sind, werden sie nachfolgend nicht berücksichtigt. Die bedeutendste Störgröße bei CMOS-Bildsensoren ist die Temperatur. Sie hat eine Auswir- kung auf die Korrekturparameter und muss deshalb bei einer hochwertigen Korrektur berück- sichtigt werden. Ein weiteres Sensorsystem erfasst deshalb die Temperatur und bezieht diese als zusätzlichen Parameter bei der Korrektur ein. Dies führt zu einem Multisensorsystem. (vgl. Abbildung 2-9). Pixel i Temperatur Korrektur Pixel i yPixel,i Pixel i KorrekturPixel i yout yPixel,i ... Temp Sensor Korrektur youtyTSensor Andere Störgrößen Abbildung 2-9: Korrektur eines Bildsensors unter Berücksichtigung der Temperatur 3 CMOS-Bildsensoren 11 3 CMOS-Bildsensoren Die Bedeutung der Bildsensoren spiegelt sich derzeit auf dem stark ansteigenden Markt und durch die steigende Variantenvielfalt nieder. Bildsensoren, die wie das menschliche Auge sehen können, sind für die Industrie von hoher Bedeutung. Dieses Kapitel befasst sich deshalb zunächst mit der Psychophysik des Auges. Anschließend wird die Funktionsweise von CMOS-Bildsensoren im Allgemeinen vorgestellt. Ein besonders hohes Anwendungspotential weisen dabei hochdynamische CMOS-Bildsensoren auf. Aus diesem Grund wird abschlie- ßend der HDRC-Sensor des Instituts vorgestellt und beispielhafte Anwendungsgebiete aufge- zeigt. 3.1 Das menschliche Auge - Die Natur als Vorbild bei der Bildsensorentwicklung 3.1.1 Einleitung Das Auge stellt ein wichtiges Sinnesorgan des Menschen dar, das Szenen mit hoher Auflö- sung und Dynamik wahrnehmen kann. Die Sinneszellen, die das Licht detektieren, sind in der Netzhaut eingebettet. Es wird zwischen zwei Arten unterschieden: den Stäbchen und den Zap- fen. Für die Wahrnehmung von Hell und Dunkel sind die Stäbchen zuständig, während die Zapfen das Farbsehen ermöglichen. Die Zapfen sind dagegen nicht besonders lichtempfind- lich, so dass das Auge nur bei ausreichender Beleuchtung Farben wahrnehmen kann. Die Sin- neszellen erfassen das einfallende Licht und erzeugen Nervenimpulse, die über Nervenbahnen an das Gehirn weitergeleitet werden. Dort werden diese Informationen interpretiert und Schlussfolgerungen für das weitere Handeln gezogen. Hierfür ist ausschlaggebend, dass das Auge im Hellen, wie auch im Dunkeln, Details erfassen kann. Grundlage für diesen hohen Dynamikbereich ist das logarithmische Verhalten des menschlichen Auges. Im Zusammen- hang mit Kameras sind die Linse und die Pupille zu erwähnen. Die Linse ermöglicht es dem Auge das Bild scharf zu stellen. Bei starkem Lichteinfall verkleinert sich die Pupille und schützt damit das Sinnesorgan. Abbildung 3-1 zeigt den Aufbau des menschlichen Auges. [39], [41] Abbildung 3-1: Aufbau des menschlichen Auges [41] 3 CMOS-Bildsensoren 12 Die Vision des elektronischen, intelligenten Auges beschäftigt die Forschung schon seit Jah- ren. Ziel der Industrie und der wissenschaftlichen Einrichtungen ist, ein Kamerasystem zu entwickeln, welcher ähnliche oder sogar verbesserte Eigenschaften im Vergleich zu unserem menschlichen Sehsystem hat. Dies betrifft vor allem den hohen Dynamikbereich und die Fä- higkeit, Szenen zu interpretieren. Die Einsatzgebiete von elektronischen Augen sind z.B. in der Sicherheitstechnik, der optischen Qualitätskontrolle und in Fahrerassistenzsystemen. Nachfolgende Abschnitte gehen auf die Physik des Auges ein. 3.1.2 Weber-Fechner-Gesetz Ernst Heinrich Weber hat 1834 eine Annahme aufgestellt, in der er beschreibt, dass sich ein Reiz um einen bestimmten Bruchteil des Ausgangsreizes verändern muss, damit eine Reiz- wahrnehmung auftritt. Diese Verbindung hat Weber zunächst bei dem Geruchssinn erkannt und anschließend für weitere Sinnesorgane verallgemeinert. Die Weber-Regel beschreibt die- se Gesetzmäßigkeit: [64], [2] 0R RkE ∆∆ ⋅= (3-1) Dabei ist ∆E die Unterschiedsschwelle, die benötigt wird, damit eine Reizveränderung ∆R zum Ausgangsreiz R0 erkannt wird. k ist eine Proportionalitätskonstante. Sinnesorgane, so auch das Auge, unterliegen einem spontanen, internen Rauschen, welches dazu führt, dass manchmal ein minimaler Reiz wahrgenommen wird oder auch nicht. Um diese Unterschieds- bzw. Reizschwelle zu detektieren, müssen mehrere Messungen vorge- nommen werden. Die Psychophysik definiert dann die Unterschiedsschwelle bzw. Reiz- schwelle als den Wert, bei dem eine Person eine Reizänderung mit einer Wahrscheinlichkeit von 50% wahrgenommen hat. Dementsprechend sind diese Schwellwerte individuell und al- tersabhängig. Sie können nachfolgend nur durch einen Durchschnittswert angegeben werden. Nach [64] liegt die Reizschwelle für die Lichtstärke bei 1 bis 2%. [2] Gustav Theodor Fechner entwickelte 1860 psychophysische Skalen anhand des Weber- Gesetzes. Er formulierte dabei folgenden Zusammenhang: [64], [2] 0R Rlogk~E ⋅ (3-2) Dabei stellt E die Empfindungsstärke dar, R0 legt dabei den Schwellenreiz und R den voran- gegangen Reiz fest. Ungefähr 100 Jahre später überprüfte Stanley Smith Stevens das Weber-Fechner Gesetz expe- rimentell. Dabei stellte er eine Übereinstimmung im mittleren Reizstärkebereich, jedoch Ab- weichungen bei großen und sehr kleinen Reizstärken fest. Als Ergebnisse entwickelte er die Stevens-Potenzfunktion: [2] ( )n0RRkE −⋅= (3-3) 3 CMOS-Bildsensoren 13 Der Parameter n variiert je nach Sinnesorgan und ist meistens kleiner 1. Dies bedeutet, dass die Empfindungsintensität langsamer zunimmt, als die Reizintensität. Eine Ausnahme stellt dabei die Schmerzempfindung mit n=2.1 dar. Für die Helligkeit gilt ein Durchschnittswert von n=0.5. [2] 3.1.3 Die Sehschärfe Die menschliche Sehschärfe wird von vier Faktoren beeinflusst: • Der Fähigkeit, einen Gegenstand zu erkennen. Dies bedeutet, die Suche nach dem kleins- ten Punkt bzw. der kleinsten Linie, die der Beobachter sehen kann. • Die Auflösung wird dadurch überprüft, wie dicht zwei benachbarte Punkte oder Linien zusammen liegen dürfen, damit der Beobachter diese noch unterscheiden kann. • Der Wiedererkennungswert beschreibt, wie klein ein Textelement sein darf, damit es noch lesbar ist. • Die Lokalisierungsschärfe gibt an, welchen kleinsten Offset ein Betrachter zwischen zwei nicht durchgezogenen Linien noch sehen kann. Abbildung 3-2: Beispiele für die Faktoren, die die Sehschärfe beeinflussen Der Augenarzt misst die Sehrschärfe mit den Snellen-Buchstaben. Diese Tabelle weist Buch- staben mit unterschiedlicher Größe – unterschiedlicher örtlicher Frequenz – auf. Neben der Sehschärfe ist die Kontrastempfindlichkeit sehr wichtig. Hierbei ist zu bemerken, dass der Kontrast auch von der Größe des Elements abhängt. (vgl. Abbildung 3-3) Erkennung eines minimalen Gegenstandes Auflösung Kleinste Schrift Lokalisierung IMS IMS 3 CMOS-Bildsensoren 14 E E E E E E E E E E E E E E E E E E E E A D I L M A D I L M A D I L M A D I L M A D I L M A D I L M A D I L M A D I L M A D I L M A D I L M A D I L M A D I L M A D I L M A D I L M A D I L M A D I L M A D I L M A D I L M Snellen-Buchstaben Pelli-Robson K o n tr as ts en sit iv itä t Örtliche Frequenz Abbildung 3-3: Abhängigkeit der Lesbarkeit von der Buchstabengröße und dem Kontrast Die Kontrastempfindlichkeit ist ein Maß, ab wann kontrastarme Muster nicht mehr erkannt werden können. Sie wird definiert als der reziproke Wert des Schwellenkontrastes: E 1CS ∆ = (3-4) Die ermittelte Kontrastempfindlichkeit ist, wie bereits beschrieben, individuell und altersab- hängig. Zusätzlich hängt sie von der Größe des gezeigten Objektes, der Anzeigendauer, der Farbe und der Position im Bildfeld ab. Außerdem müssen beim menschlichen Auge zwei Ty- pen von Rezeptoren unterschieden werden – die Zapfen (ca. 7 Millionen) und die Stäbchen (ca. 120 Millionen). Dabei sind die Zapfen für das Tages- und Farbsehen verantwortlich. Die Stäbchen können nur schwarz-weiß sehen, haben aber dafür eine sehr hohe Lichtempfindlich- keit, so dass wir auch im Dunkeln etwas erkennen können. Unter Berücksichtigung dieser Aspekte hat [9] ein Modell aufgebaut. 3 CMOS-Bildsensoren 15 Abbildung 3-4: Modell der Schwellwerte über den gesamten Dynamikbereich des Auges [9] Abbildung 3-4 zeigt die Kontrastschwelle in Abhängigkeit zur Hintergrundbeleuchtung. Die Grafik stellt zudem die Sensitivität der Stäbchen (rods) und Zapfen (cones) gegenüber. Dabei ist ersichtlich, dass im Dunkeln die Stäbchen empfindlicher und im Hellen die Zapfen emp- findlicher sind. 3.2 Übersicht zu CMOS-Bildsensoren Bei Bildsensoren werden in zwei Technologien hergestellt: CCD- und CMOS-Bildsensoren. Aus technischen Gründen konnte bis Anfang der 90er Jahre keine CMOS-Bildsensoren mit ausreichend hoher Qualität hergestellt werden. Deshalb stellt das CCD-Verfahren die ur- sprüngliche Technologie für Bildsensoren dar. Der technische Fortschritt erlaubt es jetzt den Entwicklern das Potential von CMOS-Sensoren auszunützen. Aus diesem Grund sind immer mehr CMOS-Bildsensoren mit unterschiedlichen Charakteristiken und damit diversen An- wendungsfeldern am Markt erhältlich. Bildsensoren CCD-Technologie CMOS-Technologie Abbildung 3-5: Bildsensoren werden in zwei Technologien gefertigt: CCD und CMOS Der dieser Arbeit zu Grunde liegende Sensor ist in der CMOS-Technologie hergestellt, mit der sich der Abschnitt 3.2 beschäftigt. Informationen zu CCD-Bildsensoren sowie eine Dis- kussion zwischen beiden Verfahren befindet sich im Anhang A. 3 CMOS-Bildsensoren 16 Im letzten Jahrzehnt wurde die CMOS-Technologie allgemein verbessert, so dass es möglich wurde CMOS-Bildsensoren in Großserie zu produzieren. Eine Vielzahl von Entwicklungen auf diesem Gebiet ist es zu verdanken, dass die Eigenschaften dieses Sensortyps in fast allen Bereichen denen der CCD-Sensoren überlegen sind. 3.2.1 Allgemeiner Aufbau Jedes Pixel eines CMOS-Bildsensors besteht aus einer Fotodiode und mehreren Transistoren, welche für die Umwandlung des Fotostroms in eine Spannung und in die Signalverstärkung zuständig sind. Je nach Bauart unterscheidet sich die Anzahl der Transistoren pro Pixelzelle. Mit einer einzelnen Pixelzelle kann noch kein Bild aufgenommen werden. Eine Fotodiode kann nur die Helligkeit in einem Punkt messen. Um ein Bild zu erhalten, müssen Fotodioden zu einem Bildsensor zusammengeschaltet werden. Im einfachsten Fall bilden die Dioden eine Zeile (1-dimensionale Matrix). Mit ihr ist es möglich, eine Zeile im Bild zu erfassen. Dieses Verfahren wird z.B. in Scannern eingesetzt. In einer digitalen Kamera sind mehrere Sensor- zeilen zu einer Matrix zusammengefasst, den Flächensensoren. Der Sensor kann dadurch eine gesamte Bildszene erfassen. Abbildung 3-6: 2-dimensionale Matrix eine CMOS-Bildsensors und die entsprechende An- steuerungseinheit [19] Wie die Abbildung 3-6 zeigt, ähnelt der Aufbau von CMOS-Bildsensoren dem von Spei- chereinheiten. Die Pixel und die entsprechenden Zusatzschaltungen sind in einer zweidimen- sionalen Matrix angeordnet. Wie beim Speicher sind die Pixel in Zeilen und Spalten organi- siert und werden durch einen Zeilen- und Spaltendecoder angesteuert. Alle nachfolgend be- schriebenen CMOS-Bildsensoren basieren auf einer Fotodiode, welche die einfallenden Foto- 3 CMOS-Bildsensoren 17 nen in einen Strom umwandeln. Die verschiedenen Variationen unterscheiden sich in der Art und Weise, wie dieser Fotostrom anschließend weiterverarbeitet wird. CMOS-Technologie linear linlog logarithmisch Abbildung 3-7: Gliederung der CMOS-Bildsensortechnolgie Abbildung 3-7 zeigt die verschiedenen Bildsensortypen in einer Übersicht. Bei CMOS- Bildsensoren sind verschiedene Ausführungen am Markt erhältlich, welche sich im Auslese- verfahren und somit in den physikalischen Eigenschaften unterscheiden. Damit reagieren die Hersteller auf die unterschiedlichen Kundenanforderungen. 3.2.2 Varianten von CMOS-Bildsensoren Die linearen CMOS-Sensoren verwenden meistens integrierende Verfahren. Hierbei wird die Fotodiode über eine bestimmte Zeit bestrahlt und ein Kondensator durch den Fotostrom auf- geladen. Anschließend wird die gespeicherte Information ausgelesen. Neben den integrieren- den Sensoren gibt es kontinuierlich arbeitende Bildsensoren. Bei diesen Sensoren stellt der gerade gemessene Fotostrom die aktuelle Beleuchtungsstärke dar. Der Vorteil linearer Sensoren ist ein geringeres örtliches Rauschen und dementsprechend bes- sere Rohbildqualität. Eine hohe Pixelzahl ermöglicht eine optimale Auflösung. Lineare CCD und CMOS-Sensoren haben jedoch den Nachteil, dass sie nur einen kleinen Dynamikbereich darstellen können. Bei Szenen mit großen Beleuchtungsunterschieden (z.B. 1 Lx im Schatten und 105 Lx in der Sonne) können diese Sensoren die Bildinformationen nicht mehr erfassen und gehen in Sättigung. Linear-integrierende CMOS-Sensoren: Eine der wichtigsten CMOS-Sensor-Arten sind die linear-integrierenden Sensoren. Hierbei lädt der Fotostrom die parasitäre Kapazität der Diode auf. Nach einer festgelegten Integrati- onszeit wird die gespeicherte Ladungsmenge von der Ausleseelektronik erfasst. Abbildung 3-8 zeigt die wesentlichen Elemente eines linear-integrierenden Pixelelements. Fotodiode Verstärker VDD U Abbildung 3-8: Allgemeine Darstellung des integrierenden Ausleseverfahrens 3 CMOS-Bildsensoren 18 Eine genaue Funktionsbeschreibung des linearen, integrierenden Pixels befindet sich im Anhang A. Nicht-lineare CMOS-Sensoren: Eine weitere Kategorie stellen CMOS-Sensoren dar, welche nicht über den Fotostrom integ- rieren. Somit stehen die Pixeldaten sofort und kontinuierlich zur Verfügung. Zunächst wird mit Hilfe einer Last der Fotostrom in eine Spannung umgewandelt (siehe Abbildung 3-9). Da die fließenden Ströme sehr klein sind, muss der Widerstand sehr groß sein, damit erfassbare Spannungen erzeugt werden. Variationen im Widerstandswert zwischen den einzelnen Pixeln führen zu Verstärkungsoffsets, was örtliches Rauschen verursacht. Durch die Verwendung nicht-linearer Widerstände, z.B. von einem Bauelement mit logarithmischer Strom- Spannungs-Kennlinie, kann der Fotostrom logarithmisch komprimiert werden. Das Ergebnis sind High-Dynamic-Range Bildsensoren (vgl. Kapitel 3.3). stromgesteuerter Widerstand VDD Verstärker U Widerstand Verstärker VDD U Abbildung 3-9: Kontinuierliche Ausleseverfahren mit Hilfe eines Widerstandes (rechts nicht- linearer Widerstand) Möglichkeiten der Dynamikerweiterung: In der industriellen Bildverarbeitung gibt es Einsatzgebiete, in denen ein hoher Dynamikbe- reich benötigt wird. Um dieses Ziel zu erreichen gibt es verschiedene Lösungsmöglichkeiten, wie z.B. Multisampling, Kontrolle der Integrierzeiten oder Schwellwertdetektion [42]. Hier- bei liegen jeweils linear arbeitende CMOS-Sensoren vor. Ein anderer Ansatz ist das logarith- mische Ausleseverfahren, welches die Funktionsweise des menschlichen Auges nachahmt. Logarithmische CMOS-Bildsensoren: Bei logarithmischen Sensoren wird der erzeugte Fotostrom durch eine Last mit logarithmi- scher Strom-Spannungscharakteristik konvertiert. Dies führt zu einer Komprimierung des Ausgangssignals. Lineare Bildsensoren könnten diesen hohen Dynamikbereich nur mit einer wesentlich höheren Datenbreite realisieren. Durch die logarithmische Komprimierung hat das Bild einen geringeren Kontrast, da z.B. eine Million Eingangswerte (20 Bit) auf 1024 Aus- gangswerte (10 Bit) abgebildet werden. Dem hohen Dynamikbereich steht ein hohes Fixed- Pattern Rauschen und eine vergleichbar geringe Auflösung gegenüber. 3 CMOS-Bildsensoren 19 LinLogTM CMOS-Bildsensoren: Neben rein logarithmisch und linear arbeitenden Bildsensoren gibt es noch die LinLogTM Technologie der Firma photon focus. Diese Bildsensoren können programmiert werden, ob sie linear oder logarithmisch arbeiten. Es besteht dabei die Möglichkeit festzulegen, ab wel- cher Helligkeit der Sensor vom linearen in den logarithmischen Modus wechselt (vgl. Abbildung 3-10). Diese Technologie versucht die Nachteile von linearen und logarithmischen Bildsensoren zu kompensieren. Durch die nicht stetige Kennlinie ist die Korrektur des örtli- chen Rauschens noch schwieriger als bei logarithmischen Sensoren. Zudem haben Versuche gezeigt, dass die Parameter des Sensors bei Änderungen der Beleuchtung variiert werden müssen, um eine konstante Bildqualität zu gewährleisten. Dies macht einen komplexen Re- gelkreis erforderlich, um eine optimale Ausnutzung des Verfahrens zu gewährleisten. Abbildung 3-10: Vergleich des LinLogTM-Prinzips mit den von linear und. logarithmisch ar- beitenden Sensoren [43] 3.3 Lineare vs. Logarithmische CMOS-Bildsensoren Abbildung 3-11: Vergleich eines linearen (links) und eines logarithmischen Bildsensors (rechts) bei einer 8-Bit Wandlung [21] 3 CMOS-Bildsensoren 20 Abbildung 3-11 zeigt die charakteristische Kurve eines linearen und eines logarithmischen Sensors. Im letzteren Fall ist dabei die Beleuchtungsstärke logarithmisch aufgetragen, so dass jeweils eine Gerade ersichtlich ist. Der Dynamikbereich umfasst jeweils 0.1 bis 100 Lux, die mit 256 Werten dargestellt werden. Die nachfolgende Kontrastanalyse zeigt, dass logarithmi- sche Bildsensoren eine konstante Kontrastempfindlichkeit über den gesamten Dynamikbe- reich besitzen. Der Kontrast wird dabei durch den Quotienten aus minimaler und maximaler Lichtintensität I definiert. Es ist dabei wichtig zu beachten, dass der Kontrast selbst unabhän- gig von der Beleuchtungsstärke ist. So weisen z.B. zwei angrenzende weiße und schwarze Flächen auf einem Testchart immer den gleichen Kontrast auf, unabhängig davon, wie stark das Testchart momentan beleuchtet wird. minmax minmax II IIKontrast + − = (3-5) Linearer CMOS-Sensor: Beim linearen Sensor ist die Kontrastempfindlichkeit stark von der Beleuchtungsstärke ab- hängig (vgl. Abbildung 3-11). So stehen in der oberen Dekade 230 Digits zur Verfügung. Somit entspricht eine Änderung der Beleuchtungsstärke von 100 auf 90 Lux einer Änderung um ca. 23 Digits. Für die mittlere Dekade von 1 bis 10 Lx stehen nur noch 22.5 Digits zur Verfügung, was für die Änderung von 10 auf 9 Lux eine Veränderung der Ausgabe um 2.25 Digits bewirkt. Noch schlechter ist die Kontrastempfindlichkeit in der unteren Dekade. Hier stehen insgesamt nur 2.5 Digits zur Verfügung, was eine Erkennung der Veränderung der Lichtintensität von 1 auf 0.9 Lx unmöglich macht. Wenn man nun mit Hilfe dieser Angaben den Dynamikbereich des Sensors definiert und eine Auflösung von 10% voraussetzt, so kann dieser einen Dynamikumfang von 4 Lx bis 100 Lx erfassen. [21] Logarithmischer CMOS-Sensor: Bei einem logarithmischen Sensor rechnet man nicht mit einer konstanten Anzahl von Digits pro Lux, sondern man spricht von einer Auflösung pro Dekade, welche in diesem Fall 82 Di- gits beträgt. Das bedeutet, dass pro Dekade immer die gleiche Anzahl von Digits zur Verfü- gung steht. Die Intensitätsauflösung berechnet sich in diesem Fall wie folgt: Die minimale Veränderung von 82 1 entspricht durch die logarithmische Darstellung einer Auflösung der Intensität um 028.110 82 1 = . Die Abbildung 3-11 zeigt, dass bereits bei einer Änderung der registrierten Lichtintensität von 10%, von 100 auf 90 Lx, von 10 auf 9 Lx, 1 auf 0.9 Lx bzw. 0.1 auf 0.09 Lx die Änderung des Ausgabewertes beim logarithmischen Sensor konstant ist. 3 CMOS-Bildsensoren 21 Die Korrektur des örtlichen Rauschens ist im Dunkeln bei logarithmischen Sensoren beson- ders kritisch, da die Artefakte durch die logarithmische Darstellung verstärkt werden. Abbildung 3-12: Vergleich der Kontrastempfindlichkeit des Auges mit der eines logarithmi- schen Bildsensors [29] Abbildung 3-12 vergleicht die Kontrastempfindlichkeit eines Auges mit der eines logarithmi- schen Sensors. Wie bereits mehrmals erwähnt, hat dabei der HDRC-VGAx-Sensor eine kon- stante Quantisierungsauflösung von -1.8, was z.B. bei 0.01 Lux einer Empfindlichkeit von 0.158 mLx und bei 1000 Lx, 15.8 Lx entspricht. Die Kontrastempfindlichkeit des Auges ver- bessert sich mit steigender Beleuchtung und in Abhängigkeit von der Empfindlichkeit der Zapfen bzw. Stäbchen. Im Dunkeln führt dies zu einer Kontrastempfindlichkeit von 1 mLx bei 0.1 mLx Beleuchtungsstärke und im Hellen für 1000 Lx zu 10 Lx. Nachfolgend soll nach [21] und anhand der OECF (optoelectronic conversion function) des linearen und logarithmischen Sensors die minimale Kontrastauflösung berechnet werden. Da- bei ist die Frage zu beantworten, wie gering ein Eingangssignal ∆x variieren darf, damit es noch eine Veränderung am Ausgang ∆y, gleich einem LSB (Least Significant Bit), bewirkt. Gesucht ist dementsprechend die Ableitung der OECF nach dem Eingabesignal x. Tabelle 3-1: Vergleich der Kontrastauflösung bei einem linearen und einem logarithmischen Sensor [21] Linearer Sensor Logarithmischer Sensor OECF xay ⋅= ( )xlnay ⋅= Relative Kontrastauflösung dx dy x y x xC ⋅ == ∆∆∆ ax 1C ⋅ =∆ a 1 x a x 1C = ⋅ =∆ 3 CMOS-Bildsensoren 22 Ausgabebereich von N Bits un- ter einem Dynamikbereich von M Dekaden 10lnM 12 x 1C N ⋅ − ⋅ =∆ 12 10lnMC N − ⋅ =∆ Die Ergebnisse der Berechnung in Tabelle 3-1 zeigen, dass die Kontrastauflösung beim linea- ren Sensor von der Beleuchtungsstärke abhängt, während sie beim logarithmischen Sensor davon unabhängig ist. Dabei beschreibt M die Anzahl der Dekaden, N die Datenbreite, x das Eingangssignal und ∆C den Kontrast. Tabelle 3-2: Vergleich der Kontrastauflösung ∆C für logarithmische Sensoren, bei unter- schiedlicher Genauigkeit der Ausgabewerte und verschiedenen Dynamikbereichen [21] Output N Bit Input M Decades 8 Bit 9 Bit 10 Bit 11 Bit 12 Bit 2 Dec 1.8 % 0.90 % 0.45 % 0.225 % 0.112 % 3 Dec 2.7 % 1.35 % 0.675 % 0.336 % 0.168 % 4 Dec 3.6 % 1.8 % 0.900 % 0.45 % 0.225 % 5 Dec 4.5 % 2.25 % 1.175 % 0.56 % 0.280 % 6 Dec 5.4 % 2.7 % 1.350 % 0.67 % 0.336 % 7 Dec 6.3 % 3.15 % 1.575 % 0.784 % 0.392 % 8 Dec 7.2 % 3.6 % 1.80 % 0.9 % 0.45 % In [21] ist die Kontrastauflösung in Abhängigkeit von der Datenbreite der Ausgabewerte und dem Umfang des Dynamikbereichs angegeben (vgl. Tabelle 3-2). 0,1% 10% 100% 1% 10-3 10-2 10-1 0 10 100 Lichtintensität Au flö su n g SN R2.7 % 8 Bit Log 31 dB 4.5 % 8 Bit Log 27 dB 0.675 % 10 Bit Log 43 dB SNR Limit von Si-Pixel bei Zimmertemperatur 8 Bit Linear Abbildung 3-13: Kontrastauflösung linearer und logarithmischer Bildsensoren bei 8 bzw. 10 Bit AD-Ausgabe [26] Abbildung 3-13 zeigt eine grafische Darstellung des Ergebnisses. Dabei ist ersichtlich, dass die Kontrastauflösung des logarithmischen Sensors mit 8 bzw. 10 Bit Datenbreite konstant ist. 3 CMOS-Bildsensoren 23 Die Auflösung hängt beim 8 / 10 Bit linearen Sensor jedoch von der Beleuchtungsstärke ab und nimmt mit ihr zu. 3.4 Der HDRC-Bildsensor 3.4.1 Der Dynamikbereich Das Institut für Mikroelektronik Stuttgart (IMS) ließ 1992 den entwickelten High Dynamic Range CMOS-Bildsensor (HDRC) patentieren. Wie auch in vielen anderen Fällen, kam das Vorbild für diesen Sensor aus der Natur – dem menschlichen Auge. Der Sensor weist, wie das menschliche Auge, eine logarithmische Übertragungskennlinie auf. Zudem arbeitet der Sen- sor mit kontinuierlicher Auslesemöglichkeit. Dies bedeutet, dass die erfassten Signale der gerade gemessenen Helligkeit entsprechen. Durch die logarithmische Codierung der Signale in der Fotodiode kann der HDRC-Sensor Bilder über einen großen Dynamikbereich aufneh- men, der sogar unserem Auge überlegen ist. Abbildung 3-14: Dynamikbereich des HDRC-Sensors im Vergleich zu anderen Sensoren [26] Abbildung 3-14 vergleicht Dynamikbereiche verschiedener Bildaufnahmemedien. Dabei ist die Beleuchtungsstärke logarithmisch aufgetragen. Die charakteristische Kurve (OECF) für CCD-Bildsensoren zeigt, dass diese lineare Aufnahmemedien sind. Filme weisen dagegen eine nicht-lineare OECF auf, welche im mittleren Bereich logarithmischer Natur ist. Der Dy- namikumfang von Film und CCD ist sehr eingeschränkt. Dies führt im Hellen zu einer Weiß- sättigung. Im Dunkeln, unter 0.1 Lx, ist keine Aufnahme mehr möglich. Zu den linearen Me- dien stehen die logarithmisch arbeitenden, wie der HDRC-Sensor und das Auge, im Kontrast. Die Grafik zeigt den überragenden Dynamikumfang des HDRC-Sensors, der sogar dem menschlichen Auge überlegen ist. 3 CMOS-Bildsensoren 24 Der Messbereichsumfang und der Dynamikbereich von Sensoren im Allgemeinen werden in Dezibel angegeben. Als Grundlage zur Berechnung dient der minimale und maximale Ein- gangswert, der von einem Sensor erfasst werden kann. Für die Berechnung des Dynamikbe- reichs des HDRC-Sensors ist die minimale und maximale Beleuchtungsstärke ausschlagge- bend: dB 9794.173 001.0 105log20 gsstärkeBeleuchtun gsstärkeBeleuchtunlog20eichDynamikber 5 HDRC min max =        ⋅ ⋅ =      ⋅= (3-6) Durch den hohen Dynamikbereich von 174 dB bzw. von über acht Dekaden kann der HDRC- Sensor auch bei wechselnden Beleuchtungsstärken zuverlässig arbeiten und große Hellig- keitsunterschiede innerhalb einer Szene erfassen [18]. Weitere technische Daten zum zu Grunde liegenden VGAx-Bildsensor gibt Tabelle 3-3: Tabelle 3-3: Technische Daten des VGAx-Sensors Technischer Prozess 0.25µm, 2-poly, 4-metal, 3.3 Volt Pixelgröße 10µm x 10µm Füllfaktor ca. 40% Auflösung 768 x 496 Pixel, Normalmodus: VGA-Auflösung 640x480 Pixel Dynamikumfang 170 dB Auslesegeschwindigkeit 80 ns pro Pixel, 0.024 s pro Bildseite bei VGA-Auflösung Ausgabewert 12 Bit AD-Wandler, wobei nur 10 Bit aus- gewertet werden Empfindlichkeit (3dB-Punkt) 0.02 Lx Sonstiges Wahlfreier Zugriff auf Pixel und Ausgabe von Teilbildern möglich 3.4.2 Anwendungsgebiete der HDRC-Bildsensors Auf Grund seines hohen Dynamikbereichs eignet sich dieser Sensor sehr gut für den Einsatz in der industriellen Bildverarbeitung und für Fahrerassistenzsysteme in Automobilen. Weitere Anwendungsmöglichkeiten sind im Bereich der Sicherheitstechnik (z. B. Überwachung eines Gebäudes bei Tag und bei Nacht) oder in der Automatisierungstechnik (z.B. Schweißen) zu finden. 3 CMOS-Bildsensoren 25 Abbildung 3-15: Aufnahme eines Schweißprozesses mit einer CCD-Kamera (links) und einer HDRC-Kamera (rechts) [26] Abbildung 3-16: Fahrt aus einen Tunnel, Szene mit hoher Dynamik, links mit CCD- und rechts mit einer CMOS-Kamera aufgenommen [26] Diese Bilder verdeutlichen noch einmal die Vorzüge des logarithmischen Sensors. Durch den hohen Dynamikbereich ist in Abbildung 3-15 der Schweißvorgang nicht weiß-gesättigt. Die durch den Sensor erfassten Informationen können z.B. einem Roboter übergeben werden, welcher den Schweißprozess dadurch sicherer und präziser durchführen kann. Abbildung 3-16 zeigt eine typische Straßensituation, mit einer hohen Helligkeitsdynamik (dunkler Tun- nel und im Freien Sonnenschein). Hier können logarithmische Sensoren eingesetzt werden, um den Fahrer vor Objekten direkt außerhalb des Tunnels zu warnen. Im Anhang A ist die Anwendung des HDRC-Sensors im Automobil noch einmal aufgezeigt. 3 CMOS-Bildsensoren 26 3.4.3 Funktionsweise des HDRC-VGA-Frontends Abbildung 3-17: Blockschaltbild der HDRC-Kamera [26] Den Aufbau der HDRC-Kamera zeigt Abbildung 3-17. Zunächst wandelt die Fotodiode  die einfallenden Fotonen in einen Fotostrom um. Der Transistor, welcher in schwacher Inversion arbeitet, dient als Last. Durch seine exponentielle Strom-Spannungskennlinie erzeugt er den logarithmischen Zusammenhang zwischen dem Fotostrom und der Ausgangsspannung. Die Pixelkapazitäten  stellen das nichtideale Verhalten der Pixel dar. Die Kapazitäten kommen dann zum Tragen, wenn sich die Helligkeit des Bildes schnell von hell auf dunkel ändert. Die Kapazitäten müssen in diesem Fall umgeladen werden. Da sie jedoch eine Entladezeit aufwei- sen, liefert die Pixelzelle zunächst eine höhere Helligkeit als tatsächlich vorhanden ist. Dieses Phänomen wird als „Image Lag“ bezeichnet. Dieser Effekt ist vor allem bei sich schnell be- wegenden Objekten als Nachzieheffekt oder Schweif zu erkennen (vgl. Abbildung 3-18). Fehler! Textmarke nicht definiert. Fehler! Textmarke nicht defi- niert. Abbildung 3-18: Bild links mit Image Lag, rechts ohne Image Lag [26] Nach den Kapazitäten folgt der Source-Folger , welcher den Pixelbuffer mit Vorverstärker repräsentiert. Der Multiplexer  ist zweistufig, welcher die Reduzierung von 784 auf 8 Da- tenleitungen durchführt und anschließend ein Pixel (eine Datenleitung) aus 8 auswählt. Der 3 CMOS-Bildsensoren 27 zweistufige Multiplexer ist notwendig, um die Einschwingvorgänge zu berücksichtigen und stabile Werte am Ausgang zu gewährleisten. Bevor die Analog-Digitalwandlung durchgeführt werden kann, muss das Signal noch einmal verstärkt  werden. Ein Video AD-Konverter  wandelt die Spannungswerte in den digitalen Bereich um. Die Auflösung des AD-Wandlers im Chip beträgt 10 Bit. Anschließend subtrahiert der Controller  das gespeicherte Fix Pat- tern Bild  von den aktuellen Bilddaten. Dadurch entsteht ein offset-korrigiertes Ausgabebild (vgl. Kapitel 6.2.1). In dieser Arbeit wird dabei immer das unkorrigierte, digitale Ausgangssignal, wie es aus dem AD-Konverter  kommt, betrachtet. 3.4.4 Analyse der Pixelzelle Abbildung 3-19: Aufbau eines Pixel-Prozessors [26] Der HDRC-Sensor wandelt den Strom durch die Fotodiode mit Hilfe des Transistors T1 in eine Spannung um. Der Transistor T2 ist Teil eines Source-Folgers. Die Selektion des Pixels für den Auslesevorgang steuert Transistor T3 (vgl. Abbildung 3-19). Der Transistor T1 arbeitet dabei in schwacher Inversion und stellt dabei einen steuerbaren Widerstand mit logarithmischer Charakteristik dar. Die Ausgangsspannung des Transistors berechnet sich durch das ohmsche Gesetz: ( )PhotoDark IIRU +⋅= (3-7) Der Drainstrom des Logarithmier-Transistors T1, berechnet nach Gleichung (4-6), besteht aus dem Fotostrom und dem Dunkelstrom. Die Gate-Source-Spannung des Transistors stellt sich entsprechend Formel (3-8) ein: T threshGS Un UU maxD eII ⋅ − ⋅≈ Temp threshGS max D Un UU I Iln ⋅ − = Temp threshGS max DarkPhoto Un UU I IIln ⋅ − = + threshGS max DarkPhoto Temp UUI IIlnUn −=      + ⋅⋅ 3 CMOS-Bildsensoren 28 thresh max DarkPhoto TempGS UI IIlnUnU +      + ⋅⋅= (3-8) Gleichung (3-8) zeigt, dass der Fotostrom und der Dunkelstrom eine Spannung erzeugen, welche im logarithmischen Verhältnis zur Summe dieser Ströme steht. Im nächsten Schritt soll diese Formel so umgeformt werden, dass sie der Form ( )phphphphGS cIlnbaU +⋅+= ent- spricht. thresh max DarkPhoto TempGS UI IIlnUnU +      + ⋅⋅= ( ) ( )( ) threshmaxDarkPhotoTempGS UIlnIIlnUnU +−+⋅⋅= ( ) ( )( )DarkPhotoTempTempmaxthreshGS IIlnUnUnIlnUU +⋅⋅+⋅⋅−= mit ( ) Darkph Tempph Tempmaxthreshph Ic Unb UnIlnUa = ⋅= ⋅⋅−= (3-9) Der experimentelle Aufbau, auf dem diese Arbeit basiert, betrachtet als Eingangssignal die Beleuchtungsstärke und als Ausgabe den Digitalwert des AD-Wandlers (10-Bit). Vereinfa- chend werden die Einflüsse der weiteren Signalkette nicht berücksichtigt. Dementsprechend ändern sich die Formel und die entsprechenden Parameterbezeichnung wie folgt für diese Fälle: ( )cxlnbay +⋅+= mit ( ) PunktdB3 Temp Tempmaxthresh x~c Un~b UnIlnU~a − ⋅ ⋅⋅− (3-10) Eine genaue Beschreibung der physikalischen Vorgänge im Pixel gibt Kapitel 4. 3 CMOS-Bildsensoren 29 Abbildung 3-20: Zusammenfassende Darstellung der Vorgänge im Pixel [26] Abbildung 3-20 fasst die physikalischen Vorgänge im Pixel zusammen. Zunächst erzeugt die Fotodiode einen zum einfallenden Licht x proportionalen Fotostrom. Der Dunkelstrom IDark stellt dabei eine Grenze für die Lichtempfindlichkeit dar. Der Logarithmier-Transistor wan- delt dann den Strom in eine Spannung um. 3.4.5 Das physikalische Modell des HDRC-Sensors Die Modellgleichung: Beim HDRC-Sensor handelt es sich um einen logarithmischen Bildsensor, dessen Pixelver- halten durch Formel (3-11) modelliert wird. ( )cxlnbay +⋅+= (3-11) Um Missverständnisse bei der grafischen Darstellung des Pixelmodells zu vermeiden, stellt die nachfolgende Grafik die logarithmische Gleichung ( )1xln105y +⋅+= in linearer und im semilogarithmischen Maßstab in X-Richtung dar. Dieser Vergleich ist hilfreich, da ansonsten die allgemein bekannte logarithmische Kennlinie in der semilogarithmischen Darstellung nicht sofort erkennbar ist und u.U. zunächst, bei nicht Beachtung der Skala, mit einer parabel- ähnlichen Funktion verwechselt wird. Beleuchtungsstärke IDark I DarkIxsI +⋅= x U thresh max DarkPhoto TempGS UI IIlnUnU +      + ⋅⋅= VS VD U out log (I) Spannung 3 CMOS-Bildsensoren 30 Abbildung 3-21: Die logarithmische Kennlinie in linearer und semilogarithmischer Darstel- lung Abbildung 3-21 zeigt die grafische Darstellung des Pixel-Modells, wie es im weiteren Verlauf dieser Arbeit verwendet wird. Die x-Achse ist logarithmisch skaliert und gibt die Beleuch- tungsstärke in Lux an. Der AD-Ausgabewert in Digits wird linear auf der y-Achse aufgetra- gen. 3.4.6 Der 3dB-Punkt Neben dem Dynamikbereich ist der 3dB-Punkt ein wichtiges Gütekriterium für Bildsensoren. Oberhalb des 3dB-Punktes ist der vom Licht erzeugte Fotostrom ausreichend groß, so dass Rauschen, verursacht durch örtliches Rauschen, Quantisierungsrauschen oder Schrotrauschen, kaum einen Einfluss auf die Bildqualität haben. Unterhalb des 3dB-Punktes haben diese Rauschkomponenten dagegen eine sehr hohe Auswirkung. Dennoch ist auch im Dunkeln eine Szene mit dem HDRC-Sensor erfassbar. Im Rahmen dieser Arbeit wird deshalb ein besonders großer Wert auf Eliminierung des örtlichen Rauschens im Dunkeln gelegt, um dadurch die Bildqualität signifikant zu verbessern. Das Institut definiert den 3dB-Punkt für den HDRC-Sensor mit der Beleuchtungsstärke, an der die Steigung halb so groß ist wie im Hellen. Das ist der Fall, wenn die Beleuchtungsstärke x einen Fotostrom erzeugt, der dem Dunkelstrom entspricht, demnach gilt x=c. Eingesetzt in Formel (3-11) ergibt sich folgende Definition für den 3dB-Punkt: ( )c2lnbay ⋅⋅+= (3-12) 3 CMOS-Bildsensoren 31 Abbildung 3-22: Lage des 3dB-Punktes in der charakteristischen Kennlinie Abbildung 3-22 zeigt die Lage des 3dB-Punktes in der charakteristischen Kennlinie. Des Weiteren veranschaulicht die Grafik, dass die logarithmische Kennlinie durch zwei Geraden angenähert werden kann. Auf Grund der semi-logarithmischen Darstellung ist die charakteris- tische Kurve im Dunkeln fast konstant und kann durch einen Offset, dargestellt durch die Ge- rade L1, vereinfacht werden. Im Hellen nähert sich das Modell der Gerade L2 an. Die Gera- den werden wie folgt definiert: Gerade L1: ( )clnbay 1L ⋅+= für x << c (3-13) Gerade L2: ( )xlnbay 2L ⋅+= für x >> c (3-14) 3 CMOS-Bildsensoren 32 3.4.7 Ermittlung durch Sensitivitätskurve Abbildung 3-23: Die Sensitivitätskurve des VGAx 0920 Abbildung 3-23 zeigt beispielhaft die Sensitivitätskurve des VGAx 0920. Diese Darstellung trägt die Steigung der charakteristischen Kurve ( )( )xlogd dy über der Helligkeit auf und zeigt damit, wie empfindlich der Sensor für verschiedene Helligkeitsbereiche ist. Je höher dabei die Steigung ist, desto größer ist die Empfindlichkeit in diesem Bereich. Charakterisierend für logarithmische Sensoren ist dabei, dass deren Empfindlichkeit im Dunkeln stetig steigt, bis sie im Hellen eine konstante Empfindlichkeit, in diesem Beispiel ca. 85 Digits pro Dekade, auf- weisen. Der 3dB-Punkt ist in diesem Beispiel bei der Helligkeit definiert, bei der die Sensiti- vität 42.5 Digits pro Dekade beträgt, was bei ca. 0.04 Lx der Fall ist. Diesen Wert kann ein- fach aus der Sensitivitätskurve eines Bildsensors abgelesen werden. Das gleiche gilt für den - 10dB-Punkt, welcher beim 0.1-fachem der Steigung im Hellen liegt. Unterhalb des -10dB- Punktes überwiegt das Schrotrauschen und kein Bild ist mehr erkennbar. 4 Die Physik des HDRC-Sensors 33 4 Die Physik des HDRC-Sensors Der MOS-Transistor in schwacher Inversion und die Fotodiode stellen die Basiselemente des HDRC-Pixels dar. Nachfolgender Abschnitt beschreibt die physikalischen Grundlagen dieser Bauteile, wobei die Schwerpunkte beim Transistor in schwacher Inversion sowie dem Dun- kelstrom liegen. Zudem werden Temperaturabhängigkeiten der Parameter angesprochen und die Variation der Schwellspannung, einer Hauptursache des örtlichen Rauschens analysiert. 4.1 Der MOS-Transistor Die Hauptursache der Offsetvariation sind unterschiedliche Schwellspannungen im Transis- tor. Nachfolgender Abschnitt beschreibt die genauen physikalischen Zusammenhänge der Schwellspannung bei Transistoren in schwacher Inversion. 4.1.1 Einführung Die Grundlage für einen n-Kanal MOS-Transistor bildet ein niedrig dotiertes p-Substrat, der Bulk. In diesen werden zwei n-dotierte Wannen implantiert, welche als Source bzw. als Drain dienen. Bei einem NMOS-Transistor wird im Betrieb das Potential des Source-Anschlusses (US) niedriger gewählt als das des Drain-Anschlusses (UD). Zusätzlich wird am Gate eine po- sitive Spannung angelegt. Dadurch verarmt unterhalb des Gate-Anschlusses die Oberfläche des p-dotierten Substrats an Majoritätsträgern. Es entsteht ein Kanal von Elektronen, der er- laubt, dass ein Strom zwischen dem Source- und Drain-Anschluss fließen kann. Damit eine leitende Verbindung zwischen Source und Drain entstehen kann, muss die Gate-Source- Spannung (UGS) die Schwellspannung (Uthresh) übersteigen. (vgl. Abbildung 4-1) Us Ug Ud - W L Drain Gate Source Sperrschicht Gateoxid Kanal Substrat ---- - -- Abbildung 4-1: Aufbau eines NMOS-Transistors Der Drainstrom eines Transistors hängt von den Spannungen an seinen vier Anschlüssen, Source, Drain, Gate und Bulk ab. Da die Beschreibung des Transistorverhaltens im Gesamten sehr komplex ist, wird die Charakteristik des MOS-Transistors in drei Arbeitsbereiche unter- teilt: die schwache Inversion, die moderate Inversion und die starke Inversion. 4 Die Physik des HDRC-Sensors 34 Nachfolgend wird die Funktionsweise des Transistors in schwacher Inversion näher erläutert. Dabei orientiert sich die Komplexität der Modellbildung an den Bedürfnissen für das spätere Verständnis der Fixed-Pattern Korrekturverfahren. Eine detaillierte Beschreibung des Transis- tormodells gibt [57]. An dieser Stelle sei darauf hingewiesen, dass alle Transistoren in der Pixelzelle, so auch der Logarithmier-Transistor, NMOS-Transistoren sind. Die angegebenen Gleichungen sind dementsprechend für diesen Typ ausgelegt. 4.1.2 Transistor in schwacher Inversion Bei einem Transistor in schwacher Inversion liegt die Gate-Source-Spannung (UGS) unterhalb der Schwellspannung (Uthresh). In diesem Fall hat sich noch kein Kanal unterhalb des Gates gebildet. Der Drainstrom beruht in diesem Fall auf einem Diffusionsstrom von Minoritätsla- dungsträgern, welcher exponentiell von der Gatespannung abhängt. Der exponentielle Zu- sammenhang ist auf die Boltzmann-Statistik zurückzuführen, welche die Wahrscheinlichkeit beschreibt, dass ein Elektron die Potentialbarriere überwinden kann. Nach Integration der über die Boltzmann-Statistik resultierenden räumlichen Ladungsdichten beschreiben Qs und Qd die flächenbezogene Inversionsladung am Source- und Drain-Ende. Unter der Annahme, dass die Ladungsträgerdichte linear von Source nach Drain abfällt, ergibt sich folgender Zu- sammenhang zwischen der Qs, Qd und dem Drainstrom. [19],[52] Drainstrom: ( )dsnd QQDL WI −⋅⋅−= (4-1) Der Parameter W beschreibt dabei die Kanalbreite, L die Kanallänge und Dn die Diffusions- konstante für Elektronen im Halbleiter. Werden die berechneten Werte für die flächenbezoge- ne Inversionsladung eingesetzt, ergibt sich die charakteristische Formel für die schwache In- version. Eine genaue Herleitung gibt [19].           − ⋅ ⋅⋅⋅′⋅= −− − Temp db Temp sb Temp FS U U U U U 2 S 2 Tempoxd eee2 U L WCI ΦΦ Φ γµ (4-2) Dabei steht µn für die Beweglichkeit der Elektronen, C’ox beschreibt den Oxidschichtkapazi- tätsbelag und γ den Body-Faktor. Die Oberflächenspannung wird durch ΦS repräsentiert und das Ferminiveau durch ΦF. Usb bzw. Udb bezeichnen die Substrat-Bulk-Spannung bzw. Drain- Bulk-Spannung. Die Diffusionskonstante wurde durch das Produkt aus Elektronenbeweglich- keit und Temperaturspannung ersetzt. Arbeitsbereich: Bevor diese Formel weiter betrachtet wird, soll die Definition des Arbeitsbereiches genauer analysiert werden. Grenzwerte für die Oberflächenspannung legen nach [52] den Arbeitsbe- reich für die schwache Inversion wie folgt fest: FsbSFsb 2UU ΦΦΦ ⋅+≤≤+ (4-3) 4 Die Physik des HDRC-Sensors 35 Bei den gefertigten HDRC-Sensoren gilt für das Source-Bulk-Potential Usb=0V. Somit ist der Bereich durch das Fermipotential definiert. Ein typischer Wert für das Ferminiveau ist ΦF=0.544 V. Die Oberflächenspannung ΦS wird über das Gate-Potential Ugb definiert [19]:         −++−≈ ++≈ FBgbS SSFBgb UU 4 ² 2 UU γγΦ ΦγΦ (4-4) Dabei stellt γ den Body-Faktor dar (vgl. Formel (4-8)). Die Flachbandspannung UFB ist das Potential zwischen Gate und Bulk, welches den Halbleiter unterhalb der Gate-Elektrode in einen elektrisch neutralen Zustand versetzt [19]. Zwischen Oxid und Halbleiter befindet sich eine verbotene Zone, die für Löcher wie auch Elektronen eine Potentialbarriere darstellt. Durch Anlegen einer Spannung an der Gate- Elektrode erfolgt eine Bandverbiegung. Durch Ionenimplantation entsteht bereits ohne äußere Spannung eine Bandverbiegung. Erst durch Anlegen der Flachbandspannung von -0.1 … +0.2 V kann diese Bandverbiegung wieder aufgehoben werden. [3] Durch Linearisierung der Formel (4-2), indem SΦ durch einen konstanten Wert in der Mit- te des Arbeitsbereiches ersetzt wird, ergibt sich nachfolgende, vereinfachte Formel für die schwache Inversion. [19],[52]           −⋅= − ⋅ − Temp DS Temp threshGS U U Un UU maxD e1eII (4-5) Der Parameter Imax bezeichnet den maximalen Drainstrom, der durch einen Transistor bei schwacher Inversion fließen kann. Der Subthreshold Slope Factor n beschreibt die Steigung der Strom-Spannungs-Kennlinie im einfach logarithmischem Diagramm und der Parameter Uthresh die Schwellspannung. Zusätzlich ist der Drainstrom ID abhängig von der Temperatur- spannung e TkUTemp ⋅ = , der Gate-Source-Spannung UGS und der Drain-Source-Spannung UDS. Ist die Drain-Source-Spannung erheblich größer als die Temperaturspannung, so lässt sich die Gleichung (4-5) wie folgt vereinfachen [19]: Temp threshGS Un UU maxD eII ⋅ − ⋅≈ , für UDS >> UTemp (4-6) Abbildung 4-2 zeigt die Transistorkennlinie gemäß dieser Formel. 4 Die Physik des HDRC-Sensors 36 Abbildung 4-2: Kennlinie eines Transistors in schwacher Inversion [21] Der Subthreshold Slope Faktor: Der Subthreshold Slope Faktor entsteht durch die Linearisierung im Arbeitspunkt (vgl. For- meln (4-2), (4-5)). Dieser Faktor ist abhängig vom Body-Faktor γ und dem Oberflächenpo- tential ΦS und somit abhängig vom Ferminiveau [19]: S2 1n Φ γ ⋅ += (4-7) 'C Nq2 ox SubSi ⋅⋅⋅ = εγ (4-8) Wobei εSi die Permittivität von Silizium mit 11.9⋅ε0 und ox ox ox t 'C ε= ist. Für spätere Betrachtungen ist die Temperaturabhängigkeit des Subthreshold Slope Faktors wichtig. Der Body-Faktor ist nach (4-8) temperaturunabhängig. Die Temperaturabhängigkeit für n lautet wie folgt: 2 3 i Sub7 2 3 i Sub5 2 3 F n Nln K V1078.9 n Nln K V1061.85.1dT2 15.12 dT n               ⋅⋅− =               ⋅⋅⋅− = ⋅−⋅⋅ = −− γγ Φ γ Der Subthreshold Slope Faktor steigt mit der Temperatur. Maximaler Drainstrom: Der maximale Drainstrom wird mit Hilfe von Formel (4-2) und (4-3) definiert. Unter Annah- me von Uds>>Utemp sowie Usb=0V gilt: 4 Die Physik des HDRC-Sensors 37 F 2 Tempoxmax 22 U L WCI Φ γµ ⋅⋅ ⋅⋅⋅′⋅= (4-9) Schwellspannung: Die Schwellspannung Uthresh ist abhängig von der Flachbandspannung UFB, dem Oberflächen- potential ΦS, der Substratvorspannung UBS und dem Body-Faktor γ. Da im HDRC-Pixel die Substratvorspannung 0V beträgt, wird sie in nachfolgender Formel nicht berücksichtigt. Demnach entspricht in diesem Fall die Schwellspannung Uthresh der Schwellspannung Uthresh, 0, ohne Substratvorspannung. [36] SSFB0,threshthresh UUU ΦγΦ ⋅++== (4-10) Laut [57] ist die Flachbandspannung UFB sowie der Body-Faktor des MOSFET γ temperatu- runabhängig. Dementsprechend muss bei der Differentiation der Schwellspannung Uthresh durch die Temperatur nur die Oberflächenspannung ΦS berücksichtigt werden.             += dT d2 1 dT dU S thresh Φ γ Die Oberflächenspannung kann nach [36] durch das Fermipotential ausgedrückt werden:    ⋅ ⋅ = Inversion schwachefür5.1 Inversion starkefür2 F F S Φ Φ Φ (4-11) Das Fermipotential ist wiederum abhängig von der Temperaturspannung UTemp (siehe Glei- chung (4-12), der Substratdotierung NSub und der intrinsischen Eigenleitungsträgerdichte ni [36]:       ⋅= i Sub TempF n NlnUΦ (4-12) Der Temperaturkoeffizienten der Temperaturspannung lautet: K V1061.8 e k dT U 5Temp − ⋅== Dementsprechend führt eine Differentiation des Ferminiveaus nach der Temperatur zu fol- gendem Ergebnis:       ⋅⋅=      ⋅= − i Sub5 i SubF n Nln K V1061.8 n Nln e k dT Φ Damit steigt das Fermipotential mit der Temperatur. Schließlich gibt [57] folgende typische Werte für die Oberflächenspannung an: V8.0...3.0 K mV7.1...3.2 dT d V8...55.0 S S ≈ −−≈ ≈ γ Φ Φ 4 Die Physik des HDRC-Sensors 38 K mV2...5.3 dT dU thresh −−≈ Die Schwellspannung Uthresh weist somit einen sehr starken negativen Temperaturgang auf. 4.1.3 Variation der Schwellspannung Die Variation der Schwellspannung ist die Hauptursache für das örtliche Rauschen in HDRC- Bildsensoren. Aus diesem Grund sollen Ursachen für die Fluktuation dieses Parameters näher analysiert werden. Wissenschaftliche Arbeiten, wie [1] und [38], sehen die Hauptursache für die Abweichung der Schwellspannung zwischen zwei identischen Transistoren in der Variati- on der Anzahl der Dotieratome im Kanal. Erste praktische Versuche hat [38] durchgeführt und herausgefunden, dass die Schwellspannung wie auch die Anzahl der Dotieratome gauß- verteilt sind. Kleine Kanallängen tragen zu einer Verschlechterung der Matching Eigenschaf- ten bei. Dies bestätigen auch Untersuchungen von [35], die zeigen, dass bei gleicher effekti- ver Fläche die Standardabweichung der Schwellspannung geringer ist, wenn die Kanalbreite klein und der Kanal lang ist. Damit wird der Quotient aus effektiver Breite und Länge kleiner. Ein erstes, einfaches Modell soll die Variation der Schwellspannung aufzeigen, wobei nur die Substratdotierung variiert wird. Ausgangspunkt ist die Poisson-Verteilung der Substratdotie- rung NSub und der Formeln (4-8), (4-10) und (4-11) unter Annahme der schwachen Inversion ( FS 5.1 ΦΦ ⋅= ). Es ergibt sich folgender Sachverhalt: 'C 5.1Nq2 5.1UU ox FSub0Si FFBthresh ΦεεΦ ⋅⋅⋅⋅⋅⋅+⋅+= (4-13) Dieser Ausdruck wird zunächst nach NSub abgeleitet. Für die Abschließende Berechnung der Abweichung der Schwellspannung, wird nach der Fehlerrechnung die partielle Ableitung nach NSub mit der Standardabweichung von NSub = SubN multipliziert (vgl. Formel (4-14)). ( ) ( ) Sub Sub thresh Sub Sub thresh thresh i Sub SubF i Sub SubF ox 0Si Sub Temp Sub thresh Sub Temp Sub F N N UN N UU n Nln N n NlnN 2 1 'C q3 N U 5.1 N U N U N ⋅ ∂ ∂ =⋅ ∂ ∂ =                     ⋅+      ⋅ ⋅ ⋅⋅⋅ +⋅= ∂ ∂ = ∂ ∂ σσ ΦΦ εε Φ (4-14) Unter Verwendung der Daten von Tabelle 4-1 ergibt sich eine Variation der Schwellspannung von 3.2⋅10-10 V. Da dieses Ergebnis sehr gering ausfällt, müssen für die hohe Variation der Schwellspannung noch weitere Faktoren berücksichtigt werden. Eine komplexere Betrach- tung gibt [1] mit nachfolgender Formel: oxT tCV ⋅=σ mit effeff dSub ox0 WL4 WNqC ⋅⋅ ⋅ ⋅ = εε (4-15) 4 Die Physik des HDRC-Sensors 39 Dabei stellt q die Elementarladung, εox die dielektrische Konstante des Gateoxids, NSub die Dotierungsdichte des Kanals, Wd die Breite der Sperrschicht im Kanal, Leff und Weff bezeich- nen die effektive Kanallänge bzw. –breite. Außerdem ist ersichtlich, dass sich eine Verkleine- rung der Transistorgeometrie negativ auf die Standardabweichung auswirkt. Die in [1] zu Grunde liegende Formel für die Berechnung der Breite der Sperrschicht im Ka- nal Wd lautet: Sub F0ox d Nq 4W ⋅ ⋅⋅⋅ = Φεε (4-16) Tabelle 4-1: Parameter für die Berechnung der MOS-Transistoreigenschaften Parameter Einheit Berechnungsbeispiel q [C] 1.60⋅10-19 ε0     ⋅cmV C 8.85⋅10-14 εox 3.9 εSi 11.9 NSub     ³cm 1 3.00⋅1017 tox [cm] 7.00⋅10-7 UTemp [V] 0.026 ni     ³cm 1 1.45⋅1010 Cox’     ²cm F 4.93⋅10-7 ΦF [V] 0.44 Leff [cm] 1.95⋅10-4 Weff [cm] 9.50⋅10-5 Wd [cm] 3.55⋅10-6 σUThresh [V] 1.23⋅10-3 Das Ergebnis dieser komplexeren Berechnung ist eine Variation der Schwellspannung im Beispiel von 1.23 mV. 4.2 Die Fotodiode Die Fotodiode wandelt das einfallende Licht in einen Strom um. Insbesondere der Dunkel- strom, welcher durch eine unbeleuchtete Fotodiode fließt, bestimmt die untere Empfindlich- keit des Bildsensors. Der nachfolgende Abschnitt geht genauer auf die Physik der Fotodiode und die verschiedenen Komponenten des Dunkelstroms ein. 4 Die Physik des HDRC-Sensors 40 Eine Fotodiode besteht, wie eine Diode, aus einer p- und einer n-Schicht, die in Sperrrichtung betrieben werden. Ohne zusätzlichen Lichteinfall verhält sich die Fotodiode wie eine normale Diode. Auf Grund der Polung dehnt sich im Dunkeln die Verarmungszone aus. Es fließt der Dunkelstrom. Trifft Licht auf die Fotodiode, regen die Fotonen Elektronen an, so dass diese in das Valenzband gelangen und als freie Ladungsträger im Material zur Verfügung stehen. Die Pole „saugen“ die neu erzeugten Ladungsträger weg. Auf diese Weise fließt ein Foto- strom, welcher proportional zur Beleuchtungsstärke ist. Abbildung 4-3: Kennlinien einer Fotodiode mit und ohne Beleuchtung [54] Abbildung 4-3 zeigt die Kennlinie einer Fotodiode im beleuchteten und unbeleuchteten Fall. Der Fotostrom erzeugt dabei einen zusätzlichen Offset, der im Bildsensor verstärkt und ge- messen wird. Der Fotostrom ist abhängig von der Beleuchtungsstärke x. Zudem ist er propor- tional zur Fläche der Fotodiode: je größer diese ist, desto mehr Elektronen können bei glei- cher Beleuchtungsstärke x aus dem Gitterverbund ausgelöst werden. Es wirken aber auch ver- schiedene Verlustmechanismen auf das Bildsystem ein: Die Blende (GAperture), die Linse (GLens), sowie die Quantenausbeute (GQuantum) verringern den Fotostrom. Die Höhe des Foto- stroms ergibt sich aus Formel (4-17), [5]: xAGGGI QuantumLensAperturePhoto ⋅⋅⋅⋅= (4-17) Der gesamte Strom ergibt sich demnach aus Gleichung (4-18): PhotoDark III += (4-18) 4 Die Physik des HDRC-Sensors 41 Abbildung 4-4: Gesamtstrom eines Pixels in Abhängigkeit von der Beleuchtungsstärke Abbildung 4-3 zeigt den Gesamtstrom, der durch einen Pixel in Abhängigkeit von der Be- leuchtungsstärke fließt. Mit Hilfe des Stromflusses und den genauen Sensorangaben kann die Anzahl der Elektronen berechnet werden, die diesen Strom innerhalb eines Pixeltaktes von 80 ns verursachen. Hierfür wird der Strom pro Pixel durch die Anzahl der Bilder pro Sekunde (32 Bilder) und der Elementarladung geteilt. Der VGAx-Sensor hat einen 3dB-Punkt von 30mLux, was einem Gesamtstrom von 2.08 fA und einem Dunkelstrom von 1.04 fA entspricht. Dies entspricht einer Gesamtzahl von 203 Dunkelelektronen. Das Dunkelstromschrotrauschen (vgl. Anhang B) liegt dann bei 14 Elekt- ronen. Die Grafik verdeutlicht den linearen Zusammenhang zwischen der Beleuchtungsstärke und dem Gesamtstrom. Das nichtlineare Verhalten im Dunkeln wird durch den Dunkelstrom ver- ursacht, der den limitierenden Faktor darstellt. Der Dunkelstrom ist ein wichtiger Parameter für Fotodioden, weil dieser die Empfindlichkeit des Sensors beeinflusst. So ist es bei schwacher Beleuchtung schwierig die richtigen Informa- tionen zu extrahieren, da der Dunkelstrom einen hohen Einfluss auf den ausgelesen Wert hat. Für die Analyse des Dunkelstroms ist das Bändermodell der Diode nützlich. Eine Fotodiode besteht aus einer n-Seite, dotiert mit einer Donatorenkonzentration ND und einer p-Seite mit einer Akzeptorenkonzentration NA. Ohne äußere Spannung und Lichteinwirkung ist die Diode im thermodynamischen Gleichgewicht und das Fermi-Energieniveau FΦ ist räumlich kon- 4 Die Physik des HDRC-Sensors 42 stant. Durch die Konzentrationsunterschiede bildet sich eine Raumladungszone aus und Dif- fusionsströme fließen. Gleichzeitig wird durch diese Ströme ein elektrisches Feld aufgebaut, welches Feldströme zur Folge hat. Im thermodynamischen Gleichgewicht halten sich Feld- und Diffussionsströme die Waage. Durch Anlegen einer äußeren Spannung wird dieses Gleichgewicht gestört und es fließt ein Strom (vgl. Abbildung 4-5). Abbildung 4-5: Modell des unbeleuchteten pn-Übergangs mit und ohne angelegter Sperr- spannung [59] Im Nachfolgenden soll auf die drei Bestandteile des Dunkelsstroms, den Diffusions-, Genera- tions- und Tunneldunkelstrom, eingegangen werden [65]: Diffusionsdunkelstrom: Dieser Stromanteil entsteht durch die Diffusion von Minoritätsladungsträgern zu den Rändern der Raumladungszone (vgl. Abbildung 4-5). Der gesamte Diffusionsstrom setzt sich aus dem n- und p-seitigem Diffusionsstrom zusammen:         ⋅ + ⋅ ⋅⋅⋅=+= pD p nA n ip,diff,Sn,diff,Sdiff,S LN D LN D ²nAqIII (4-19) 4 Die Physik des HDRC-Sensors 43 Dabei steht für A die Querschnittsfläche des pn-Übergangs, ni die intrinsische Ladungsträger- konzentration (definiert in (4-20)) dar. Dn,p sind die Diffusionskonstanten für Elektronen bzw. Löcher und Ln,p die entsprechenden Diffusionslängen. Tk E VCi g eNNn ⋅ − ⋅⋅= (4-20) Die Zustandsdichte des Leitungsbandes wird durch den Parameter NC und für das Valenzband mit NV beschrieben. Der Bandabstand ist durch den Wert der Variablen Eg gegeben. Für den weiteren Verlauf der Arbeit ist hervorzuheben, dass die intrinsische Ladungsträgerdichte ni temperaturabhängig ist. Generationsdunkelstrom: Neben dem Diffusionsdunkelstrom werden weitere Elektron-Loch-Paare durch thermische Generation innerhalb der Raumladungszone erzeugt (vgl. Abbildung 4-5). Hierfür gilt nach- folgende Formel: w nAqI eff i gen,S ⋅⋅⋅= τ (4-21) Die effektive Lebensdauer des Elektron-Loch-Paares wird durch die Zeitkonstante τeff ange- geben, w bezeichnet die Weite der Raumladungszone. Tunneldunkelstrom: Bei hohen Sperrspannungen bzw. bei niedrigen Schwellenfeldstärken kann es dazu kommen, dass Ladungsträger die Potentialbarriere durchtunneln und somit einen Tunnelstrom Itun er- zeugen. Oberflächenleckstrom: Es können oberflächenbedingte Dunkelströme Iob auftreten. Diese Ströme hängen stark vom Halbleitermaterial und der Prozesstechnik sowie der umgebenden Atmosphäre ab. Betrachtung des Gesamtdunkelstroms: Der gesamte Dunkelstrom kann als Summe der genannten Einzelströme dargestellt werden: obertungen,Sdiff,Sdark IIIII +++= (4-22) Abschließend eine kurze Temperaturanalyse des Dunkelstroms: Da der Diffusionsdunkel- strom wesentlich stärker mit steigender Temperatur wächst als der Generationsdunkelstrom, überwiegt dieser Stromanteil bei hohen Temperaturen. Der Generationsdunkelstrom über- wiegt bei kleinen Temperaturen [65]. Zusammenfassend kann nach [6] der Dunkelstrom wie folgt formuliert werden: T T 0,darkdark eII ∆⋅= 5 Das Fixed-Pattern Rauschen 44 5 Das Fixed-Pattern Rauschen Bei homogener Beleuchtung erzeugen die einzelnen Pixel unterschiedliche Ausgabewerte. Das führt zu einem örtlichen Rauschen. Ursachen wie auch Darstellungsformen des Fixed- Pattern Rauschens werden in diesem Abschnitt näher erläutert. 5.1 Problematik Betrachtet man ein unkorrigiertes Bild eines CMOS-Bildsensors, so stellt man bei einheitli- cher Ausleuchtung des Sensorbereichs fest, dass die Ausgabewerte nicht homogen sind. Der Betrachter sieht anstelle des erwarteten, einheitlichen Graubildes ein „gesprenkeltes“ Bild (vgl. Abbildung 5-1). Da das örtliche Rauschen ein festes, zeit-invariantes Muster erzeugt, wird es auch Fixed-Pattern Rauschen genannt. Ziel dieser Arbeit ist die Entwicklung eines Korrekturalgorithmus, welcher das örtliche Rau- schen eines HDRC-VGAx-Sensors eliminiert. Es ist dabei hervorzuheben, dass dieses Verfah- ren über den gesamten Dynamikbereich (10-3 Lux bis 106 Lux) des HDRC-Sensors gute Er- gebnisse liefern und möglichst temperaturunabhängig sein soll. Durch das logarithmische Pixelverhalten des HDRC-Sensors ist das örtliche Rauschen stärker ausgeprägt als bei linea- ren Sensoren und schwieriger zu korrigieren. 5.2 Ursachen Fertigungstoleranzen bei den verwendeten MOS-Transistoren sowie der komplexe Aufbau der zweidimensionalen Matrix sind die Ursachen für das örtliche Rauschen. Insbesondere sind die örtliche Variationen der Dotierung und unterschiedliche geometrische Ausmaße der Tran- sistoren Rauschquellen. Durch seinen Pixelaufbau reagiert der HDRC-Sensor äußerst emp- findlich auf geringste Parameterschwankungen. Das örtliche Rauschen unterscheidet zwischen pixel- und spaltenabhängigem Rauschen. CMOS-Bildsensoren leiden an einer Mischung aus spalten- und pixelabhängigem Fixed- Pattern Rauschen. Abbildung 5-1 visualisiert pixel- und spaltenabhängiges Fixed-Pattern Rauschen. Um ein derartiges Ergebnis zu erhalten, wird der Bildsensor bei einer Helligkeit homogen beleuchtet. Zur besseren Unterscheidung sind die Ausprägungen sehr stark hervor- gehoben. In der Realität handelt es sich um Mischformen, bei der das spaltenabhängige Rau- schen je nach Sensorstruktur mehr oder weniger stark ausgeprägt ist. 5 Das Fixed-Pattern Rauschen 45 Abbildung 5-1: Darstellung von pixelabhängigen (links) und spaltenabhängigen (rechts) Fixed-Pattern Rauschen bei homogener Beleuchtung [17] Die Grundlage für die pixelabhängigen FPN-Rauschquellen bildet die Gleichung (3-9). ( ) ( )( )DarkPhotoTempTempmaxthreshGS IIlnUnUnIlnUU +⋅⋅+⋅⋅−= mit ( ) Darkph Tempph Tempmaxthreshph Ic Unb UnIlnUa = ⋅= ⋅⋅−= vgl. (3-9) Die Variation der Schwellspannung Uthresh stellt laut Literatur die wichtigste Ursache des ört- lichen Rauschens dar. Die Schwellspannung Uthresh verursacht dementsprechend einen Offset- Fehler. Der Verstärkungsfaktor n des Logarithmier-Transistors hängt von der Dotierung ab. Durch die örtliche Variation kommt es zu unterschiedlichen Verstärkungsfaktoren der Pixel und dadurch zu einem örtlichen Rauschen, welches sich vor allem im Hellen auswirkt. Der Parameter c variiert auf Grund unterschiedlicher Dunkelströme. Dies lässt sich auf statistische Verteilung der Dotierung zurückzuführen und verursacht eine Verschiebung des 3dB-Punktes von Pixel zu Pixel. Der Signalpfad sowie Unterschiede in den Verstärkern, die pro Spalte implementiert sind, erzeugen ein spaltenabhängiges Rauschen. Spaltenabhängiges Rauschen ist je nach Sensor- struktur unterschiedlich stark ausgeprägt. Der VGAx-Sensor hat ein geringes spaltenabhängi- ges Rauschen, so dass im Weiteren Verlauf dieser Arbeit darauf nicht eingegangen wird. Mit den Worten „kleine Ursache – große Wirkung“ kann die Fixed-Pattern Problematik beim HDRC-Sensor beschrieben werden. Obwohl der CMOS-Prozess sehr gut abgestimmt ist und somit viele Parameter nur äußerst wenig variieren, kommt es am Ausgang zu einem optisch prägnanten Rauschbild. Es sei deshalb an dieser Stelle besonders darauf hingewiesen, dass kleinste Abweichungen der Pixel große Auswirkungen auf die Bildqualität zur Folge haben. Aus diesem Grund ist es für eine gute Korrektur essentiell die mögliche Variation aller Para- meter aph, bph und cph zu berücksichtigen. Dies bestätigen auch Versuche im Kapitel 7.1. 5 Das Fixed-Pattern Rauschen 46 5.3 Auswirkungen der Parametervariation Auf Grund seines logarithmischen Verhaltens ist der HDRC-Sensor nicht so einfach zu korri- gieren wie lineare CMOS-Sensoren. Hierbei muss die Variation, der bereits in Formel (3-9) und (3-10) eingeführten Parameter • Offset a • Verstärkung b • 3dB-Punkt c berücksichtigt werden. Dies resultiert in einer anspruchsvolleren Korrektur als bei linearen Sensoren, bei denen eine Offset-Korrektur ausreichend ist. ( )cxlnbay +⋅+= vgl. (3-10) Die nachfolgenden Grafiken verdeutlichen die Auswirkungen von Veränderungen auf diese drei Parameter und zeigen damit die Komplexität der Korrekturproblematik auf. [51] Variation des Offsets: Abbildung 5-2: Auswirkung der Änderung des Offsets a [51] Bei einem Offsetfehler ist das tatsächliche Verhalten eines Pixels um einen konstanten Wert zur Sollkennlinie verschoben (vgl. Abbildung 5-2). Durch einfache Addition bzw. Subtraktion einer Konstante ist dieser Fehler leicht zu korrigieren. Eine mögliche Ursache hierfür ist die Variation der Schwellspannung Uthresh zwischen den Pixeln. 5 Das Fixed-Pattern Rauschen 47 Variation der Verstärkung: Abbildung 5-3: Auswirkung der Änderung der Verstärkung b[51] Bei unterschiedlichen Verstärkungsfaktoren unterscheidet sich das Ausgangssignal vor allem im Hellen (siehe Abbildung 5-3). Ursache hierfür ist der unterschiedliche Subthreshold Slope Faktor n der Logarithmier-Transistoren. Eine entsprechende Multiplikation bzw. Division korrigiert dieses Fehlverhalten. Variation des 3dB-Punktes: Abbildung 5-4: Auswirkung der Änderung des 3dB-Punktes [51] 5 Das Fixed-Pattern Rauschen 48 Abbildung 5-4 zeigt, dass die Variation des Parameters c eine Verschiebung der Kennlinie im Dunkeln bewirkt. Bei hoher Beleuchtung hat diese Variation keine Auswirkung. Ein hoher Wert für den Parameter c verschiebt die Kennlinie im Dunkeln nach oben. Dies bedeutet, dass dieses Pixel erst bei höheren Beleuchtungsstärken ein Signal detektieren kann. Ein schwaches Pixel (weak pixel) besitzt einen überdurchschnittlich hohen Wert für den Parameter c und ist deshalb nicht so lichtempfindlich. Eine Korrektur dieser Variation erfordert den Einsatz nicht- linearer Algorithmen. 5.4 Die Statistik des Bildsensors Für die Analyse der FPN-Korrekturverfahren sind statistische Methoden notwendig. So muss z.B. überprüft werden, ob die Algorithmen uneingeschränkt auf den gesamten Bildsensor an- gewendet werden können. Eine weitere Fragestellung stellt die Maskierung von Pixeln dar. Selbst die besten Verfahren können nicht alle Pixel korrigieren, da während des Herstellungs- prozesses fehlerhafte, schwache Pixel entstehen. Um die guten Pixel zu erfassen, wendet die- se Arbeit statistische Methoden an. Dieses Kapitel stellt diese Verfahren in direkter Anwen- dung bei Bildsensoren vor. Rohdaten und korrigierte Werte: Die nachfolgend beschriebenen statistischen Methoden haben als Ziel eine Aussage über die Qualität des Korrekturalgorithmus zu machen. Jedes Korrekturverfahren hat als Eingangsda- tenstrom dieselben Rohdaten des Sensors. Die Ausgabewerte unterscheiden sich dagegen je nach angewandtem Algorithmus. Um die Qualität der Korrekturalgorithmen untereinander zu ermitteln, werden statistische Methoden auf die jeweiligen korrigierten Daten angewendet. Ein Vergleich zwischen Rohdaten und den neu berechneten Werten zeigt das Maß der Ver- besserung auf. (vgl. Abbildung 5-5) Rohdaten Algorithmus 1 Algorithmus 2 Algorithmus 3 Ve rg le ic h Aussage über Algorithmen- qualität Abbildung 5-5: Flussdiagramm für die Auswertung von Algorithmen Grundgesamtheit und Stichproben: Bevor statistische Berechnungen am Sensor beginnen können, muss festlegt werden, ob die gesamte Sensorfläche oder nur eine zufällige Auswahl von Pixeln betrachtet werden. Im ers- ten Fall spricht die Statistik von der Grundgesamtheit, bei der alle Elemente eines zu untersu- chenden Systems betrachtet werden. Beim Stichprobenverfahren werden dagegen zufällig 5 Das Fixed-Pattern Rauschen 49 ausgewählte Elemente analysiert. Diese Vorgehensweise wird vor allem bei besonders großen Mengen angewandt. Bei ausreichend großer Anzahl der Stichproben kann bei diesem Verfah- ren auf das statistische Verhalten der Grundgesamtheit geschlossen werden. Bei der Analyse eines Bildsensors ist es problemlos möglich, alle Pixel des Sensorfeldes zu erfassen und zu analysieren. Deshalb wird im weiteren Verlauf der Arbeit die Grundgesamtheit betrachtet. Um statistische Verfälschungen durch Randeffekte zu vermeiden, entspricht diese Gesamtheit dem definierten VGA-Bildfeld von 640x480 Pixeln, welches sich in der Mitte des Bildfeldes befindet. Maßzahlen der deskriptiven Statistik: Nachdem die Daten der Menge (Grundgesamtheit oder Stichprobe) erfasst wurden, werden diese analysiert. Für die Betrachtung der Bildsensoren sind hierfür das Minimum, das Maxi- mum, der Median, der Mittelwert und die Standardabweichung von hoher Bedeutung. Das arithmetische Mittel (Gleichung (5-1)) berechnet sich aus der Summe aller Einzelwerte xi di- vidiert durch die Anzahl N der Werte. [49] N x x N 1i i∑ = ==µ (5-1) Das geometrische Mittel wird angewendet, wenn multiplikative Relationen analysiert werden. Es wird häufig in der Wirtschaftsstatistik verwendet. Die Werte xi dürfen dabei weder negativ noch gleich null sein. [15] N N 1i ixx ∏ = =& (5-2) Für die Analyse ist es nicht nur wichtig zu wissen, welche Mittelwerte die Bildsensoren bei einer Beleuchtungsstärke haben, sondern auch, wie stark sich die einzelnen Werte voneinan- der unterscheiden. Dies beschreibt die Standardabweichung σ. Bezogen auf Bildsensoren be- deutet eine große Standardabweichung, dass die Ausgabewerte der Pixel stark variieren. Dies führt, bei gleichmäßiger Beleuchtung, zu einem inhomogenen Bild und ist deshalb ein Indiz für schlechte Bildqualität. Ziel von Korrekturmaßnahmen muss deshalb sein, die Standardab- weichung definiert durch Formel (5-3) zu verringern. [49] ( ) N x N i i∑ = − = 1 2µ σ (5-3) 5 Das Fixed-Pattern Rauschen 50 Darstellungsformen in der deskriptiven Statistik: Abbildung 5-6: Histogramm der Ausgabewerte eines VGAx-Sensors im Dunkeln (0.0002 Lx) Abbildung 5-6 zeigt ein Histogramm der unkorrigierten Ausgabewerte eines VGAx-Sensors (VGAx 0920) im Dunkeln (0.0002 Lx). Auf der x-Achse ist der jeweilige AD-Ausgabewert und auf der y-Achse die absolute Häufigkeit eines AD-Ausgabewerts aufgetragen. Die Maß- zahlen dieser Verteilung sind: • Minimum: 88 • Maximum: 397 • Mittelwert: 178.2404 • Standardabweichung: 21.3861 Diese Grafik stellt eine absolute Häufigkeitsverteilung dar. Werden alle Intervalle kumuliert, so erhält man die Anzahl der Pixel eines im VGA-Modus betriebenen Bildsensors mit 307200480640 =⋅ . Um eine relative Häufigkeitsverteilung zu erhalten, wird die Anzahl der Pixel bei einem bestimmten AD-Ausgabewert durch die Gesamtpixelzahl dividiert. Auf diese Weise wird die Verteilung in % angegeben. Die Summe aller Intervalle entspricht 100%. Die Normalverteilung: Durch Verkleinerung der Intervalle in der vorherigen Abbildung entsteht eine Verteilung, welche einer Normalverteilung entspricht. Da bei der Pixelanalyse endlich viele Daten vorlie- gen, handelt es sich hierbei um keine kontinuierliche Verteilung. 5 Das Fixed-Pattern Rauschen 51 Abbildung 5-7: Gaußsche Glockenkurve Abbildung 5-7 zeigt die Gaußsche Glockenkurve. Sie ist die grafische Darstellung der Nor- malverteilung bzw. Gauß-Verteilung. Mathematisch wird sie durch Formel (5-4), [55] be- schrieben. ( ) 2 x 2 1 e 2 1 xf       σ µ− − piσ = (5-4) Die Gaußsche Glockenkurve ist symmetrisch um den Mittelwert µ verteilt. Die eingeschlos- sene Fläche beträgt 100% aller Messwerte. Der Mittelwert stellt dabei den höchsten Punkt dar. Die Standardabweichung beschreibt auch in diesem Fall die Streuung und somit die Brei- te der Glockenkurve. Der Standardwert entspricht dabei dem Wendepunkt der Glockenkurve. Für die Analyse des Bildsensors ist eine weitere Eigenschaft der Standardabweichung wich- tig: der Zusammenhang zwischen der Verteilung um den Mittelwert in Abhängigkeit von der Standardabweichung. Die Intervalle µ±σ, µ±2σ und µ±3σ umschließen eine mathematisch fest definierte Anzahl von Elementen. So umfasst das Intervall von µ±σ 68,27% aller Pixel- werte (vgl. Abbildung 5-7). Bereits bei µ±2σ liegt der Wert bei 95.45%. Für die Bildsensorik kann hiermit ermittelt werden, welche Pixel innerhalb eines Konfidenzintervalls liegen und wie groß dieses bezüglich des Wertebereichs sein muss. Auf diese Weise kann später die Anzahl der zu korrigierenden Pixel eingeschränkt werden. Es müssen nicht mehr die minimalen und maximalen Werte, welche meistens Ausreißer darstel- len, beachtet werden. Dies führt, wie später gezeigt, zu einer Speicherreduktion. Abbildung 5-8 stellt die Verteilung der Pixelwerte bei gleicher Beleuchtungsstärke aber un- terschiedlichen Sensorqualitäten dar. Die Werte σ=2 bzw. σ=8 bedeuten, dass die Ausgabe- 5 Das Fixed-Pattern Rauschen 52 werte der Pixel stark schwanken. Für die schmale Glockenkurve mit σ=1 gibt es nur kleine Schwankungen der Pixelwerte. Dies führt zu einem besseren, homogeneren Bild. Die Stan- dardabweichung stellt somit einen wichtigen Qualitätsindikator dar. Abbildung 5-8: Auswirkung unterschiedlicher Standardabweichung auf die Gauß-Kurve Bevor die soeben vorgestellten statistischen Methoden für die Analyse des VGAx eingesetzt werden können, muss überprüft werden, ob die Pixel- und Parameterwerte einer Normalver- teilung folgen. Hierfür wurden Histogramme der Pixelwerte und der Parameter a, b und c ausgewertet. Die Auswertung der Histogramme allein gibt jedoch noch keine Aussage, ob die Werte auch innerhalb des Sensors statistisch verteilt sind. Um dies zu überprüfen, wurden die Parameter- bzw. Pixelwerte des Pixelfeldes in einem Bild dargestellt. Die Auswertung hat für alle Werte ergeben, dass sie einer Normalverteilung folgen. Der VGAx-Sensor kann dement- sprechend im Folgenden mit den statistischen Mitteln dieses Kapitels analysiert werden. 5 Das Fixed-Pattern Rauschen 53 Lineare Regression: Die lineare und die quadratische Regression werden für die Analyse der Temperaturabhän- gigkeiten der Parameter benötigt. 0 2 4 2 4 M es s w er te y i Messwerte xi Lineare Regression Viele, unsichere Messpunkte * * * * * * * Abbildung 5-9: Die lineare Regression Mit Hilfe der Methode der minimalen, quadratischen Abweichung werden die Formeln für die lineare Regression ermittelt: ( ) ( )( ) ( )∑∑ == ⋅−−=⋅+−= n 1i 2 igRegRei n 1i 2 igRegRei xbayxbayb,aΦ (5-5) Für die weitere Berechnung werden die partiellen Ableitungen nach a und b null gleich ge- setzt: ( )( ) ( )( )∑ ∑ = = =−−−= ∂ ∂ =−−−= ∂ ∂ n 1i iigRegRei n 1i igRegRei gRe 0xxbay2 b 01xbay2 a Φ Φ Der Offset aReg und die Steigung bReg sind wie folgt definiert: xbya gRegRe −= (5-6) ( ) ( ) ( )∑ ∑ = = − −⋅− = n 1i 2 i n 1i ii gRe xx yyxx b (5-7) Quadratische Regression: Die quadratische Regression verfolgt den gleichen Ansatz und berechnet die Parameterα, β und γ durch Minimierung der quadratischen Abweichung. ( ) ( ) ( )∑ ∑ = = ⋅−⋅−−=−= n 1i 2n 1i 2 iii 2 ii xxyyˆy,, γβαγβαΦ (5-8) Für die weitere Berechnung werden die partiellen Ableitungen nach α, β und γ gleich null gesetzt: 5 Das Fixed-Pattern Rauschen 54 ( )∑ = =⋅⋅+⋅⋅+⋅−⋅= ∂ ∂ n 1i 2 iii 0x2x2y22 γβαα Φ ( ) 0x2x2yx2x2n 1i 3 iiii 2 i =⋅⋅+⋅⋅+⋅⋅−⋅⋅=∂ ∂ ∑ = γαββ Φ ( ) 0x2x2yx2x2n 1i 4 i 2 ii 2 i 3 i =⋅⋅+⋅⋅+⋅⋅−⋅⋅=∂ ∂ ∑ = γαβ γ Φ Der Offset α wird definiert: ∑ = ⋅−⋅−= n 1i 2 ix n xy γβα (5-9) Nach entsprechenden Umformungen kann β bestimmt werden: 2x 2 n 1i 2 i n 1i 3 i n 1i 2 i xy n 1i ii Qxnx'c xxx'b Qyxnyx'a =⋅−= −⋅= =⋅⋅−⋅= ∑ ∑∑ ∑ = == = ' '' c ba ⋅+ = γβ (5-10) Abschließend die Definition des Regressionsparameters γ: ∑ ∑ ∑∑ ∑∑∑∑ = = == ====       −⋅⋅−⋅+ ⋅⋅+⋅−⋅−⋅ = n 1i 2 n 1i 2 in 1i 2 i n 1i 3 i 4 i n 1i 2 i n 1i 2 i n 1i 3 i n 1i i 2 i n x xx 'c 'b x 'c 'b x xx 'c 'a xyx 'c 'ayx γ (5-11) Das Bestimmtheitsmaß: Das Bestimmtheitsmaß misst die Güte des Zusammenhangs der Messwerte zur approximier- ten Funktion. Sein Wertebereich ist 1²r0 ≤≤ , wobei Null für keinen Zusammenhang zwi- schen der Regression und den Messpunkten und 1 für 100%ige Übereinstimmung steht. [46] ( ) ( )∑ ∑ − − == i i i i y y yy yy s s r 2 2 2 2 ˆ ˆ ² (5-12) 5 Das Fixed-Pattern Rauschen 55 5.5 Darstellungsformen des Fixed-Pattern Rau- schens Fixed-Pattern Rauschen kann auf unterschiedliche Weise erfasst und dargestellt werden. Die- ser Abschnitt stellt verschiedene Sichtweisen vor, damit die weiteren Grafiken dieser Arbeit problemlos interpretiert werden können. 1. Betrachtung eines Bildes: Beim Betrachten eines HDRC-Bildes ist das Fixed-Pattern Rauschen deutlich als Struktur im Bild erkennbar. Dies führt zu einer Degradierung der Bildqualität und der Kontrastempfind- lichkeit. Abbildung 5-10: Rohbild (links) und korrigiertes Bild (rechts) mit einer Testchart Bei der Auswahl der Bildszene gibt es prinzipiell zwei Möglichkeiten, entweder die Verwen- dung eines Testcharts, wie in Abbildung 5-10 vorgestellt, oder die homogene Ausleuchtung des Sensors (vgl. Abbildung 5-1). Ein Testchart zeigt dem Betrachter ganz allgemein die De- gradierung der Bildqualität. In diesem Beispiel ist links ein deutlich verwaschenes und kon- trastarmes Bild dargestellt. Dieses unkorrigierte Bild stellt die Kombination des örtlichen Rauschens mit der eigentlichen Szene dar. Der in dieser Arbeit vorgestellte Algorithmus er- möglicht die hohe Qualität des rechten Bildes, welches klare Strukturen aufweist. Die homogene Ausleuchtung des Sensors hat den Vorteil, dass genauere Strukturen, wie z.B. zeilenabhängiges Fixed-Pattern Rauschen, erkennbar sind. Für die homogene Ausleuchtung wird eine Phlox-Platte verwendet, welche dann für unterschiedliche Beleuchtungsstärken an- gesteuert wird, so dass auf diese Weise die charakteristische Kennlinie aufgezeichnet werden kann. 2. Histogramme: Bei homogenen Bildern kann die Verteilung der Grauwerte und die anschließend ermittelte Standardabweichung für die Beurteilung des örtlichen Rauschens verwendet werden. Die re- sultierenden Histogramme sind ein wichtiges Gütekriterium für Bildsensoren. Bei optimalen Bildsensoren würden alle Pixel den gleichen Ausgabewert liefern. 5 Das Fixed-Pattern Rauschen 56 Abbildung 5-11:Histogramme im Dunkeln (0.0002 Lx) und im Hellen (9810 Lx), mit und oh- ne FPN-Korrektur ( VGAx-Sensor 0920) Abbildung 5-11 zeigt die Verteilung der Grauwerte bei niedriger (0.0002 Lx) und hoher (9810 Lx) Beleuchtung, vor bzw. nach einer 1-Punkt-Offset-Korrektur (vgl. Kapitel 6.2.1) (σ≈5 DN, σ≈2.8 DN). Die Darstellung zeigt deutlich, dass die unkorrigierten Daten wesent- lich breiter gestreut sind (σ≈22 DN). Eine Korrektur erhöht die Bildqualität durch Reduktion der Standardabweichung. 3. Sigma über der Beleuchtungsstärke: Eine gute Korrektur zeichnet sich durch eine konstante Qualität über dem gesamten Dyna- mikbereich aus. Um dies besser analysieren zu können, werden nicht die einzelnen Histogramme betrachtet, sondern deren Standardabweichungen in Abhängigkeit von der Be- leuchtungsstärke in ein Diagramm aufgetragen. Abbildung 5-12: Standardabweichung über der Beleuchtungsstärke des VGAx-Sensors 0920 (Empfindlichkeit: 85 Digits pro Dekade) 5 Das Fixed-Pattern Rauschen 57 Abbildung 5-12 zeigt, wie sich die Standardabweichung des Korrekturverfahrens mit der Be- leuchtungsstärke verhält. Die Abweichung der Rohdaten nimmt bei hoher Beleuchtungsstärke leicht ab. Bei genauer Analyse der 1-Punkt-Offset-Korrektur ist ersichtlich, dass die Stan- dardabweichung über der Beleuchtungsstärke nicht konstant ist. Es gibt ein Minimum bei 1.3 Lx. Im Dunkeln wie im Hellen steigt die Standardabweichung dagegen wieder stark an. Die- ses Ergebnis zeigt die Schwächen der reinen Betrachtung von Histogrammen, die Informatio- nen über derartige Extrema schlecht darstellen können. Für eine Beurteilung des Algorithmus sind jedoch genau diese Daten äußerst wichtig. Aus diesem Grund charakterisiert diese Arbeit Korrekturalgorithmen vorrangig durch die Analyse der Standardabweichung über der Be- leuchtungsstärke und nicht durch Histogramme. 4. ± 3-Sigma Intervall: Eine andere Betrachtung des örtlichen Rauschens geht von der charakteristischen Kurve aus und analysiert dabei die gemittelte Kurve sowie die ±3σ Intervalle. Abbildung 5-13:Gemittelte Kennlinie umschlossen vom ±3σ-Intervall im unkorrigierten (links) und korrigierten Fall (rechts)(VGAx-Sensor 0920) Abbildung 5-13 zeigt die gemittelten Kurven und die einhüllenden ±3σ-Intervalle der Rohda- ten bzw. nach einer 1-Punkt-Offset-Korrektur. Innerhalb der grauen Flächen befinden sich 99.73% aller charakteristischen Pixelkurven. Während bei den Rohdaten die Abweichung vom Mittelwert über der Beleuchtungsstärke weitgehend konstant ist, ist bei der 1-Punkt- Offset-Korrektur, entsprechend der Daten aus Abbildung 5-12, ein Minimum vorhanden. Die- se Form ist anschaulicher als die Darstellung durch die Standardabweichung und für verein- fachte Betrachtungen geeignet. Für eine genaue Analyse ist diese Form jedoch zu ungenau. Sie kann deswegen nur eine zusätzliche Betrachtung zur vorherigen Darstellung sein. 5. Rauschanalyse durch Fourier-Analyse: Auch die Fourier-Analyse kann zur Beurteilung des Fixed-Pattern Rauschens herangezogen werden. Ausgangspunkt ist dabei die homogene Ausleuchtung des Sensors. Die Fourier- Analyse zeigt dann auf, ob im Bild spalten- oder zeilenabhängiges örtliches Rauschen vorliegt und wie hoch die Wiederholrate ist. 5 Das Fixed-Pattern Rauschen 58 Abbildung 5-14:Beispiel für eine Fourier-Analyse der Spalten (Screenshot) Abbildung 5-14 zeigt eine Fourier-Analyse, welche die Spaltenabhängigkeiten eines Sensors darstellt. Es weist ein Extremum bei einer Frequenz von 0.25 Hz auf, was einer Wiederholrate alle 4 Spalten entspricht. Bei der Fourier-Analyse des VGAx-Sensors gibt es keine Extrema, da dieser keine ausgepräg- te Spalten- oder Zeilenabhängigkeit aufweist. Des Weiteren ist die Fourier-Analyse für prakti- sche Analyse des örtlichen Rauschens weniger von Bedeutung, da die Spalten- bzw. Zeilen- abhängigkeiten prinzipiell mit bloßem Auge sichtbar sind. Falls notwendig, liefert die Fou- rier-Analyse dann die genaue Wiederholrate. 6. Qualitative Bewertung des Fixed-Pattern Rauschens: Die in 1. bis 5. vorgestellten Sichtweisen haben das Fixed-Pattern Rauschen quantitativ dar- gestellt. Dabei war auch eine Verbesserung vom unkorrigierten zum korrigierten Datensatz um den Faktor 3 22 (Durchschnittswert bei der 1-Punkt-Offset-Korrektur) ersichtlich. Bis jetzt wurden jedoch keine Angaben gemacht, welchen Umfang das Ausgangssignal hat. So wirkt sich eine Variation von 3 Digits bei einem Ausgangssignal von 6 Bit wesentlich stärker aus, als bei 12 Bit. Das Ausgabesignal des hier betrachteten VGAx-Sensors umfasst 10 Bit. Hierbei muss jedoch berücksichtigt werden, dass die Sensoren nicht den vollständigen Aus- gabebereich ausnutzen. Abbildung 5-13 zeigt z.B. eine Mittelwertkurve, die einen Wertebe- reich von 150 bis 600 Digits aufweist. Dementsprechend ist es nicht angebracht, eine Stan- dardabweichung mit den vollen 10 Bit ins Verhältnis zu setzen. Im obigen Beispiel würde bei einer 1-Punkt-Offset-Korrektur im Hellen (σ=3DN) ein Rauschen von 0.29% bzw. 0.6% auf- treten, wenn jeweils der gesamte Bereich bzw. nur die reellen 450 Digits der Mittelwertkurve betrachtet werden. Um dieser Problematik zu entgehen und um dem logarithmischen Verhalten des Sensors zu entsprechen, wird im Nachfolgenden die Anzahl der Bits pro Dekade zum Vergleich herange- zogen. Diesen Wert kann aus der Sensitivitätskurve (vgl. Abbildung 5-15) abgelesen werden. 5 Das Fixed-Pattern Rauschen 59 Die Sensitivitätskurve berechnet sich aus der Steigung nach folgender Gleichung:       − = 1 2 12 x xlog yyySensitivit (5-13) Abbildung 5-15: Die Sensitivitätskurve des VGAx 0920 Abbildung 5-15 stellt die Sensitivität des VGAx 0920 über der Beleuchtung dar. Bei hoher Beleuchtung hat dieser Sensor eine Empfindlichkeit von 85 Digits pro Dekade. Dabei ist die Standardabweichung im unkorrigierten Fall σ=22DN, im korrigierten Fall, z.B. im Hellen, σ=3DN. Die Kontrastempfindlichkeit ist die mit 1 LSB am Ausgang wahrnehmbare Hellig- keitsänderung x x∆ am Pixel: ( ) Dekade Digits elog 1keitmpfindlichKonstraste ⋅ = (5-14) 6 Stand der Technik 60 6 Stand der Technik Dieses Kapitel konzentriert sich auf verschiedene Lösungsmöglichkeiten zur FPN-Korrektur. Der erste Abschnitt diskutiert analoge und digitale Verfahren im Allgemeinen. Anschließend werden die am Institut angewandten Verfahren vorgestellt. Kapitel 6.3 geht auf Methoden anderer Forschungsgruppen ein. Eine zusammenfassende Diskussion am Ende des Kapitels zeigt Vor- und Nachteile der einzelnen Verfahren auf. 6.1 Analoge und digitale Korrektur Die Unterscheidung zwischen analogen und digitalen Methoden zur Reduktion von Störgrö- ßen ist in der Sensorik allgemein bekannt. Nachfolgender Abschnitt erläutert die Vor- und Nachteile analoger und digitaler Verfahren bei der Korrektur von Fixed-Pattern Rauschen in Bildsensoren. Bei analogen Methoden werden zusätzliche Bauelemente zur Referenzgewinnung in die Pi- xel- oder Spaltenstruktur eingefügt, um entsprechendes Fixed-Pattern Rauschen zu kompen- sieren. Über die Anzahl und Lage der Referenzsignale innerhalb des Signalpfades lässt sich die FPN-Korrektur beeinflussen. Dies hat den Vorteil, dass die Sensordaten (vor)korrigiert sind, bevor sie zu digitalen Werten gewandelt werden. Das führt zu einer besseren Ausnutzung des AD-Wandlerbereichs, da die Streuung der Signale, welches durch das örtliche Rauschen hervorgerufen wird, bereits im Vorfeld verringert wurde. Analoge Verfahren berücksichtigen die Alterung des Sensors und thermische Effekte, da die zusätzlich eingefügten Referenzsignale den gleichen Einflüssen unterliegen. Derartige vorteilhafte Effekte wurden in den gegenwärtig publizierten For- schungsergebnissen ([28], [30]) nicht hervorgehoben. Der Nachteil analoger Korrekturmethoden ist, dass für jedes Pixel eine zusätzliche Schaltung notwendig ist. Das führt zu einem geringeren Füllfaktor, welcher sich entweder in einer schlechteren Sensitivität des Bildsensors oder in einer Vergrößerung der Pixelfläche auswirkt. Digitale Verfahren sind in den letzten Jahren durch den technischen Fortschritt erst wirt- schaftlich geworden, so ist zwischenzeitlich für die Lösung der betrachteten Probleme kein Supercomputer mehr notwendig. Der Preis von digitalen Schaltungen, z.B. integriert in FPGAs, wie auch die Kosten für Speicherbausteine, hat sich derartig reduziert das eine Imp- lementierung wirtschaftlich geworden ist. Bei digitalen Verfahren werden in der Regel die Pixelwerte erst nach der Analog-Digitalwandlung entsprechend korrigiert. Der entscheidende Vorteil, im Bezug auf die Bildsensorik ist, dass nur eine digitale Schaltung für den gesamten Sensor benötigt wird und der Füllfaktor davon nicht beeinträchtigt wird. Der Nachteil digitaler Lösungen ist, dass sie zunächst keine thermische Effekte und Alterung berücksichtigen können. Außerdem werden die Rohdaten unkorrigiert gewandelt, was einer optimalen Nutzung des AD-Wandlerbereichs entgegensteht. 6 Stand der Technik 61 6.2 A-posteriori Verfahren 6.2.1 1-Punkt-Offset-Korrektur Verfahren: Das IMS verwendet beim gegenwärtigen VGAx-Sensor eine 1-Punkt-Offset-Korrektur. Bei diesem Verfahren wird während der Kalibrierung ein Korrekturbild bei einer charakteristi- schen Beleuchtungsstärke (ca. 0.2 Lx) aufgenommen. Im nächsten Schritt sucht die Software den höchsten Ausgabewert innerhalb dieses Bildes. Der höchste Pixelwert wird zum Pixel- Sollwert für diese Beleuchtungsstärke bestimmt. Anschließend vergleicht die Funktion die Werte pixelweise mit dem Maximalwert und speichert die Differenz ∆ ab (vgl. Abbildung 6-1). Für den Korrekturwert stehen 8 Bit zur Verfügung. Das LSB (least significant bit) wird für die Maskierung benötigt. Sollten Pixelwerte mehr als 254 Digits vom Maximalwert ab- weichen, so können diese nicht optimal korrigiert werden. min minmax max ∆ ∆ ∆ ∆>254 H äu fig ke it H äu fig ke it Ausgabewerte Ausgabewerte Optimal korrigiertes Bild Nicht 100% korrigierbares Bild ∆<=254 Abbildung 6-1: Prinzip der 1-Punkt-Offset-Korrektur Abbildung 6-1 zeigt das Prinzip der Offsetkorrektur, welche im Idealfall ein homogenes Bild bei der Kalibrierbeleuchtung erzeugt. Bei einer Differenz von mehr als 254 digitalen Aus- gangswerten, ist eine einwandfreie Korrektur nicht mehr möglich. In diesem Fall weist das Bild auch nach der Kalibrierung eine Variation der Pixelwerte auf. 6 Stand der Technik 62 Ergebnisse: Abbildung 6-2: Ergebnis der korrigierten Kurvenschar durch die 1-Punkt-Offset-Korrektur (VGAx 0920, Empfindlichkeit: 85 Digits pro Dekade) Abbildung 6-2 zeigt die Standardabweichung über der Beleuchtungsstärke sowie das ±3σ- Intervall der korrigierten Daten. Der Abgleich fand bei 1.1 Lx statt. Die 1-Punkt-Offset-Korrektur erfasst den Gesamtoffset y bei einer bestimmten Beleuchtungs- stärke. Je nach Wahl des Messpunktes muss der Offsetwert unterschiedlich interpretiert wer- den. Es treten entsprechend drei Fälle auf, bei denen die aktuelle Beleuchtungsstärke und der Dunkelstrom unterschiedlichen Einfluss haben (vgl. Gleichung (6-1)). ( )clnbay ⋅+= für x<>c (6-1) Gleichung (6-1) zeigt drei Fälle auf: Im Dunkeln ist der Gesamtoffset y abhängig von allen drei Parametern a, b und c, jedoch unabhängig von der Beleuchtungsstärke x auf Grund des dominanten Dunkelstroms. Bei einer Beleuchtungsstärke entsprechend dem 3dB-Punkt, ist der Offset abhängig von der Beleuchtungsstärke x. Um den 3dB-Punkt ist zusätzlich zu den Parametern a und b, der Parameter c wichtig. 6 Stand der Technik 63 Vergleich mit der 1-Parameter-Methode: Abbildung 6-3: Vergleich der 1-Punkt-Offset-Korrektur mit der 1-Parameter-Korrektur (VGAx 0920, Empfindlichkeit: 85 Digits pro Dekade) Abbildung 6-3 vergleicht die 1-Punkt-Offset-Korrektur mit der 1-Parameter-Korrektur bei unterschiedlich gewählten Messpunkten. In allen Fällen wurde der VGAx-Sensor 0920 ver- wendet. Die ausgewählten Messpunkte für die 1-Parameter-Korrektur (links) liegen bei 0.0002 Lx, 0.01104 Lx und 5345 Lx. Im rechten Bild wurden, wie im vorherigen Kapitel die Messpunkte 0.0002 Lx, 1.292 Lx, 5345 Lx gewählt. Für die 1-Punkt-Offset-Korrektur, die nur einen Messpunkt benötigt, wurde jeweils der mittlere Messwert mit 0.01104 Lx bzw. 1.2921 Lx verwendet. Beim Vergleich der Bilder fällt auf, dass die 1-Punkt-Offset-Korrektur stets am Messpunkt ein 100% korrigiertes Bild liefert. Im rechten Beispiel repräsentiert der gemessene Offset die 3. Gleichung und im linken die 1. Gleichung der Formel (6-1). Die Übereinstimmung beider Algorithmen im rechten Bild lässt sich dadurch erklären, dass obwohl die 3. Gleichung aus (6-1) anzuwenden ist, der Faktor ( )xlnb ⋅ nicht dominant, da ( ) 256.0xln = ist. Dementsprechend ist in beiden Fällen nur der Parameter a ausschlaggebend. Die linke Abbildung zeigt keine Übereinstimmung der beiden Verfahren. In diesem Fall un- terscheiden sich die beiden Algorithmen deutlich. Bei den verwendeten Messpunkten ist es nicht mehr möglich die 1. Gleichung von (6-1) mit der Formel (7-9) gleichzusetzen. Zusätz- lich verdeutlicht dieses Beispiel, dass die Qualität der 1-Paramter-Korrektur signifikant von der Wahl der Messpunkte abhängt. In diesem Fall wurde der 2. Messpunkt ebenfalls im Dun- keln, bei 0.01104 lx gewählt. Dieser Wert ist unterhalb des 3dB-Punktes. Die Auswertung der charakteristischen Kurve durch die Parameter a, b und c ist deshalb mangelhaft, weil a und b unter der Annahme berechnet werden, dass der Dunkelstrom keinen Einfluss mehr hat. Bewertung: Bei der 1-Punkt-Offset-Korrektur handelt es sich um eine reine Offset-Korrektur. Durch diese Korrektur wird erreicht, dass sich die Kurvenschar bei der Kalibrierbeleuchtungsstärke in einem Punkt schneidet. Jedoch nimmt die Streuung der Werte bei abweichender Beleuchtung 6 Stand der Technik 64 wieder zu. Die Offset-Korrektur stellt somit eine schlechte, wenn auch einfache, Lösung dar. Die Ursache des Offsetfehlers variiert je nach Beleuchtungsstärke und stellt eine Kombination aus den Parametern a, b und c dar. 6.2.2 Der Mehrpunkt-Abgleich Verfahren: Einen erweiterten Lösungsansatz verfolgt der Mehrpunkt-Abgleich. Abbildung 6-3 zeigt, dass das 1-Punkt-Offset-Verfahren am Messpunkt eine optimale Korrektur erzielt. Die Mehrpunkt- Methode verfeinert dieses Verfahren, indem der Benutzer in der Software beliebig viele Stützstellen auswählen kann. Die maximale Zahl der Stützstellen entspricht dabei der Anzahl der Beleuchtungsstärken bei denen in der CAS-Datei (vgl. 7.1.2) Rohdaten abgespeichert wurden. Nach der Auswahl und Berechnung werden beim Mehrpunkt-Algorithmus bei unter- schiedlichen Beleuchtungsstärken Korrekturbilder abgespeichert. Anschließend wird für jedes Bild der Mittelwert gebildet und für jedes Pixel die Differenz zwischen Rohwert und dem dazugehörigen Mittelwert berechnet und abgespeichert. Es entsteht dadurch ein mehrdimensi- onales Array, welches für jedes Pixel ein Offset-Wert für die betrachteten Beleuchtungsstär- ken abspeichert. Während des Betriebs vergleicht die Software welcher Korrekturwert für ein Pixel am geeignetsten ist. Dies wird dadurch erreicht, dass die Offset-Korrektur so häufig durchgeführt wird, bis die Differenz zwischen dem korrigierten Punkt und dem dazu abge- speicherten Mittelwert am geringsten ist. Ergebnisse: Abbildung 6-4: Qualität des Mehrpunkt-Algorithmus in Abhängigkeit von der Anzahl der Messpunkte (VGAx 0920, Empfindlichkeit: 85 Digits pro Dekade) Abbildung 6-4 zeigt, dass sich die Qualität des Mehrpunkt-Algorithmus mit der Zahl der Stützpunkte verbessert. Es wurde hierbei 1 Messpunkt (0.017 Lx), 3 Messpunkte (zusätzlich: 6 Stand der Technik 65 MP2: 1.102 Lx, MP3: 1196 Lx) und eine Simulation mit 6 Messpunkten gewählt (zusätzlich bei 0.00015 Lx, 0.01 Lx, 51 Lx). Bewertung: Dieser Algorithmus ist unabhängig vom Kurventyp. Bei Kennlinien, mit mehreren Knick- punkten ist es notwendig möglichst viele Stützpunkte zu wählen. Dies führt zu langen Kalib- rierzeiten und einem hohen Speicheraufwand. Aus diesem Grund ist dieses Verfahren nur bei wenigen Stützstellen für die Implementierung in Hardware geeignet. In den anderen Fällen, wird ein zusätzlicher Computer für die Korrektur benötigt. Beim Mehrpunkt-Abgleich wird der logarithmische Zusammenhang zwischen Beleuchtung und elektrischen Ausgangssignal nicht berücksichtigt. Die logarithmische Kennlinie wird in diesem Fall durch eine vom Be- nutzer definierte Anzahl von Segmenten angenähert. Ein 4-Punkt-Ansatz wird in den Systemen der Firma Gevitec verwendet. Jede Stützstelle wird dabei mit einer Genauigkeit von 12 Bit in einer 16 Bit Speicherzelle abgelegt. Dies entspricht einem reellen Speicheraufwand von 64 Bit. Im Vergleich dazu ist der Algorithmus Par3Lin (siehe Kapitel 8.3) mit 24 Bit pro Pixel, welcher direkt mit 8 Bit-Speicherbausteinen umge- setzt wird, effizienter. 6.2.3 Dual-Slope-Korrektur Prinzip: Einen alternativen Ansatz zur Fixed-Pattern Korrektur verfolgt das Dual-Slope-Verfahren, welches die logarithmische Sensor Charakteristik durch zwei Geraden annähert. Instituts- Mitarbeiter haben die Leistungsfähigkeit dieses Algorithmus durch Softwaresimulation ermit- telt. Eine Evaluierung dieses Verfahrens in Hardware wurde nicht durchgeführt. [26] Abbildung 6-5: Approximation der logarithmischen Kennlinie durch zwei Geraden 6 Stand der Technik 66 Ablauf der Korrektur: Das Dual-Slope-Verfahren nähert die logarithmische Pixelcharakteristik durch zwei Geraden an. Die erste approximiert dabei den Offset im Dunkeln (siehe Gleichung (6-2)). Die Steigung im Hellen wird durch die Gerade L2 approximiert (vgl. Formel (6-3)). ( )clnbay ⋅+= (6-2) ( )xlnbay ⋅+= (6-3) Der Algorithmus berechnet die Offsets und Steigungen beider Geraden. Anschließend ermit- telt die Software die Mittelwerte der Steigungen und der Offsets, um zwei Nominalgeraden zu erhalten. Im Betriebsmodus werden die verschiedenen Geradenstücke der Pixel an diese No- minalgeraden angepasst. Zwei Look-Up-Tabellen (LUT) speichern die Steigung und den Off- set für jeden Pixel bei hoher bzw. niedriger Beleuchtung. Während des Betriebs prüft der Algorithmus die gemessene Beleuchtungsstärke. Liegt der Ausgabewert eines Pixels unter einem lokalen Schwellwert, so wird Offset und Steigung der ersten Geraden verwendet, oberhalb die entsprechenden Werte der zweiten Geraden. An- schließend wird mit Hilfe der Umkehrfunktion der jeweiligen Gerade die Beleuchtungsstärke ermittelt und dieser Wert wiederum in die Gleichung (6-2) und (6-3) eingefügt. Abbildung 6-6 zeigt das Blockschaltbild des Dual-Slope-Algorithmus. Abbildung 6-6: Hardware Architektur des Dual-Slope-Algorithmus[26] Bewertung des Algorithmus: Durch die Geradenapproximation berücksichtig die zweite Gerade im Hellen den Offset a und die Steigung b der einzelnen Pixel. Der Dunkelstrom wird nur indirekt, durch die Gerade- napproximation im Dunkeln berücksichtigt (vgl. (6-2)). Da bei der Vereinfachung die Stei- gung des Logarithmus im Dunkeln null ist, lohnt sich der Aufwand für die Berechnung dieser nicht. Allgemein ist zu bemerken, dass dieser Algorithmus als eine Vorstufe des Par3Lin- Verfahrens zu betrachten ist und die Geradenapproximation das physikalische Modell des Sensors bereits berücksichtigt. 6 Stand der Technik 67 6.3 Analyse externer Arbeiten 6.3.1 Logarithmischer CMOS-Bildsensor mit Kalibrierung über Refe- renzstromquelle Um Fixed-Pattern Rauschen in logarithmischen Bildsensoren zu eliminieren, benutzen For- scher am IMEC, Belgien, eine Referenzstromquelle. Sie testeten ihre Entwicklung mit einer Bildsensormatrix von 525x525 Pixeln, mit einer Größe von 7.5µm x 10µm, produziert in ei- nem 0.5 µm CMOS-Prozess. Laut [28] erzielen sie mit ihrer Methode eine Reduktion des Fi- xed-Pattern Rauschens auf 2.5% bei einer Datenbreite von 8 Bit. Die Dynamik umfasst 120 dB. VDD Ubias1 Ubias1 M4 M2 M1 M3 Ibias out sel φ I cal M5 Abbildung 6-7: Aufbau des Pixels mit On-Chip Kalibrierung [28] Ziel der analogen Korrekturmethode von [28] ist die Eliminierung der Variation der Schwell- spannung im Pixel. Hierfür verwendet die Forschungsgruppe die in Abbildung 6-7 visualisier- te Pixelstruktur. Grundlage der Methode bilden zwei unterschiedlichen Betriebsmodi des Pi- xels: die logarithmische Datenerfassung, wobei Transistor M1 in schwacher Inversion betrie- ben wird und dem Kalibrier-Modus, in dem M1 in starker Inversion arbeitet. In der ersten Phase, der Datenerfassung, ist der Transistor M4 gesperrt und M1 arbeitet in schwacher Inver- sion. Der Transistor M5 verbindet die Diode mit dem Gate des Transistor M2. Der Transistor M2, welcher als Source-Folger fungiert, ist über den eingeschalteten Transistor M3 an die Spaltenleitung und somit einem speziellen Spaltenverstärker (vgl. Abbildung 6-8) angeschlos- sen. Der Verstärker erfasst das Signal und speichert es zwischen. In der zweiten Phase wird Transistor M4 eingeschaltet und ein zusätzlicher, vordefinierter Strom fließt. Dies bewirkt, dass M1 jetzt in starker Inversion arbeiten. Analog zur ersten Phase wird auch dieses Signal an den Spaltenverstärker weitergeleitet. Dieser subtrahiert anschließend beide Werte vonein- ander und eliminiert auf diese Weise korrelierte Rauschquellen wie auch die Variation der Schwellspannung. 6 Stand der Technik 68 + - Ubias2 UdcUbias3 Sens_out V Pixel bias S/H Verstärker Spaltenauslese C1 C2 φ Mp1 Mn Mp2S1 S3 S2 S4 Ca Out Ibias Abbildung 6-8: Aufbau des Spaltenverstärkers [28] IMEC stellt für dieses Verfahren folgende Gleichungssysteme auf, wobei Up1 der Spannung im 1. Zyklus (Datenerfassung) und Up2 dem Potential in der 2. Phase entspricht. Der Spalten- verstärker speichert beide Werte zwischen und führt anschließend die Subtraktion durch (Gleichungssystem nach [28]): 1 cal 0 darkphoto Temp2p1p 2M,thresh 2 bias 1 cal 1M,thresh1bias2p 2M,thresh 2 bias 0 darkphoto Temp1M,thresh1bias1p K I2 I II lnUnUU U K I2 K I2UUU U K I2 I II lnUnUUU ⋅ +      + ⋅⋅=− − ⋅ − ⋅ −−= − ⋅ −      + ⋅⋅−−= (6-4) Im Gleichungssystem entspricht K der Steilheit des entsprechenden Transistors, Ical dem zu- sätzlichen Strom durch das Pixel und Ibias der Stromversorgung der Spalte (Stromquelle für Source-Folger). 6.3.2 Selbstkalibrierende 1-Chip-Kamera mit Logarithmischer Kenn- linie Loose stellt in seiner Arbeit [33] einen selbst-kalibrierenden, logarithmisch arbeitenden CMOS-Bildsensor vor. Der Prototyp hat eine Auflösung von 384 x 288 Pixel und erreicht eine Dynamik von 120 dB. Die Pixelgröße entspricht 24 µm x 24 µm und hat einen Füllfaktor von 30%. Das gemessene Fixed-Pattern Rauschen beträgt bei 1 W/m² 3.8% RMS pro Dekade, was nach [33] 0.63% Abweichung bezüglich des Spannungsbereichs entspricht. Für die Ka- librierung des Sensors wird keine homogene Lichtquelle verwendet. [33] schließt alle Zellen an eine Referenzstromquelle. 6 Stand der Technik 69 M3 Iref VDD M1 M2 Ulog + - VDD U refUcorr Uout1 U out2 Sp1 Sp2 Sp4 Sp5 Sp3 CS RS C CS Iph Abbildung 6-9: Pixelzelle mit Korrekturschaltung[33] Abbildung 6-9 zeigt die Pixelzelle inklusive dem spaltenweise implementierten Schaltungsteil (gestrichelt gezeichnet). Auch dieses Verfahren arbeitet mit zwei Phasen. Während der Da- tenerfassung, ist der Schalter Sp2 geschlossen, während Sp1, Sp3 und Sp5 geöffnet sind. Das Pi- xel arbeitet jetzt im logarithmischen Modus. Durch die Serienschaltung der Transistoren M1 und M2 wird die Signalsteigung annähernd verdoppelt [33]. Transistor M3 fungiert als Sour- ce-Folger, dessen Stromquelle außerhalb des Pixels, pro Spalte realisiert ist. Zum Auslesen des Puffers wird Sp4 geschlossen. In der zweiten Phase, der Kalibrierung, ist Sp2 offen und Sp1, Sp3 sowie Sp5 geschlossen. Die Spannung Ulog am log-Knoten wird jetzt durch den definierten Strom Iref erzeugt und auf den Ausgang out1 gelegt. Dort dient dieses Signal als ein Eingangs- signal des Kalibrierverstärkers. Der andere Eingang ist bestimmt durch die Referenzspannung Uref, welche alle Pixel beim gegebenen Referenzstrom aufweisen sollen. Der Verstärker ver- stärkt die Differenz um den Faktor A (vgl. (6-5), [33]): ( )1outrefcorr UUAU −⋅= (6-5) Der Korrekturwert wird über Schalter Sp3 auf das Gate M1 gelegt. Durch die Spannung über M1 und M2 wird dadurch die Spannung am Knoten Ulog im Kalibriermodus geändert. Bei der ersten Iteration liefert Uout das Ergebnis entsprechend (6-6). Die Korrekturspannung kann anschließend mit Hilfe von (4-6) und (6-5) berechnet werden [33]. I0,1 und I0,2 stellen dabei den maximalen Drainstrom der Transistoren M1 und M2 dar: 3,threshcallog,1out UUU −= 2,01,0 2 ref Temp3,threshrefcorr II I lnUnUUU ⋅ ⋅⋅++≈ wenn A>>1 (6-6) Nach der Kalibrierung ist der Schalter Sp3 wieder offen und die Korrekturspannung wird auf dem Kondensator C zwischen gespeichert. Folgende Ausgangsspannung Uout2 ergibt sich nach erfolgreicher Kalibrierung [33]: ²I ²I lnUnUU U II ²I UnUUUU photo ref Tempref2out 3,thresh 2,01,0 photo Tempcorr3,threshlog2out ⋅⋅+= − ⋅ ⋅⋅−=−= (6-7) 6 Stand der Technik 70 Formel (6-7) zeigt, dass dieses Verfahren mit Hilfe der Korrekturspannung und der Diffe- renzbildung Fixed-Pattern Rauschen, verursacht durch Variationen in der Transistorgeometrie bzw. Schwellspannungen von M1, M2 und M3, eliminiert hat. Die Kalibrierung erfolgt reihenweise. Dementsprechend muss für jede Spalte Kalibrierver- stärker und Referenzstromquellen implementiert werden. Um spaltenabhängiges Fixed- Pattern Rauschen zu vermeiden, müssen diese Bauelemente präzise aufeinander abgestimmt sein. Um dies zu erreichen, stellt [33] zusätzlich ein Konzept für den automatischen Nullab- gleich des Kalibrierverstärkers vor. 6.3.3 Kalibrierung eines logarithmischen CMOS-Pixels unter Be- rücksichtigung der Offset- und Verstärkerfehler Das nachfolgend vorgestellte Verfahren [4] wurde mit einem 0.35 µm CMOS-Prozess, einer Pixelgröße von 10µm x 10µm mit einem Füllfaktor von 58% und einem Feld von 100x10 Pixeln realisiert. M6 M1 Calssel Vcasc Row Select Vcs M5 M4 M2 M3 M7 M7' Column Bias M8 M2' ColumnVoltage PD VDD VDD Abbildung 6-10: Aufbau des logarithmischen Sensors mit differentiellem Verstärker und elektronischer Kalibrierung [4] Abbildung 6-10 zeigt den implementierten Pixelaufbau. Transistor M1 dient dabei als Last und konvertiert dementsprechend den Fotostrom in die Ausgangsspannung. Transistor M4 begrenzt die Spannung über der Diode. Für den Kalibriervorgang sind die Transistoren M5 und M6 wichtig, welche für die Auswahl des Pixels bzw. für die spannungsgesteuerte Steuer- stromquelle zuständig sind. Der Transistor M6 ist dabei pro Spalte implementiert. Die Source- Folger Schaltung wurde durch einen differentiellen Verstärker ersetzt. Die Transistoren M2 und M2’ bzw. M7 und M7’ bilden den entsprechenden Stromspiegel. Coubey berücksichtigt bei seiner Kalibrierung Offset- und Verstärkervariationen. Offset und Gain können durch die Auswertung der Pixelwerte an zwei Messpunkten erfasst werden. Hierfür wird ein Strom vom 51 pA und 11 nA im Lasttransistor eingeprägt und entsprechend ausgewertet. Durch die Ver- wendung eines differentiellen Operationsverstärkers soll Fixed-Pattern Rauschen der 2. Ord- nung reduziert werden. 6 Stand der Technik 71 6.3.4 Logarithmischer CMOS-Bildsensor mit on-Chip FPN-Korrektur Ni und Matou stellen in Ihrer Veröffentlichung [40] eine zweistufige Eliminierung des Fixed- Pattern Rauschens vor, welche sich bereits in der lichtsensitiven Komponente von den ande- ren Verfahren unterscheidet. Der in [40] vorgestellte Prototyp hat eine Sensorfläche von 160x120 Pixel mit einer Pixelgröße von 30µm x 30µm und wurde mit einem 0.8µm DPDM CMOS-Prozess hergestellt. Der Dynamikbereich dieses Sensors ist größer als 120 dB und weist mit der nachfolgend vorgestellten analogen Korrektur ein Fixed-Pattern Rauschen von 6.5 mV RMS, mit einer zusätzlichen Software-Spaltenkorrektur 2.5 mV RMS auf. Im ersten Schritt verwenden sie anstelle des klassischen 3-Transistor Log-Pixels eine 4- Transistor Pixelzelle mit einer Fotodiode die im fotovoltaik-Modus arbeitet (vgl. Abbildung 6-11). Auf diese Weise erzeugt die Diode eine Leerlaufspannung, die zum einfallenden Licht proportional ist. [40] beschreibt diese logarithmische Konvertierung durch: dark photodark temps I II lnUU + ⋅−= (6-8) Im Betrieb ist die Leerlaufspannung im Dunkeln 0V und bei Beleuchtung negativ. Eine flä- chenoptimierte Lösung für das Verarbeiten der negativen Spannungssignale ist Gegenstand aktueller Entwicklungsarbeiten. Die Verwendung einer Solarzelle hat nach [40] die Vorteile, dass das Fixed-Pattern Rauschen einfacher zu beheben ist und, dass das Pixel eine höhere Sensitivität aufweist. M3 N++ M4 Bias VDD VDD VDD M1 N++ M2 Sel Uz VDD Sel UsUs Abbildung 6-11: Aufbau eines üblichen 3-Transistor Log-Pixel (rechts), Struktur der neuen Pixelzelle mit Fotodiode als Solarzelle betrieben (links)[40] [40] führt ebenfalls ein 2-Phasen-Prinzip ein (vgl. Abbildung 6-12). In der ersten Phase ist Uz low (siehe Abbildung 6-11), der Transistor M3 sperrt und die im Pixel erfasste Beleuchtungs- stärke wird im Kondensator C1 gespeichert. C2 speichert zu dieser Zeit den Offset des Output Spannungsfolger. In der zweiten Phase ist Uz high, der Transistor M3 schaltet und der exakte Dunkelstrom kann erfasst werden. Die Speicherung der Werte in den Kondensatoren sowie die abschließende Subtraktion erfolgt spaltenweise. 6 Stand der Technik 72 Pixel 1Pixel 1 Uout Uref Phi1 Phi1Phi1b Bus1 Bus2 C2 C1 Pixel Array Abbildung 6-12: Aufbau der analogen Schaltung zur Reduktion des Fixed-Pattern Rauschens [40] 6.3.5 Amerikanisches Patent zur Korrektur des örtlichen Rauschens bei logarithmischen Sensoren Aus Gründen der Vollständigkeit wird in diesem Abschnitt kurz auf ein amerikanisches Pa- tent für die On-Chip Fixed-Pattern Korrektur eingegangen [20]. Im Rahmen dieser Arbeit wird beispielhaft eine Variante der im Patent spezifizierten Lösung näher beschrieben. Laut Patentschrift unterscheiden sich die Varianten nur in der Lage der Bauteile und nicht in der Funktion. Eine Angabe über Größe, Füllfaktor der Pixel, wie auch die Reduktion des Fixed- Pattern Rauschens, wurde dabei nicht gemacht. VDD M22 M23 M21 M25 I2 RS M24 URef CAL D20 Abbildung 6-13: Aufbau des Pixels nach Abbildung 6 des Patents [20] Abbildung 6-13 zeigt einen Aufbau des Pixels. Die Diode D20 wandelt das einfallende Licht in einen Fotostrom um, welcher durch den Lasttransistor M21 in die Ausgangsspannung ge- wandelt wird. Transistor M23 ist ein Source-Folger. Nach [20] zeigt die gestrichelte Linie am Transistor M24 an, dass dieser Transistor keinen Beitrag für die Funktionalität leistet. Das Patent geht nicht weiter auf mögliche Funktionen dieses Transistors ein. Der Transistor M25 wird durch ein Row-Select (RS) Signal gesteuert und verbindet das Pixel mit der Spaltenlei- tung. Der Transistor M22 schaltet eine Referenzspannung. Ausgehend von Formel (4-6) dieser Arbeit, gibt [20] folgende Gleichungssysteme für die Korrektur an, welche für alle im Patent beschriebenen Verfahren zutreffen sollen: 6 Stand der Technik 73 ( ) ( )( ) ( ) ( )( ) ( ) ( )( ) ( ) ( )( ) ( ) ( )( ) IlnIlnUUU II wennIlnIlnUUU IlnIIlnUUU IlnIlnUUU IlnIlnUUU CalPhotoTempCalPhoto PhotoCalmaxCalTempthreshCal maxCalPhotoTempthreshCal maxPhotoTempthreshPhoto maxTempthreshGS −=− >>−=− −+=− −=− −=− (6-9) Der Dunkelstrom wurde im Patent nicht weiter erwähnt. Das Verfahren eliminiert, wie aus Formel (6-9) ersichtlich, die Schwellspannung und den maximalen Drainstrom. 6.4 Diskussion der Verfahren Die in [4], [20], [28] und [40] vorgestellten analogen Korrekturverfahren arbeiten mit zwei Betriebsmodi. In der einen Phase definieren sie einen Referenzpegel, welchen sie vom Bild- signal, erfasst in der 2. Phase, subtrahieren. In allen Fällen wird die Variation der Schwell- spannungen eliminiert und somit die wichtigste Komponente des Offset-Fehlers korrigiert. Alle Verfahren führen die Subtraktion mit entsprechenden Spaltenverstärkern durch. Zusätzli- che Transistoren werden, z.B. als Umschalter zwischen Kalibrier- und Normalbetrieb in das Pixel eingebracht. Auch der Temperaturgang der Schwellspannung wird bei diesen Korrek- turverfahren berücksichtigt, so dass eine erste Temperaturkompensation durchgeführt wird. In allen Fällen beeinflusst die Kalibierphase die Eigenschaften des Pixelsensors. Unmittelbar danach arbeitet das Pixel zunächst linear bis es anschließend wieder in die logarithmische Auslese übergeht. Auf diese Problematik geht jedoch kein Verfasser ein. Das von Loose in [33], Kapitel 6.3.2, vorgestellte Verfahren, eliminiert die Einflüsse der Transistorvariation im Pixel auf das Fixed-Pattern Rauschen. Mit Hilfe einer Feedback- Schleife justieren die Forscher die Gate-Spannung von M1. Sie geben die Standardabwei- chung nur für eine Beleuchtungsstärke von 1W/m² an. Auch in diesem Fall wurde durch die Eliminierung der Variation der Transistorparameter nur ein wichtiger Einflussfaktor des Off- set-Fehlers korrigiert (vgl. Formel (3-9)). Aus diesem Grund ist zu schließen, dass dieses Ver- fahren bei anderen Beleuchtungsstärken eine wesentlich schlechtere Korrekturqualität auf- weist (vgl. Abbildung 7-13). Trotz der Einführung eines Kalibrierverstärkers mit Null-Punkt- Abgleich ist spaltenabhängiges Rauschen vorhanden. [33] Das von Coubey [4], Kapitel 6.3.3, vorgestellte Verfahren berücksichtigt als einziges auch die Variation der Verstärkung. Leider geht das Dokument nicht näher auf die Umsetzung dieser Korrektur ein. Durch den Einsatz eines differentiellen Verstärkers erhält das Pixel einen höhe- ren Verstärkungsfaktor als mit einem Source-Folger. Mit der Begründung, dass bei ausrei- chend hoher Beleuchtungsstärke der Dunkelstrom zu vernachlässigen sei, korrigiert auch die- se Methode nicht die Dunkelstromvariation. Die Innovation von Ni und Matou [40], Kapitel 6.3.4, Verwendung einer Fotodiode im Foto- voltaik Modus, führt zu einem sehr großen Pixel. Aus diesem Grund stellt diese Struktur kei- ne Alternative für die am IMS entwickelten Sensoren dar. 6 Stand der Technik 74 Die Angaben im amerikanischen Patent [20], Kapitel 6.3.5, sind widersprüchlich. So zeigt Abbildung 6-13 dass eine Spannungsquelle als Referenz verwendet wird, gleichzeitig gibt das Patent bei den Formeln Referenzstromquellen an. Zudem ist aus den Unterlagen nicht er- kennbar, wie das Patent auch den Verstärkungsfehler korrigiert. Fehlende Angaben über die Pixelgröße und Korrekturqualität erschweren zusätzlich die Vergleichbarkeit. Im Internet konnten keine weiteren Dokumente der Verfasser gefunden werden, die diese Fragen klären könnten. Keines der vorgestellten analogen Korrekturverfahren berücksichtigt alle drei Parameter des Fixed-Pattern Rauschens: • Variation des Offsets a • Variation der Verstärkung b • Variation der Empfindlichkeit c Die Begründung der Autoren ist, dass eine Offset-Korrektur ihrer Meinung ausreichend ist, da örtliche Rauschquellen höherer Ordnung, wie Variation des Subthreshold Slope Faktors und Dunkelstroms kaum zur Verbesserung beitragen. Die Ergebnisse in der vorliegenden Arbeit beweisen jedoch, dass nur eine Korrektur aller drei Parameter zu guten Ergebnissen führt (vgl. Abbildung 7-13). 7 Experimenteller Aufbau und Ergebnisse 75 7 Experimenteller Aufbau und Ergebnisse Dieses Kapitel stellt die experimentelle Vorgehensweise bei der Fixed-Pattern Korrektur vor. Nachdem die Charakterisierung der Algorithmen ausschließlich auf Basis der Sensordaten erfolgt, wird im Folgenden genau auf deren Ermittlung eingegangen. Im Anschluss werden verschiedene Verfahren analysiert und das Verhalten mit der physikalischen Pixeltheorie ver- glichen. 7.1 Experimentelle Ermittlung der Sensordaten und Simulation 7.1.1 Berechnung der Parameter und Korrektur Der Grundgedanke dieses Algorithmus basierend auf [5], [26] und [42] ist die Modellierung des physikalischen HDRC-Pixelverhaltens durch den Logarithmus. Durch den geschlossenen mathematischen Ausdruck ist es anschließend möglich, mit Hilfe der Umkehrfunktion und einer idealen Kennlinie eine FPN-Korrektur durchzuführen. Voraussetzung für eine gute Kor- rektur ist, dass die Pixel ebenfalls eine logarithmische Kennlinie aufweisen. Das ist jedoch für schlechte Pixel nicht der Fall, deshalb kann auch dieses Verfahren nicht alle Pixel korrigieren. In letzter Konsequenz müssen schlechte Pixel ausmaskiert werden. y11 y12 y1m y21 y22 y2m yn1 yn2 ynm ... ... ... ... ... ... ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )             +⋅++⋅++⋅+ +⋅++⋅++⋅+ +⋅++⋅++⋅+ =               xclnba...xclnbaxclnba ............ xclnba...xclnbaxclnba xclnba...xclnbaxclnba y...yy ......... y...yy y...yy nmnmnm2n2n2n1n1n1n m2m2m2222222212121 m1m1m1121212111111 nm2n1n m22221 m11211 Abbildung 7-1: Matrix-Darstellung der charakteristischen Pixelgleichungen Die charakteristische Kurve ynm variiert von Pixel zu Pixel, dies verursacht schließlich das örtliche Rauschen. Abbildung 7-1 bildet die charakteristischen Gleichungen auf eine Matrix ab, die die unterschiedlichen Parameter den Offset a, die Verstärkung b und der Beleuch- tungsstärke am 3dB-Punkt c für jedes Pixel berücksichtigt. Für das gesamte Sensorfeld muss 7 Experimenteller Aufbau und Ergebnisse 76 die charakteristische Kurve messtechnisch erfasst werden. In den nachfolgenden Abschnitten werden die Schritte des Korrekturprozesses erläutert (vgl. Abbildung 7-2) Sensor bei verschiedenen Helligkeiten homogen beleuchten Sensor bei verschiedenen Helligkeiten homogen beleuchten Analyse der charakteristischen Kennlinie mit Adaptiver Algorithmus Analyse der charakteristischen Kennlinie mit Adaptiver Algorithmus Schlechte Pixel maskieren Schlechte Pixel maskieren Pixelcharakteristik (a, b, c) bestimmen Mittelwerte und Sollkennlinie berechnen Sensor bei verschiedenen Helligkeiten homogen beleuchten Analyse der charakteristischen Kennlinie mit dem adaptiven Algorithmus 3 Messpunkte auswählen Pixelcharakteristik (a, b, c) bestimmen Auswertung der Bilddaten Soft-Korrektur mittels Umkehrfunktion während des Kamerabetriebs durchführen Schlechte Pixel maskieren Mittelwerte und Sollkennlinie berechnen Abbildung 7-2: Ablauf des logarithmischen Algorithmus inkl. Berechnung der Parameter mit anschließender Korrektur 7.1.2 Aufnahme der Sensor-Charakteristik Auf Grund der hohen Datenmenge, die ein Bildsensor mit 307200 Pixel liefert, und der be- reits vorhandenen Streuung der einzelnen Pixelcharakteristika, basiert die Analyse der Algo- rithmen ausschließlich auf reellen Daten. Es müssen keine Daten durch Modellbildung er- zeugt werden. Dementsprechend ist die Erfassung der charakteristischen Kennlinie ein wich- tiger Prozess bei der Implementierung und Auswertung der Korrekturalgorithmen. HDRC - Sensor HDRC-Sensor Evaluation-Board Spannungsversorgung für die Phlox-Plate Phlox-Platte Lux-Meter zur Kalibrierung Abbildung 7-3: Experimenteller Aufbau zur Ermittlung der Sensor-Charakteristik Grundlage aller Berechnungen bildet die charakteristische Kurve der Bildsensoren. Für die Ermittlung verwendet das IMS eine Phlox-Platte, welche abhängig von der angelegten Span- nung eine homogene Beleuchtung liefert. Zur Erhöhung der Effizienz ist die Ansteuerung der Spannungsversorgung der Phlox-Platte automatisiert. Das Softwareprogramm gibt dem Be- nutzer die Möglichkeit die Beleuchtungsstärken auszuwählen, bei denen der Sensor gemessen werden soll (vgl. Abbildung 7-3). Damit der PC die Phloxplatte richtig ansteuern kann, müs- 7 Experimenteller Aufbau und Ergebnisse 77 sen beide mit Hilfe eines zusätzlichen Belichtungsmessers kalibriert werden. Hierfür legt die Software im Kalibriermodus festgelegte Spannungen an die Phlox-Platte an. Der Belich- tungsmesser misst die Beleuchtungsstärken und liefert das Ergebnis an den PC zurück. Auf diese Weise kann das Programm die Spannungen berechnen, die notwendig sind, um die vom Benutzer geforderten Helligkeiten zu erzeugen. Zu Beginn der eigentlichen Messung wird der Sensor an die Phloxplatte befestigt und mittels der Softwaresteuerung die gewünschten Beleuchtungsstärken erzeugt. Der Computer erfasst über einen Framegrabber die Bildsensordaten. Am Ende des Abgleichs speichert der Benutzer die Ausgabewerte für jede einzelne Beleuchtungsstärke in das CAS-File. Es handelt sich hier- bei um ein Datenformat, welches die gemessenen Bilder mit Zusatzinformationen in einer Datei abspeichert. Im Rahmen dieser Arbeit wurden auf diese Weise die charakteristischen Kennlinien verschie- dener VGAx-Bildsensoren ermittelt. Diese befanden sich zum Zeitpunkt der Messung in ei- nem Evaluationboard, das die Funktionalität einer Kamera besitzt. Zu bemerken ist, dass je- weils unkorrigierte Daten aus dem Sensor ausgelesen wurden und jeder Sensor die gleiche Registereinstellung aufwies. Insbesondere gilt dies für die Größe und Ausrichtung des Pixel- feldes, welches bei x=77 und y=8 startete und eine Größe von 640x480 Pixeln aufwies. Diese Messungen wurden ohne Objektiv durchgeführt. Um zeitliches Rauschen zu berücksichtigen wurden teilweise Kennlinien aufgenommen, die auf jeweils einem Bild pro Beleuchtungsstärke beruhten. Ansonsten wurde über 20 Bilder integriert um zeit-variantes Rauschen zu minimieren. Bei späteren Experimenten bezüglich der Temperaturabhängigkeit wurde ein Evaluationboard mit Peltierelementen verwendet. Die Peltierelemente waren dabei direkt unter dem Sensor befestigt und erwärmten bzw. kühlten den VGAx-Sensor. Ein zusätzlicher Sensor in Kombi- nation mit einem Multimeter erfasste die Temperatur. Der Signalpfad: Bei der Bestimmung der Sensorcharakteristik wurden die digitalen Ausgabewerte über den Framegrabber erfasst. Dementsprechend beinhalten diese Daten auch Informationen über den gesamten Signalpfad. Auf diese Weise kann auch örtliches Rauschen, welches außerhalb des Pixels (Abbildung 7-4:-) verursacht wird erfasst und entsprechend korrigiert werden. Der Nachteil dieses Verfahrens ist, dass die genauen Spannungspegel und Ströme innerhalb des Sensors nicht erfasst werden können. Die in der Abbildung durch  dargestellte FPN- Korrektur wird im Rahmen dieser Arbeit nicht verwendet. 7 Experimenteller Aufbau und Ergebnisse 78 Abbildung 7-4: Blockschaltbild der HDRC-Kamera Das CAS-File: Das CAS-File ist ein hausinternes Datenformat zum Abspeichern von Bilddaten eines Sen- sors. Es beinhaltet alle Sensorinformationen und Angaben zum Bildfeld bzw. Beleuchtungs- stärke. Diese Daten bilden die Grundlage für die späteren Simulationen. Header: - Darstellung der Daten: 8 Bit / 10 Bit / 12 Bit - Anzahl der Bilder im CAS-File: n Bilder - evtl. Informationen über Sensorname und Kommentare - Koordinaten (X1,Y1) und (X2,Y2) Bild 1: Beleuchtungsstärke (in Lux) Bild n: Beleuchtungsstärke (in Lux) Bilddaten mit (X2-X1)*(Y2-Y1) Elementen Bilddaten mit (X2-X1)*(Y2-Y1) Elementen ... (X1,Y1) (X2,Y2) Abbildung 7-5: Aufbau des CAS-Files Es besteht aus einem Header und den Bildinformationen (vgl. Abbildung 7-5). Im Header wird definiert in welchem Datenformat (8 Bit, 10 Bit, 12 Bit) die Ausgabewerte abgelegt wur- 7 Experimenteller Aufbau und Ergebnisse 79 den. Die damit verbundene Festlegung des maximalen Wertebereichs ist eine wichtige Infor- mation für die Software. Im Header ist auch festgehalten wie viele Bilder das CAS-File bein- haltet. Ein weiterer Bestandteil ist die Definition der Bildfläche über die sich die abgespei- cherten Bilddaten erstrecken. Diese drei Angaben sind für die weitere Bearbeitung der Daten durch Programme notwendig. Nach dem Header kommen die eigentlichen Bilddaten. Diese werden später für die Berechnung der charakteristischen Kurve und zur Analyse des Bildsen- sors bei bestimmten Beleuchtungsstärken verwendet. Die Helligkeit ist deshalb eine elemen- tare Information und wird mit den Bilddaten abgespeichert. Die Feldgröße der Bilddaten vari- iert mit den Koordinaten. CAS-Files haben auf Grund ihres Aufbaus keine feste Größe. Diese hängt von der Anzahl der abgespeicherten Bilder und deren Größen ab. Reduktion zeit-varianter Rauschkomponenten: Ziel dieser Arbeit ist die Implementierung eines Algorithmus, welcher das Fixed-Pattern Rau- schen in logarithmischen CMOS-Bildsensoren stark reduziert. Um dies zu erreichen, darf bei der Analyse des Sensors nur örtliches und kein zeitliches Rauschen vorliegen. Sollten die er- fassten Daten durch weitere Rauschquellen verfälscht werden, können die Parameter für die örtliche Korrektur nicht fehlerfrei erfasst werden. Die Korrekturqualität wird damit schlech- ter. [27] Um diese Problematik zu lösen wurden zeit-variante Rauschkomponenten durch In- tegration mehrerer Einzelbilder eliminiert. Die Statistik besagt, dass sich die Standardabwei- chung mit steigender Anzahl von Bildern (frames), über die gemittelt werden, stark verbes- sert. frames Sigma Sigma frame 1frames n = (7-1) Mit Hilfe eines Experimentes im Labor wurde dieser Sachverhalt überprüft. Hierfür wurde im Dunkeln (geschlossene Blende) jeweils ein Bildpaar bei unterschiedlicher Integrationszahl aufgenommen und pixelweise voneinander abgezogen. Das örtliche Rauschen wurde durch die Differenzbildung vermindert. 7 Experimenteller Aufbau und Ergebnisse 80 Abbildung 7-6: Zusammenhang zwischen Anzahl der Bilder, über die integriert wird und dem zeitlichen Rauschen Abbildung 7-6 visualisiert die Standardabweichung in Abhängigkeit von der Anzahl der Bil- der, über die integriert wurde. Die Darstellung zeigt, dass sich die Messergebnisse stark von der statistischen Berechnung unterscheiden. Grund hierfür ist das Quantisierungsrauschen, welches 0.5 Digits beträgt. Das Ergebnis des Experiments zeigt auch, dass für den späteren Einsatz der Algorithmen die Rohdaten, mit deren Hilfe die Korrekturparameter berechnet werden, mindestens über 20, besser über 64 oder 128 Bilder integriert werden sollte. 7.1.3 Wahl der Messpunkte Die Qualität der Korrekturergebnisse hängt stark von der Wahl der Messpunkte ab (vgl. Abbildung 7-7). Wie nachfolgend gezeigt wird, müssen z.B. für Berechnung der Parameter a und b Stützstellen im Hellen gewählt werden, damit der Dunkelstrom keinen Einfluss hat. Nachfolgende Abbildung visualisiert die Problematik der richtigen Messpunkte anhand ver- schiedener Kombinationen. 7 Experimenteller Aufbau und Ergebnisse 81 Abbildung 7-7: Auswirkung der Wahl der Messpunkte auf die Korrekturqualität (VGAx 0920, 85 Digits pro Dekade) Ist der 1.Messpunkt nicht bei einer ausreichend geringen Beleuchtungsstärke gewählt, so steigt die Abweichung im Dunkeln stark an. Werden die Parameter a und b ohne Hinzunahme einer hohen Beleuchtungsstärke berechnet, so divergieren die Kurven sehr stark bei hohen Beleuchtungsstärken. Eine Analyse verschiedener Bildsensoren hat ergeben, dass es keine optimale Wahl der Beleuchtungsstärken für alle Bildsensoren gibt. Dieses Ergebnis war die Motivation einen adaptiven Algorithmus zu implementieren, der für jeden Sensor die optima- len Messpunkte berechnet, sofern eine entsprechende charakteristische Kennlinie vorliegt. Adaptiver Algorithmus: Die Experimente zur Untersuchung der Qualität von Korrekturalgorithmen anhand der Sigma- Abweichung haben gezeigt, dass die Korrekturergebnisse sehr stark von den gewählten Mess- punkten abhängen. Die Beleuchtungsstärken der optimalen Messpunkte variieren zudem mit dem verwendeten Bildsensor. Um für jeden Sensor und Algorithmus die richtigen Messpunk- te zu finden, müsste der Benutzer eine Vielzahl von Kombinationen ausprobieren, sich anzei- gen lassen und anschließend die beste Wahl festhalten. Dies ist langwierig und fehlerträchtig, weil der Betrachter theoretisch alle Kombinationen in einem Diagramm zum Vergleich dar- stellen müsste. Eine gute Analyse ist jedoch in einem Schaubild nur bis maximal fünf Kombi- nationen möglich. Um dem Benutzer diese Aufgabe abzunehmen und auch in Hinsicht einer zukünftigen auto- matischen Kalibrierung, wurde im Rahmen dieser Dissertation eine Funktion entwickelt, die eine optimale Messpunktkombination für einen Sensor ermittelt. Der nachfolgende Algorith- mus berechnet die Kombination aus 9 verschiedenen Möglichkeiten. Für die Berechnung des Parameters c werden die drei dunkelsten Bilder im CAS-File verwendet und das arithmetische 7 Experimenteller Aufbau und Ergebnisse 82 Mittel gebildet (vgl. Kapitel 7.1.10). Der mittlere bzw. 4. Messpunkt (MP4) liegt um den 3dB-Punkt und der letzte Messpunkt (MP5) wird aus den drei hellsten Beleuchtungen ausge- wählt. Zunächst ermittelt das Programm bei welchen Beleuchtungsstärken Rohdaten im CAS-File vorliegen und berechnet die Mittelwerte bei jeder Helligkeit. Der 4. Messpunkt (MP4) ist ab- hängig vom 3dB-Punkt. Dementsprechend wird zunächst aus den Rohdaten die Beleuch- tungsstärke ermittelt, welche eine Steigung besitzt, die größer bzw. gleich der halben Stei- gung im hellen ist. Da im 4. Messpunkt (MP4) der Dunkelstrom keinen Einfluss mehr haben soll, muss dieser Punkt bei einer wesentlich höheren Beleuchtung liegen als am 3dB-Punkt. Der Algorithmus ermittelt eine Beleuchtungsstärke, MP4_illum, welche mindestens 5-mal größer ist, als der 3dB-Punkt. Dieser Faktor war Ergebnis zahlreicher Optimierungen. Der 3dB-Punkt wird in diesem Fall über eine erste, grobe Näherung anhand der zur Verfü- gung stehenden Beleuchtungsstärken und der Definition: „Am 3dB-Punkt ist die Steigung halb so groß wie die im Dunkeln.“ festgelegt. Theoretisch könnte mit Hilfe dieser Definition der 3dB-Punkt genau bestimmt werden. Im CAS-File steht aber nur eine begrenzte Anzahl von Beleuchtungsstärken zur Verfügung. Dementsprechend kann es sein, dass für diese einfa- che Berechnung des 3dB-Punktes kein Messwert an dieser Stelle zur Verfügung steht und somit das Ergebnis verfälscht wird. Nachfolgende Abbildung vergleicht exakt berechnete Be- leuchtungsstärken am 3dB-Punkt mit Hilfe des Parameters c und anhand des oben beschrie- benen Verfahrens. Hierfür wurden für die 3dB-Punkte des VGAx 0920 bei verschiedenen Temperaturen verwendet. Abbildung 7-8 zeigt dabei eine deutliche Differenz zwischen beiden Methoden. Das einfachere Verfahren, auf Grundlage der zur Verfügung stehenden Beleuch- tungsstärken, steigt dabei nicht stetig an, sondern besitzt Plateaus, wie z.B. bei 36.9° und 40.8° an denen der berechnete 3dB-Punkt jeweils bei 0.229 Lx anstelle von 0.0669 Lx bzw. 0.0939 Lx liegt. 7 Experimenteller Aufbau und Ergebnisse 83 Abbildung 7-8: Vergleich von Verfahren für die Berechnung des 3dB-Punktes für den VGAx 0920 Da davon auszugehen ist, dass das CAS-File nicht die optimalen Beleuchtungsstärken für die Ermittlung des 3dB-Punktes bzw. MP4 aufweist, muss auch MP4 verändert werden. Hierfür verwendet der Algorithmus die Beleuchtungsstärke MP4, die Beleuchtungsstärke darüber und darunter. Tabelle 7-1 zeigt die möglichen Variationen der Messpunkte MP4 und MP5. Bei der Schreibweise ist darauf zu achten, dass die Anzahl der Bilder im CAS-File einen Wertebe- reich von Null bis images-1 haben. Tabelle 7-1: Kombination der Messpunkte MP1, MP2, MP3 MP4 MP5 MP4 -1 Illumimages-1, Illumimages-2, Illumimages-3, MP4 Illumimages-1, Illumimages-2, Illumimages-3, Illum0, Illum1 Illum3 MP4+1 Illumimages-1, Illumimages-2, Illumimages-3, Das Programm führt nun für 9 Kombinationen die Berechnung der Korrekturparameter durch. Hierbei wendet es z. Zt. die Par3Lin Methode an (vgl. Kapitel 8). Anschließend werden die jeweiligen Standardabweichungen für jede Beleuchtungsstärke ermittelt. Die Messpunktkom- binationen werden anhand zweier Faktoren analysiert: • Mittelwerte der Sigma-Werte über alle Beleuchtungsstärken (Mean) • Maximaler Sigma-Wert (Max), beim Par3Lin –Algorithmus ist dieser Wert in der Regel der höchste Wert im Dunkeln, so dass dieser Punkt nicht zusätzlich bewertet werden muss. Alle beiden Kriterien werden gleich gewichtet. Hierfür berechnet die Software die maximalen Werte für jedes Kriterium. Anschließend wird für jede Kombination folgende Summe ermit- telt: 7 Experimenteller Aufbau und Ergebnisse 84 meanmax_ mean maxmax_ maxResult iii += (7-2) Die Dividierung durch die jeweiligen Maximalwerte ermittelt die jeweiligen prozentualen Anteile und ermöglicht dadurch einen direkten Vergleich der beiden Kriterien durch die Sum- menbildung. Die beste Kombination ist die mit der geringsten Summe. Das Programm gibt abschließend dem Benutzer die beiden optimalen Messpunkte aus. 7.1.4 Berechnung der Parameter Für die Berechnung der Parameter aij, bij und cij, eines jeden Pixels, welches durch die Koor- dinaten i und j in der Matrix bestimmt ist, werden Daten bei drei Beleuchtungsstärken benö- tigt. Um eine gute Korrektur zu erreichen, wird ein Bild im Dunkeln benötigt z.B. bei 0.01 Lx. Dieser Messpunkt bestimmt den Parameter cij, welcher maßgeblich durch den Dunkel- strom beeinflusst wird. Eine mittlere Beleuchtungsstärke z.B. bei 10 Lx garantiert eine gute Korrektur im mittleren Bereich. Für industrielle Anwendungen und in Fahrerassistenzsyste- men ist es notwendig, dass die Kennlinie über einen hohen Dynamikbereich gut korrigiert wird. Um dies auch im Hellen zu gewährleisten muss ein Bild bei hoher Beleuchtungsstärke, z.B. bei 10000 Lx, aufgenommen werden. Zur besseren Übersicht verwenden die nachfolgenden Formeln die Parameter ai, bi und ci an- stelle der genauen Beschreibung aij, bij und cij. Die Berechnungen müssen für jedes Pixel ein- zeln durchgeführt werden, damit die pixelspezifischen Werte für ai, bi und ci bekannt sind. Der nächste Abschnitt berechnet die Parameter mit Hilfe von drei Beleuchtungsstärken xdunkel, xmittel und xhell unter Verwendung von Formel (3-10). Herleitung der Formel (7-3) für die Berechnung des Parameters bi: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) xln xln xlnxln yyb xln yy xln xlnxlnb xln xln1b xln yy xln xlnbb xln xlnbyy xln ayb ayxlnb xlnbay xlnbya xlnbay hell hell mittelhell mittelhell i hell mittelhell hell mittelhell i hell mittel i hell mittelhell hell mittel ii hell mittelimittelhell hell ihell iihellhellihelliihell mittelimittelimitteliimittel ⋅⋅ ⋅ ⋅−⋅ − = ⋅ − =      ⋅ ⋅−⋅ ⋅=      ⋅ ⋅ −⋅⇒ ⋅ − = ⋅ ⋅ ⋅− ⋅ ⋅⋅+− = ⋅ − =⇒−=⋅⋅⇒⋅⋅+= ⋅⋅−=⇒⋅+= ( ) ( )       ⋅ − = ⋅−⋅ − = mittel hell mittelhell mittelhell mittelhell i x xln yy xlnxln yyb (7-3) Mit Hilfe der Formel (7-3) kann nun der Parameter ai berechnet werden: ( )mittelimitteli xlnbya ⋅−= (7-4) Im Dunkeln wird abschließend der Parameter ci ermittelt. ( ) ( ) i idunkel idunkelliiidunkel b ay xclnxclnbay −=+⇒+⋅+= 7 Experimenteller Aufbau und Ergebnisse 85 i idunkel i idunkel b ay dunkel b ay i exec −− ≈−= (7-5) Bei Gleichung (7-5) kann die Beleuchtungsstärke im Dunkeln vernachlässigt werden. Wäh- rend bei [26] und [42] die charakteristische Kurve durch Auswertung von drei bzw. vier Messpunkten erfolgt, verwendet [5] viele Messpunkte und berechnet anschließend mit Hilfe statistischer Funktionen die charakteristische Kurve. Für den praktischen Gebrauch ist die letzte Methode zu komplex. Die Kalibrierung wäre zu aufwendig und würde sehr viel Zeit beanspruchen. Aus betriebswirtschaftlicher Sicht bedeutet das eine Verteuerung des Kalib- riervorgangs. 7.1.5 Die Soll-Kennlinie Nach einer optimalen Korrektur sollten alle Pixel dem Verlauf der Sollkennlinie entsprechen. Dieser Verlauf kann durch die Mittelwerte bestimmt werden: ( )cxlnbaySoll +⋅+= (7-6) Die Parameter a und b werden durch das arithmetische Mittel mn x x m nsoll mn ⋅ = ∑∑ bestimmt. Wobei n für die Anzahl der Zeilen und m die der Spalten steht. Das geometrische Mittel mn m n mnsoll xx ⋅ ∏∏= wird für die Berechnung von sollc verwendet. Da beim geometrischen Mittel die 307200-te Wurzel (n=480, m=640) gezogen werden muss und zudem die Werte des Parameters c sehr klein (ca. 0.05) sind, muss diese Formel für den Einsatz in der Software wie folgt umgeformt werden. ( ) ( ) ∑⋅ = = = ⋅=+++⋅=⋅⋅⋅⋅= ⋅⋅⋅= ∑ Height*Width 1i icln n 1 soll Height*Width 1i ii21i21soll i i21soll ec cln n 1 cln...clncln n 1 c...ccln n 1 cln c...ccc Um einen Eindruck über die Größenordnungen der Parameter zu erhalten, zeigt Tabelle 7-2 abschließend die statistische Verteilung für die VGAx-Kamera H05-01-04-13040 auf. Die verwendeten Messpunkte lagen bei 0.00155 Lx, 0.01135 Lx, 0.917 Lx x und 2080 Lx. Tabelle 7-2: Beispiel der statistischen Verteilung der Parameter für die VGAx-Kamera H05- 01-04-13040 a b lb(c) min 210 11.66 -5.5766 max 438 26.02 -0.6266 mean 310 24.84 -4.9354 σ 22 0.26 0.21 7 Experimenteller Aufbau und Ergebnisse 86 7.1.6 Maskierung schlechter Pixel Jeder Bildsensor besitzt schlechte oder weak Pixel welche nicht der logarithmischen Charak- teristik folgen und eine sehr geringe Empfindlichkeit aufweisen. Unabhängig vom verwende- ten Algorithmus ist es deshalb wichtig schlechte Pixel herauszufinden und zu maskieren. Ein einfaches Verfahren ist das Ersetzen maskierter Pixel durch den Vorgänger. Der 3dB- Punkt, welcher die Empfindlichkeit einer Pixelzelle beschreibt ist prädestiniert als Kriterium zu dienen. Die Beleuchtungsstärke im 3dB-Punkt wird durch den Parameter c ausgedrückt. Laut Kapitel 5.4 ist die Standardabweichung σ ein Maß für die Streuung von Parametern. Da sich die Parameter a, b und c normalverteilt verhalten, ist es möglich ein Intervall um den Mittelwert µ zu bilden, das die guten Pixel beinhaltet. Das Intervall µ±σ würde 68.27% aller Pixel beinhalten, µ±2σ 95.45% und µ±3σ 99.73%. Im Hinblick auf die spätere Hardware- Implementierung wäre es wichtig, eine möglichst geringe Streuung der Parameter zuzulassen, um somit den Speicherbedarf so gering wie möglich zu halten. Gleichzeitig muss aber be- dacht werden, dass jede Maskierung die Bildqualität verschlechtert, weil die maskierten Pixel durch gute Pixel ersetzt werden müssen. Eine Maskierung von ca. 1000 Pixeln hat sich in der Praxis bewährt. In der einfachsten Form, die hier zunächst auch implementiert ist, wird ein maskiertes Pixel durch seinen Vorgänger ersetzt. Würde demnach das Intervall µ±σ gewählt, so stehen nur 68.27% aller Pixel für die Darstellung des Bildes zur Verfügung. Vor allem Kanten werden verzerrt dargestellt (vgl. Abbildung 8-3). Abbildung 7-9: Vergleich Bildqualität bei unterschiedlicher Maskierung: µ±σ ( links) bzw. µ±3σ (rechts) Abbildung 7-9 verdeutlicht, dass es aus Sicht der Bildqualität notwendig ist, wirklich nur die Pixel zu maskieren, welche stark vom mittleren Verhalten abweichen. Deshalb verwenden die nachfolgenden Algorithmen das Intervall µ±3σ. Mathematisch betrachtet werden bei einem Pixelfeld von 640x480 829 bei diesem Kriterium Pixel maskiert. Da es sich bei der statisti- schen Betrachtung der Pixelcharakteristik um eine endliche Verteilung handelt, kann dieser Wert in der Praxis leicht abweichen. 7 Experimenteller Aufbau und Ergebnisse 87 Tabelle 7-3 betrachtet die statistische Verteilung der Parameter, nachdem eine Maskierung mit dem Ausschlusskriterium µ(c)±3σ(c), also eine Analyse des 3dB-Punktes, erfolgt ist. Im Fall der VGAx-Kamera H05-01-04-13040 wurden bei der Analyse 306399 Pixel betrachtet und dementsprechend 801 Pixel maskiert. Diese Werte sind abhängig vom Sensor. Die ver- wendeten Messpunkte lagen bei 0.00155 Lx, 2.36 Lx und 2080 Lx. Tabelle 7-3: Statistischen Verteilung der Parameter für die VGAx-Kamera H05-01-04-13040 nach einer Maskierung a b lb(c) min 210 23.86 -3.8408 max 407 26.01 5.5766 mean 309 24.84 -4.9431 σ 22 0.24 0.15 Beim Vergleich von Tabelle 7-2 und Tabelle 7-3 fällt auf, dass sich die Maskierung vor allem beim Parameter c bzw. lb(c) bemerkbar macht. Dies ist verständlich, da das ±3σ-Interval von c ausgewertet wurde. Zusätzlich verbessern sich die minimalen und maximalen Werte. Die Mittelwerte verändern sich kaum. 7.1.7 Korrektur durch Umkehrfunktion Das Problem des Fixed-Pattern Rauschens (FPN) ist, dass der Ausgangswert y bei der glei- chen Helligkeit x zwischen den Pixeln variiert. Nach der Bestimmung der Parameter ist es möglich durch die Umkehrfunktion (7-7) vom Ausgabewert y auf die vom einzelnen Pixel gemessene Helligkeit x zu schließen. ( ) ib ay 1 ceyf i iroh −= − − (7-7) Den richtigen Ausgabewert für das Pixel erhält man durch Einsetzten von (7-7) in die Soll- kennlinie (7-8):         +−⋅+= − ccelnbay i b ay Soll i iroh (7-8) 7.1.8 Simulation verschiedener Algorithmen Für die statistische Untersuchung der Rohdaten und die Simulation der Algorithmen stand ein weiteres internes Programm zur Verfügung. Dieses wurde im Rahmen dieser Arbeit entspre- chend erweitert. Die Software liest zunächst das CAS-File ein. Das Programm analysiert dann direkt die Sensor-Rohdaten oder korrigiert diese zunächst mit den vorhandenen Algorithmen. Im 2. Fall wählt der Benutzer Lage der Messpunkte und Algorithmus. Auf Grundlage dieser Informationen berechnet das Programm zunächst die Korrekturparameter, die sich je nach Verfahren unterscheiden. Im zweiten Schritt verbessert die Software die verschiedenen Roh- bilder. Abschließend stehen dem Benutzer verschiedene statistische Auswertungsmöglichkei- ten zur Verfügung, um das Korrekturergebnis zu bewerten. (vgl. Abbildung 7-10) 7 Experimenteller Aufbau und Ergebnisse 88 Abbildung 7-10: Screenshot der Auswert- und Simulationssoftware Alle Darstellungen haben auf der x-Achse die Beleuchtungsstärke logarithmisch und auf der y-Achse den entsprechenden AD-Output linear aufgetragen: o Mean: Die Software berechnet den Mittelwert aller Ausgabewerte pro Beleuchtungsstärke und zeichnet diesen in ein Diagramm. Normalerweise ist diese Kurve kontinuierlich und logarithmisch. Sie wird im weiteren Vergleich im Rahmen dieser Arbeit immer als Refe- renzkurve betrachtet, an die sich alle Pixel-Kennlinien annähern müssen. o ± 3-Sigma: Für jede Beleuchtungsstärke berechnet die Software den Wert für eine Spann- breite von ± 3-Sigma. Es entstehen dadurch um die Mittelwertskurve zwei einhüllende Kurven. Bei guten Korrekturalgorithmen ist dieser Verlauf ebenfalls logarithmisch. Diese Darstellung ist ein guter Bewertungsmaßstab für den Algorithmus, da sie die Breite der Kurvenschar visualisiert. (vgl. Abbildung 5-13) o Sigma: Eine weitere wichtige Darstellung ist die Standardabweichung, die über die Be- leuchtungsstärke aufgetragen wird. In diesem Fall stellt die Software die Abweichung, gemessen in Digits, der Beleuchtungsstärke gegenüber. Die Grundlage für das betrachtete Intervall ist die Abweichung von 1 Sigma (68,27% aller Pixelwerte). Der Kurvenverlauf ist eines der besten Darstellungsformen für die Bewertung des Algorithmus, da die Sigma- Abweichung bei den Beleuchtungsstärken ein Maß für dessen Leistung ist. (vgl. Abbildung 5-12) o Max-Werte: Für jede Beleuchtungsstärke sucht das Programm den maximalen Wert her- aus und zeichnet diesen entsprechend in das Diagramm. Da es sich hierbei um Werte von verschiedenen Pixeln handeln kann, entspricht diese Kurve nicht der logarithmischen Charakteristik. 7 Experimenteller Aufbau und Ergebnisse 89 o Min-Werte: Die Berechnung der Ausgangskurve erfolgt analog zu den Max-Werten. In diesem Fall stellt die Software die jeweils kleinsten Ausgabewerte pro Beleuchtungsstärke grafisch dar. o Sensitivitätskurve: Abschließend kann sich der Benutzer in der funktionell erweiterten Software die Sensitivitätskurve des Bildsensors ausgeben lassen. Sie visualisiert die Stei- gung der mittleren Kurve über der Beleuchtungsstärke. Diese ist ein Maßstab für die Be- wertung des Kontrastes. Zusätzlich können diese statistischen Funktionen auch auf die Rohdaten angewendet werden, um den Grad der Verbesserung direkt beurteilen zu können. 7.1.9 Bewertung der 3-Parameter-Methode Der Vergleich basiert auf den Rohdaten eines Sensors, die, wie in Abschnitt 7.1.2 erläutert, erfasst wurden. Zunächst berechnet die Software die Korrekturparameter in Abhängigkeit vom gewählten Algorithmus. Anschließend führt sie die Korrektur durch. Wie bereits be- schrieben, können die Ergebnisse von der Software analysiert und grafisch dargestellt werden. Abbildung 7-11: Vergleich verschiedener Algorithmen mit dem logarithmischen Verfahren (VGAx 0920, 85 Digits pro Dekade) Abbildung 7-11 vergleicht den logarithmischen Algorithmus (0.0054 Lx, 0.564 Lx, 1832 Lx) mit der 1-Punkt-Offset-Korrektur (0.017 Lx) sowie mit dem Mehrpunkt-Verfahren (0.017 Lx, 1.102 Lx, 1196 Lx) (siehe Kapitel 6.2.2). Der Vergleich zeigt die deutliche Überlegenheit des 7 Experimenteller Aufbau und Ergebnisse 90 logarithmischen Verfahrens im Vergleich zur 1-Punkt-Offset-Korrektur bzw. des Mehrpunkt- Algorithmus mit 3 Punkten. In diesem Fall wären 7 Messpunkte notwendig gewesen, um mit der Mehrpunkt-Methode ein ähnliches Ergebnis zu erzielen. Zusätzlich zeigt die Auswertung, dass der Algorithmus eine nahezu konstante Qualität über den Dynamikbereich aufweist. Ma- xima und Minima, wie sie bei der Mehrpunkt-Korrektur vorzufinden sind, gibt es nicht. Dieses Verfahren entspricht somit der ersten Forderung für den neuen FPN- Korrekturalgorithmus, dass dieser eine hohe Qualität über der gesamten Dynamik hat. 7.1.10 Variationen der Logarithmischen Methode Die Arbeit betrachtete zunächst drei verschiedene Implementierungen des Algorithmus mit dem Ziel, eine optimale Korrektur im Dunkeln zu erreichen. Die Varianten unterscheiden sich hier bei der Berechnung des Parameters c. o Die einfachste Lösung berechnet diesen analog zu Formel (7-8). o Die 2. Variante verwendet drei Bilder im Dunkeln und berechnet für jede dieser Beleuch- tungsstärken den Parameter c1, c2 bzw. c3. Durch die Bildung des geometrischen Mittels dieser drei Parameter erzeugt die Funktion den endgültigen Wert für c. Im nachfolgenden wird diese Möglichkeit „geometrischer“ Algorithmus genannt. 3 321321 321 ,, ccccececec b ay b ay b ay dunkeldunkeldunkel ⋅⋅=⇒=== −−− o Die letzte Implementierung basiert ebenfalls auf drei Beleuchtungsstärken im Dunkeln. In diesem Fall bildet der Algorithmus vor der Berechnung des Parameters c, das arithmeti- sche Mittel der Ausgangswerte y1, y2, und y3 bei den drei Helligkeitswerten. Aus diesem Grund nennt die Arbeit diese Implementierung „arithmetisches“ Verfahren. 3 321 dunkeldunkeldunkel dunkel yyy y ++ = b ay dunkelb ay dunkeldunkel exec −− ≈−= Die arithmetische wie auch die geometrische Lösung sollen den Einfluss von Messfehlern und von Rauschen durch die Betrachtung von drei Beleuchtungsstärken im Dunkeln vermindern. Bei der Simulation stellte sich heraus, dass sich Ergebnisse der arithmetischen und der geo- metrischen Korrektur sehr ähneln, obwohl sich die Algorithmen vom mathematischen Stand- punkt unterscheiden. Da die arithmetische Lösung einfacher zu berechnen ist, wird im Fol- genden nur diese mit dem einfachen Algorithmus (3 Messpunkte, analog Formel (7-8)) ver- glichen. 7 Experimenteller Aufbau und Ergebnisse 91 Abbildung 7-12: Vergleich verschiedener 3-Parameter Varianten (VGAx 0920, 85 Digits pro Dekade) Abbildung 7-12 zeigt, dass die arithmetische und geometrische Variante fast gleichwertig sind. Welche Methode im Dunkeln die besseren Ergebnisse liefert, hängt vom jeweiligen Sen- sor ab. Zusätzlich zeigt die Grafik, dass das Ergebnis durch die Mittelung im Dunkeln über 3 Messpunkte ausgeglichener ist, d.h. es gibt einerseits kein Minimum mit DN0=σ , aber auch kein Maximum von 0.9 im Bereich vom 10-4 bis 10-2 Lx. Dies ist ein wichtiges Ergebnis, da das Ziel dieser Arbeit ist, einen Korrekturalgorithmus zu entwickeln, der über den gesamten Dynamikbereich eine gleich bleibende Qualität aufweist. 7.2 Auswirkung der Quellen des örtlichen Rau- schens auf die Korrekturqualität 7.2.1 Allgemeines Grundlage für diese Methoden ist die mathematische Betrachtung aus Kapitel 3.4.4, welche die Auswirkungen der einzelnen Parameter • Offset a, • Verstärkung b • Empfindlichkeit c analysiert. Der Abschnitt 3.4.4 ist dabei auch auf die physikalischen Effekte eingegangen, die bei den einzelnen Parametern wirken. Die nachfolgenden Verfahren korrigieren verschiedene Rauschquellen und deren Kombination. Anschließend werden die experimentellen Ergebnisse mit den physikalischen verglichen. Insbesondere soll überprüft werden, in welchen Hellig- keitsbereichen die Schwellspannung Uthresh, der Subthreshold Slope Faktor des Transistors n und der Dunkelstrom IDark die Korrekturergebnisse beeinflussen. Zur Wiederholung die Defi- nition der Parameter aus der Physik entnommen aus Gleichung (3-9), welche nur die physika- 7 Experimenteller Aufbau und Ergebnisse 92 lischen Vorgänge innerhalb des Pixel ohne den Signalpfad berücksichtigt. Wie bereits erör- tert, erfassen die Messdaten auch den Signalpfad. Auf Grund dieser Datenerfassung wird nicht die Gatespannung UGS, sondern der digitale Ausgabewert y bzw. anstelle dem Fotostrom IPhoto die Beleuchtungsstärke x gemessen. Für den Vergleich der theoretischen und praktischen Messergebnissen ist dies jedoch irrelevant. ( )phPhotophphGS cIlnbaU +⋅+= mit ( ) Darkph Tempph Tempmaxthreshph Ic Unb UnIlnUa = ⋅= ⋅⋅−= (3-9) Die Parameterdefinition von (3-9) sagt aus, dass der Offset aph, vorrangig von der Schwell- spannung abhängt. Diese hat unabhängig von der Temperatur Auswirkungen auf die loga- rithmische Wandlung. Der Verstärkungsfaktor, ist neben der Temperaturspannung maßgeb- lich vom Subthreshold Slope Faktor abhängig, was zu einem hohen Korrektureinfluss im Hel- len führt. Der Parameter cph ist ausschließlich vom Dunkelstrom abhängig. Dieser ist im Dun- keln relevant. Im Folgenden werden drei verschiedene Korrekturalgorithmen anhand der Sensor-Rohdaten analysiert, die den Einfluss der physikalischen Parameter belegen. Da bereits aus der Literatur bekannt ist, dass die Schwellspannung besonders stark variiert, wird in den nachfolgenden Simulationen stets der Offset korrigiert. Im nächsten Schritt wird zusätzlich der Verstärkungs- faktor als Parameter verwendet. Der letzte Algorithmus berücksichtigt alle drei Parameter. In allen drei Fällen ist der Ausgangspunkt die Berechnung der drei Parameter a, b und c unter Verwendung von drei Stützpunkten. Ein Softwareprogramm ermittelt diese Werte unter Ver- wendung der Logarithmus- und Exponentialfunktion (vgl. Formeln (7-3) bis (7-5)). Anschlie- ßend führt die Software die eigentliche Korrektur durch. Sie berücksichtigt dabei nur den bzw. die zu betrachtenden Parameter. Der Unterschied zwischen den verschiedenen Parame- ter-Verfahren während der Korrektur in Echtzeit liegt deshalb einerseits im Speicherbedarf und anderseits in der Komplexität des Algorithmus (linear, logarithmisch). Beide Faktoren sind elementar für eine Umsetzung in Hardware. 7.2.2 Die Parameter-Algorithmen 1-Parameter-Korrektur: Das einfachste Verfahren korrigiert nur die Variation des Offsets, die Parameter b und c wer- den dabei als konstant über den gesamten Sensorbereich angenommen. Das nachfolgende Gleichungssystem zeigt, welche Auswirkungen eine Variation des Offsets ai hat. Die Glei- chung (7-9) stellt dabei den Korrekturalgorithmus für dieses Problem dar. Hierfür muss der Mittelwert des Parameters a für das gesamte Sensorfeld bestimmt werden. Wie ersichtlich ist, handelt es sich bei der 1-Parameter-Korrektur um ein lineares Verfahren, das einfach zu implementieren ist. 7 Experimenteller Aufbau und Ergebnisse 93 ( )         ⋅+= −=         +−⋅+= +⋅+= − −− b ay korr b ay b ay korr iroh iroh irohiroh elnbay cex mit ccelnbay xclnbay aayy irohkorr +−= (7-9) In diesem und den folgenden Gleichungssystemen stellt yroh die vom Sensor empfangenen Rohdaten, ykorr die korrigierten Daten und x die Beleuchtungsstärke dar. Letztere kann nur indirekt über yroh berechnet werden. 2-Parameter-Korrektur: Ein komplexeres Korrekturverfahren geht davon aus, dass der Offset ai und die Verstärkung bi in jedem Pixel i variiert. Es handelt sich hierbei um die 2-Parameter-Korrektur: ( )         ⋅+= −=        +−⋅+= +⋅+= − −− i iroh i iroh i iroh b ay korr b ay b ay korr iiroh elnbay cex mit ccelnbay xclnbay i iroh korr b aybay −⋅+= (7-10) 3-Parameter-Korrektur: Die 3-Parameter-Korrektur berücksichtigt eine Variation aller drei Parameter: ( ) i b ay i b ay korr iiiroh cex mit ccelnbay xclnbay i iroh i iroh −=        +−⋅+= +⋅+= −−         +−⋅+= − ccelnbay i b ay korr i iroh (7-11) 7.2.3 Mathematische Analyse der Rauschquellen Das Gesamtrauschen und dessen Abhängigkeiten lassen sich aus der Summe der Einzel- rauschquellen ermitteln. Ausgangspunkt ist dabei die Formel (3-10): ( )cxlnbay +⋅+= vgl. (3-10) 7 Experimenteller Aufbau und Ergebnisse 94 ( ) ( ) ( ) ( )c² c yb² b y a² a yy 222 σσσσ ⋅      ∂ ∂ +⋅      ∂ ∂ +⋅      ∂ ∂ = (7-12) ( ) ( ) ( )( ) ( ) ( )c² cx bb²cxlna²y 2 2 σσσσ ⋅      + +⋅++= (7-13) Die allgemeine Gleichung (7-13) zeigt, dass die Variation des Parameters a, unabhängig von der Beleuchtungsstärke, einen sehr hohen Einfluss auf die Bildqualität hat. Im Dunkeln wird der Multiplikand zur Varianz von c größer und neben dem Offsetfehler dominant. Im Hellen dagegen hat diese Variation keinen Einfluss mehr. Es steigt jedoch das Produkt zugehörig zur Varianz von b stark an. Um diese Problematik zu verdeutlichen zeigt die nachfolgende Be- rechnung Beispielhaft am VGAx 0920 (siehe Tabelle 7-4) mit den entsprechenden Auswir- kungen. Tabelle 7-4: Mittelwerte und Standardabweichung für die Parameter des VGAx 0920 a b c Mittelwert 274.1369 25.3801 0.0291 Standardabweichung 20.0464 0.2542 0.0047 Mit Hilfe der Daten aus Tabelle 7-4 soll der VGAx 0920 analysiert werden: ( ) ( )( ) 20²0047.0 0291.0x 3801.25 ²2542.00291.0xln²0464.20y 2 2 ≈⋅      + +⋅++=σ Ohne jegliche Korrektur ist die Variation des Offsets a über den gesamten Dynamikbereich die ausschlaggebende Rauschquelle. Das Gesamtrauschen liegt bei ungefähr 20. Die Simula- tion weist hier Werte zwischen 21 im Dunkeln und 18 im Hellen auf (vgl. Abbildung 5-12). Nach erfolgreicher 1-Parameter-Korrektur müssen die beleuchtungsabhängigen Rauschquel- len betrachtet werden. ( ) ( )( ) 19.480.16808.0²0047.0 0291.0x 3801.25 ²2542.00291.0xlny lux022 a =+=⋅      + +⋅+=σ ( ) ( ) 93.21042.1565.8y 76.11042.1084.3y 12 lux100000 a 8 lux1000 a =⋅+= =⋅+= − − σ σ Die Ergebnisse zeigen, dass im Dunkeln, bei Null Lx nur die Variation der Empfindlichkeit von Bedeutung ist. Während mit zunehmender Beleuchtungsstärke, hier beispielhaft 1 kLx und 100 kLx, der Rauschanteil, verursacht durch unterschiedliche Verstärkungswerte, zu- nimmt. Die mathematische Analyse verdeutlicht noch einmal den hohen Einfluss der Offsetvariation. Zusätzlich ist ersichtlich, dass zur Verbesserung der Bildqualität im Dunkeln die Empfind- lichkeit und für eine Optimierung im Hellen der Verstärkungsfaktor kritisch sind. Dement- 7 Experimenteller Aufbau und Ergebnisse 95 sprechend kann eine optimale Korrektur über den gesamten Dynamikbereich nur dann erfol- gen, wenn alle drei Parameter berücksichtigt werden. 7.2.4 Grafische Diskussion der Ergebnisse Die nachfolgende Simulation der 1-, 2- und 3-Parameter Methode mit der Software bestätigt die mathematische Betrachtung. Zusätzlich visualisiert Abbildung 7-13 den Einfluss der ver- schiedenen Parameter in Bezug auf die Bildqualität. Abbildung 7-13: Vergleich der 1-, 2- und 3-Parameter-Korrektur (VGAx 0920, Empfindlich- keit: 85 Digits pro Dekade) Abbildung 7-13 vergleicht abschließend die drei Korrekturverfahren miteinander. Die Simula- tion wurde mit den Rohdaten des VGAx-Sensors 0920 durchgeführt und für die Bestimmung der Parameter die Messpunkte 0.0002 Lx, 1.292 Lx und 5345 Lx verwendet. Dieser Sensor hat unkorrigiert eine Standardabweichung von 19 Digits. Die Software berechnet zunächst alle drei Parameter. Die Korrektur verwendet anschließend aber nur die jeweiligen Einzelpa- rameter. Es findet zusätzlich eine Maskierung der schlechten Pixel statt (vgl. Kapitel 7.1.6). Das Auswahlkriterium ist dabei das Überschreiten des ±3σ-Intervalls des Parameters c. Wie erwartet liefert die 1-Parameter-Korrektur das schlechteste Ergebnis. Nur bei der Be- leuchtung von 1.292 Lx ist die Abweichung null Digit. Im Dunkeln, bei 10-3 Lx, erreicht sie ein Maximum von 5.1 und im Hellen, bei 104 Lx, von 2.6 Digits. Das 2-Parameter-Verfahren berücksichtigt unterschiedliche Offsets ai und Verstärkungsfaktoren bi für die Korrektur. Im Hellen, ab der Beleuchtungsstärke von 1.2921 Lx, hat der Dunkelstrom keinen Einfluss mehr und das Ergebnis stimmt mit der 3-Parameter-Korrektur überein. Im Dunkeln verbessert sich das Ergebnis leicht, da bei geringer Beleuchtungsstärke der Parameter bi ebenfalls einen Ein- fluss hat. Das beste Ergebnis liefert die 3-Paramter-Korrektur, die eine Variation aller drei Parameter berücksichtigt. Dementsprechend ist das Verfahren das Beste der Parameter- 7 Experimenteller Aufbau und Ergebnisse 96 Verfahren und liefert über den gesamten Dynamikbereich nahezu konstante Korrekturqualität. Deshalb wird im Rahmen dieser Arbeit die 3-Parameter-Methode näher analysiert und für den Hardwareeinsatz optimiert. 7.2.5 Vergleich der Simulationsergebnisse mit der Physik Die Simulationsergebnisse entsprechen der physikalischen Vorstellung (vgl. Abbildung 7-13). Wird nur der Offset a korrigiert, bei der die Schwellspannung einen hohen Einfluss aufweist, so verbessert sich die Korrekturqualität im gesamten Dynamikbereich. Wird zusätzlich der Verstärkungsfaktor, beschrieben durch den Parameter b korrigiert, so verbessert sich die Kor- rektur im Hellen. Dies war zu erwarten, da der Subthreshold Slope Faktor einen hohen Ein- fluss im Hellen aufweist. Bei der 3-Parameter Methode wurden alle drei Parameter korrigiert. Dabei ist ersichtlich, dass der Parameter c für die Verbesserung des Ergebnisses im Dunkeln essentiell ist. Dies beweist auch hier, dass der Dunkelstrom im Dunkeln für eine bessere Kor- rektur verantwortlich ist. Um eine gute Korrektur über den gesamten Dynamikbereich zu er- zielen, müssen alle drei physikalischen Rauschquellen, die Schwellspannung, der Subthres- hold Slope Faktor und der Dunkelstrom berücksichtigt werden. 8 Hardware-Optimierung der 3-Parameter-Methode 97 8 Hardware-Optimierung der 3-Parameter- Methode In dieser Arbeit soll ein Korrekturalgorithmus entwickelt werden, welcher über den gesamten Dynamikbereich gute Ergebnisse liefert. Um dies zu erreichen müssen im Dunkeln der 3dB- Punkt und im Hellen die Steigung mitberücksichtigt werden. Diese Vorgaben werden nur vom 3-Parameter-Algorithmus erfüllt. Dieser ist jedoch für die Umsetzung in Hardware zu komplex. Dieses Kapitel entwickelt deshalb ein optimiertes Verfahren. 8.1 Motivation Um gute Korrekturergebnisse zu erzielen, muss der Algorithmus die Physik möglichst genau berücksichtigen. Der logarithmische Algorithmus entspricht dem physikalischen Modell des HDRC-Sensors und liefert sehr gute Korrekturergebnisse. Die eigentliche Korrektur mit Hilfe der Umkehrfunktion und der Anwendung der Logarithmus- und Exponentialfunktion ist zu komplex, um sie effizient in eine logische Schaltung zu integrieren, welche später kosten- günstig im Kamerakopf integriert werden kann. Zudem haben die Simulationen gezeigt, dass auf Grund der Verwendung dieser mathematischen Funktionen die Parameter a, b und c sehr genau sein müssen, damit das Verfahren gute Korrekturergebnisse liefert. Ein Speicherbedarf von 3x 8 Bit wird hier übertroffen. Dies widerspricht einem speichersparenden Verfahren. Gleichzeitig kann die Berechnung der Korrekturparameter weiterhin unter Verwendung des PCs erfolgen. Auf Grund dieser Ergebnisse muss der logarithmische Algorithmus so optimiert werden, dass er auch weiterhin die Physik gut nachbildet und gleichzeitig einen möglichst geringen Speicherbedarf hat, sowie eine einfache Berechnung in der Hardware zulässt. Die Lösung stellt der ParLin-Algorithmus dar. Er basiert auf der 3-Parameter-Methode, so dass die Schritte 1-5 aus Kapitel 7.1 auch beim ParLin-Algorithmus zutreffen. Zusätzlich werden im 4. Schritt weitere Parameterwerte berechnet. Die Korrektur mittels der Umkehr- funktion entfällt und wird durch ein einfacheres Verfahren ersetzt. Der ParLin-Algorithmus wurde in zwei Ausführungen – Par4Lin bzw. Par3Lin – getestet, sowie bewertet und wird nachfolgend vorgestellt. 8.2 Die 3-Geraden Methode: Par4Lin Zur besseren Hardwareverarbeitung wird nicht der natürliche Logarithmus, sondern der Loga- rithmus duales verwendet. Die Korrekturqualität ist gleich, die Parameter ändern sich jedoch. Dementsprechend werden neue Parameter und Gleichung eingeführt: ( )xclbbay +′⋅′+′= (8-1) 8 Hardware-Optimierung der 3-Parameter-Methode 98 Abbildung 8-1: Prinzipdarstellung der Logarithmus-Approximation [51] Die grundlegende Idee beim ParLin-Verfahren ist, den Logarithmus durch drei Geraden an- zunähern, welche wie folgt zu interpretieren sind [50], [51]: Im Dunkeln wird der Logarith- mus durch die Gerade L1 angenähert. Da die Steigung des Logarithmus nahezu null ist, wird die Steigung der Gerade L1 ebenfalls mit Null angenommen. Dies bedeutet, dass im Dunkeln, unterhalb des 3dB-Punktes, eine reine Offset-Korrektur durchgeführt wird. Gleichung (8-2) drückt den Offset aus, wobei dieser Wert im Fall des Par4Lin-Algorithmus direkt gemessen und nicht über die Parameter a, b und c berechnet wird. ( )iiiii,roh clbbaliny ′⋅′+′== (8-2) Im Hellen (x>>c’) wird der Logarithmus durch die Gerade L3 approximiert, welche nachfol- gende Gleichung festlegt: ( )xlbbay iii,roh ⋅′+′= mit aL3,i=ai’, bL3,i=bi’ (8-3) Diese beiden Formeln berücksichtigen damit die physikalischen Verhältnisse im Dunkeln durch den Offset im Punkt MP1. Die Gerade L3 repräsentiert das Verhalten im Hellen. Bis jetzt wurde ein weiterer, wichtiger Parameter der Pixelcharakteristik nicht betrachtet – der 3dB-Punkt. Dieser Punkt ist charakteristisch für jedes Pixel und ist ein Maß für dessen Emp- findlichkeit. Der 3dB-Punkt befindet sich bei der Beleuchtungsstärke, an dem die Empfind- lichkeit halb so groß ist wie im Hellen. Die Korrekturqualität des Algorithmus verbessert sich bei Berücksichtigung dieses Punktes. Dies erreicht die neue Methode, in dem sie eine Gerade L2 (vgl. Abbildung 8-1) durch den 3dB-Punkt legt. Auf Grund der Definition des 3dB- Punktes und mathematischer Überprüfung, ist die Steigung der Gerade L2 3L2L b2 1b ⋅= . Für die Festlegung der Parameter der Geraden L2 und L3 muss der Algorithmus somit die Gleichung ( )'cxlb'b'ay +⋅+= für die Parameter a’, b’ und c’ lösen. Die Geradengleichung L3 8 Hardware-Optimierung der 3-Parameter-Methode 99 ist einfach über die Formel (8-3) festgelegt. Bei der Gerade L2 ist die Steigung 3L2L b2 1b ⋅= und der daraus resultierende Offset der Gerade wird mit aL2 bezeichnet (vgl. Formel (8-4)). ( )xlb'b 2 1 ay ii,2Li,roh ⋅⋅+= (8-4) Mit Hilfe der Definition der Beleuchtungsstärke im 3dB-Punkt, kann der Parameter L2 be- stimmt werden (vgl. (8-5)). ( )c2lbbay c2x:PunktdB3 ′⋅′+′= ′=− Eingesetzt in die Geradengleichung L2: ( ) ( )c2lbb 2 1 ac2lbba 2L ′⋅′+=′⋅′+′ ( )c2lbb 2 1 aa 2L ′⋅′+′= In diesem Fall beschreibt L2 eine Tangente am 3dB-Punkt. Simulationen haben gezeigt, dass eine Verbesserung um bis zu 0.2 Digits im Bereich des 3dB-Punktes erreicht werden kann, wenn eine Sekante verwendet wird. Wichtig ist in beiden Fällen, dass die Steigung b 2 1 ′ ist. Die Sekante definiert sich wie folgt: ( )'clb'b 2 1 'b'aa iiiii,2L ⋅++= (8-5) Der für die Korrektur benötigte Sollverlauf bestimmt die Software durch Mittelwertbildung des Offsets lin am Punkt MP1, sowie der Parameter a ′ , b ′ und 2a . Da diese Berechnung während der Kalibrierung mit Hilfe eines Computers durchgeführt wird, stellt die Verwendung des Logarithmus an dieser Stelle kein Problem dar. Für jedes Pixel wird der Parametersatz im Speicher abgelegt. Der Parametersatz besteht aus dem Offset lin im Punkt MP1, der Geradengleichung L3, mit dem Offset a’ und Steigung der Gerade b’ und dem Offset aL2 der Geraden L2. Diese Werte bilden damit den Verlauf einer einzelnen Pixel- charakteristik nach. Diese 4 Parameter sowie die Approximation des Algorithmus durch Ge- raden geben dem Verfahren seinen Namen Par4Lin. In Echtzeit muss die Hardware zwischen der Offsetkorrektur im Dunkeln, der Geradenglei- chung L2 und L3 auswählen. Hierfür sind globale Schwellwerte T1 und T2 abgespeichert. Diese Thresholds können zunächst theoretisch über die Schnittpunkte der Geraden definiert werden. Wie die nachfolgenden Ergebnisse zeigen, wird der Parameter c für die Berechnun- gen benötigt. Dieser wird auch auf Grund der Maskierbedingung benötigt. 8 Hardware-Optimierung der 3-Parameter-Methode 100 Threshold 1: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )xlbb 2 1bclbb 2 1 xlbb 2 1 clbb 2 1baclbba xlbb 2 1 clbb 2 1bay clbbay 2L 1L ⋅⋅+=⋅⋅ ⋅⋅+⋅⋅++=⋅+ ⋅⋅+⋅⋅++= ⋅+= ( ) ( ) ( ) ( ) ( ) ( )       =−=−= += 4 clb4lbclb2clbxlb xlb2clb Der theoretisch berechnete Threshold 1 ist somit: 4 c x ′ = (6) Threshold 2: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )xlbb 2 1bclbb 2 1 xlbbaxlbb 2 1 clbb 2 1ba xlbbay xlbb 2 1 clbb 2 1bay 3L 2L ⋅⋅=+⋅⋅ ⋅+=⋅⋅+⋅⋅++ ⋅+= ⋅⋅+⋅⋅++= ( ) ( ) ( ) ( ) ( ) ( ) ( )c4lb4lbclb2clbxlb xlb2clb ⋅=+=+= =+ Der theoretisch berechnete Threshold 2 ist somit: c4x ′⋅= (7) Simulationsergebnisse haben jedoch gezeigt, dass der Threshold 1 mit 4 c x ′ = nicht gut ge- wählt ist. Die leichten Variationen der AD-Ausgabewerte im Dunkeln sowie das Rauschen sorgten dafür, dass diese Angabe zu keiner guten Unterscheidung zwischen der Offset- Korrektur und der Geraden L2 führt (vgl. Abbildung 8-2). Auf Grund der Simulationsergeb- nisse wurde der Threshold 1 mit cx ′= festgelegt, um diese Effekte zu berücksichtigen. Dass dadurch die Korrektur zwischen cx 4 c ′<≤ ′ nicht entsprechend der Geradengleichung L2 durchgeführt werden kann ist unerheblich (vgl. Abbildung 8-2). 8 Hardware-Optimierung der 3-Parameter-Methode 101 Abbildung 8-2: Vergleich der Wahl des 1. Thresholds bei 4 c′ bzw. c’ (VGAx 0920, Empfind- lichkeit: 85 Digits pro Dekade) Abbildung 8-2 vergleicht die Wahl des 1. Thresholds mit 4 c′ bzw. c’. Die Simulation basiert auf den Daten des VGAx 0920 (MP1: 0.0054 Lx, MP2: 0.564 Lx, MP3: 1832 Lx). Eine zu- sätzliche Datenmaskierung wurde, wie im Kapitel 7.1.6 beschrieben, durchgeführt (0.27% der Pixel wurden maskiert). Das Ergebnis der Simulation zeigt, dass bei der Verwendung von c’ als Threshold die Standardabweichung um den Messpunkt fast null ist. Bei der Wahl des Thresholds mit 4 c′ dagegen ist die Standardabweichung im Dunkeln wesentlich höher. Aus- schlaggebender Grund hierfür ist, dass der Threshold 1 bei dieser Definition nicht unterschrit- ten wird und somit auch im Dunkeln die Korrektur der Gerade L2 und nicht die Offsetkorrek- tur verwendet wird. Mit der Wahl der Thresholds bei 4 c′ bzw. c’ ergeben sich folgende Glei- chungssysteme für die Korrektur: linlinyy ii,rohi,kor +−= für y>Thresh1 i ii,roh i,kor b 2 1 2ay b 2 12ay ′⋅ − ⋅′⋅+= für Thresh1Thresh2 (8-8) Hierbei stehen lini, a2i, ai und bi für die individuellen Pixelwerte und lin , 2a , a und b für die Mittelwerte, berechnet über das gesamte Sensorfeld. 8 Hardware-Optimierung der 3-Parameter-Methode 102 Vergleich mit anderen Algorithmen: Abbildung 8-3: Vergleich des logarithmischen Verfahrens mit dem Par4Lin-Algorithmus (VGAx-Kamera H05-01-04-13040, Empfindlichkeit: 85 Digits pro Dekade) Abbildung 8-3 vergleicht das logarithmische Verfahren mit dem Par4Lin-Verfahren, basie- rend auf der VGAx-Kamera H05-01-04-13040 mit den Messpunkten 0.00155 Lx, 2.36 Lx und 2080Lx. Die Simulation zeigt, dass beide Verfahren oberhalb des 3dB-Punktes gleich- wertig sind. Unterhalb liefert der logarithmische Algorithmus bessere Ergebnisse, da keine Fehler durch die Geradenapproximation hinzukommen. Bei Betrachtung von Live-Bildern mit dem menschlichen Auge liefern beide Verfahren sehr gute Ergebnisse und sind somit für die Korrektur des örtlichen Rauschens sehr gut geeignet. 8.3 Die 3-Geraden Methode: Par3Lin Bei näherer Betrachtung des Algorithmus ist es fraglich, ob wirklich vier Parameter (lin, a’, b’ und aL2) abgespeichert werden müssen. Die komplexe, logarithmische Funktion benötigt dagegen nur drei Parameter a’, b’ und c’. Der Offset im Dunkeln lässt sich durch Gleichung (8-2) ausdrücken. Auch der Offset der Gerade L2 aL2 kann durch die Formel (8-5) berechnet werden. Auf diese Weise können alle vier Parameter durch die charakteristischen Größen des Logarithmus a’, b’ und c’ beschrieben werden. Der erste, ersichtliche Nachteil bei diesem Vorgehen ist, dass für die Berechnung des Offsets und aL2 ein höherer Hardwareaufwand nö- tigt ist. Der Parameter c wird dabei nur für die Berechnung im Dunkeln benötigt. In diesem Fall ist der korrigierte Wert unabhängig von der aktuellen Beleuchtungsstärke. Um den Rechenbedarf deshalb zu verringern, wird bei diesem Algorithmus nicht der Parameter c’, sondern c*’ abge- 8 Hardware-Optimierung der 3-Parameter-Methode 103 speichert, welcher bereits den logarithmierten Wert von c’ repräsentiert. Für den Algorithmus Par3Lin gelten somit folgende Gleichungssysteme: ( ) ( )*i*iii,rohi,kor cbacbayy ′⋅′+′+′⋅′+′−= für y>Thresh1 i ii,roh i,kor b 2 1 2ay b 2 12ay ′⋅ − ⋅′⋅+= für Thresh1Thresh2 *cba1Thresh ′⋅′+′= ( )*c2ba2Thresh ′+⋅′+′= (8-9) Vergleich von Par3Lin und Par4Lin: Beide Algorithmen können im Dunkeln optimiert werden, indem dort drei Messpunkte anstel- le von nur einem betrachtet werden. Abbildung 8-4 zeigt, dass unter Verwendung der Maskie- rung (± 3σ-Intervall von c’) die 3- und 4-Parameter Varianten gleichwertig sind. Die Mess- punkte sind 0.00155 Lx, 0.011352 Lx, 0.011354 Lx, 2.36 Lx, 2080 Lx beim VGAx H05-01- 04-13040. Abbildung 8-4: Vergleich der Algorithmen Par3Lin mit Par4Lin jeweils mit Maskierung (VGAx-Kamera H05-01-04-13040, Empfindlichkeit: 85 Digits pro Dekade) 8 Hardware-Optimierung der 3-Parameter-Methode 104 8.4 Datenreduktion Bis jetzt wurden für die Berechnung der Parameter und der anschließenden Korrektur Fließ- kommazahlen verwendet. Für eine Hardwarerealisierung muss die Datenbreite jedoch einge- schränkt und es müssen Festpunktzahlen verwendet werden. Simulationen der beiden Algo- rithmen Par3Lin und Par4Lin wurden diesbezüglich durchgeführt. Abbildung 8-5: Vergleich der Verfahren Par3Lin und Par4Lin reduziert auf 24 Bit (VGAx- Kamera H05-01-04-13040, Empfindlichkeit: 85 Digits pro Dekade) Abbildung 8-5 vergleicht die Auswirkungen der Datenreduktion auf die Algorithmen Par3Lin und Par4Lin. In beiden Fällen liegen die Messpunkte bei 0.00155 Lx, 0.231 Lx und 1080 Lx. Die Auswertung zeigt eindeutig, dass der Algorithmus Par3Lin über dem gesamten Dynamik- bereich eine bessere Korrektur liefert. Bei der Verwendung von 3 Parametern, erhält jeder Parameter 8 Bit (vgl. Tabelle 8-1). Bei der Par4Lin-Methode, können die einzelnen Werte dagegen nur mit einer geringeren Auflösung abgespeichert werden (vgl. Tabelle 8-2). Zudem verschlechtert sich auf Grund der geringen Auflösung der Steigung b der Par4Lin die Qualität im Hellen. Es ist zu bemerken, dass bei der 4-Parameter-Methode eine umständliche Spei- cherorganisation zu erfolgen hat, da die Parameter nicht in 8 Bit breite Daten aufgeteilt sind. Tabelle 8-1: Auflösung der Parameter beim Par3Lin-Verfahren Parameter Auflösung Bitzahl a’ 2 8 b’ 2-4 8 c *’ 2-5 8 8 Hardware-Optimierung der 3-Parameter-Methode 105 Tabelle 8-2: Auflösung der Parameter beim Par4Lin-Verfahren Parameter Auflösung Bitzahl a’ 4 7 a2 4 7 lin 4 7 b’ 3b2b +≤− 2 Tabelle 8-3: Gegenüberstellung der Verfahren Par3Lin und Par4Lin Par3Lin Par4Lin Datenreduktion besser, da nur 3 Parameter abgelegt werden müssen, einfache Speicherorganisati- on (3⋅8 Bit) schlechter Anzahl der Parameter 3 4 Welche Parameter ai’, bi’ und ci’* ai’, a2i, bi’ und lini Aufwand für die Parameter- berechnung höherer Berechnungsauf- wand keine Berechnung mehr not- wendig Tabelle 8-3 gibt einen abschließenden Vergleich zwischen der 3- und 4 Parametervariante. Weitere Maßnahmen zur Datenreduktion stellt Kapitel 9.9 im Zusammenhang mit dem tem- peraturkompensierenden Algorithmus vor. 8 Hardware-Optimierung der 3-Parameter-Methode 106 8.5 Vergleich des Verfahrens Par3Lin mit anderen Algorithmen Ein abschließender Vergleich mit anderen Algorithmen zeigt, dass der speicherreduzierte Par3Lin-Algorithmus allen Anforderungen gerecht wird. Abbildung 8-6: Vergleich des Algorithmus Par3Lin mit dem arithmetischen Verfahren (VGAx-Kamera H05-01-04-13040, Empfindlichkeit: 85 Digits pro Dekade) Abbildung 8-6 vergleicht abschließend das neu entwickelte und hardware-optimierte Verfah- ren mit dem arithmetischen Verfahren mit den Messpunkten 0.00155 Lx, 0.01135 Lx, 0.01135 Lx, 0.917 Lx und 2080 Lx. In beiden Fällen wurden über 3 Punkte im Dunkeln ge- mittelt. Wie auch bei der Fließpunkt-Berechnung in Abbildung 8-3 ist der hardware- optimierte Algorithmus im Dunkeln schlechter. Neben der Approximation durch eine Gerade ist die Festlegung auf Fix-Punkt-Zahlen ein wichtiger Aspekt. Im mittleren bis oberen Hellig- keitsbereich ist die Leistung beider Algorithmen ähnlich. Nur am oberen Messpunkt von 2080 Lx geht die Abweichung des arithmetischen Verfahrens auf Null. Dies lässt sich ebenfalls auf die Verwendung der Fließpunktzahlen zurückführen, die in diesem Verfahren verwendet wer- den. Auf Grund der guten Ergebnisse wird dieser Algorithmus für die Temperaturkompensation erweitert und in Hardware umgesetzt. Ergebnisse der Implementierung zeigt Kapitel 10. 9 Temperaturkompensation 107 9 Temperaturkompensation Neben dem örtlichen Rauschen degradieren auch zeitliche Rauschquellen die Bildqualität. Besonders problematisch bei CMOS-Bildsensoren ist die hohe Querempfindlichkeit bezüglich der Temperatur. Da diese Störgröße deterministisch ist, kann sie während des Betriebs erfasst und kompensiert werden. Das Par3Lin-Verfahren wird deshalb um eine Temperaturkompen- sation erweitert. 9.1 Temperaturgang des VGAx-Bildsensors Der Temperaturgang des VGAx-Bildsensors wurde mit einem Evaluationboard mit integrier- tem Peltier-Stack gemessen. Hierfür wurden die Peltierelemente entsprechend angesteuert und die Temperatur mit einem Sensor und zusätzlichen Multimeter gemessen (vgl. Abbildung 9-1). Abbildung 9-1: Experimenteller Aufbau für die Messung des Temperaturgangs Multimeter 53 °C HDRC Sensor Peltier Stack Power Supply 2.3V 1.8A Temperature Sensor Evaluationboard 9 Temperaturkompensation 108 Abbildung 9-2: Temperaturgang des VGAx-Sensors 0920 Abbildung 9-2 zeigt die charakteristischen Kurven bei 0°C, 41°C und bei 80°C. Es ist er- kennbar, dass sich die gesamte charakteristische Kurve, mit den Parametern a, b und c mit der Temperatur verändert. Auch der 3dB-Punkt ist stark temperaturabhängig. Um bei verschiede- nen Temperaturen gute Korrekturergebnisse zu erzielen, muss der Temperaturgang der Para- meter mit berücksichtigt werden. Nachfolgendes Kapitel bestimmt diese Parameter durch li- neare Regression und vergleicht sie mit den Experimenten 9.2 Bestimmung der Temperaturabhängigkeit durch Regression Bei der physikalischen Analyse der Pixelzelle in Kapitel 4 wurden bereits die für die Tempe- raturabhängigkeit wichtigen Einflussgrößen analysiert. An dieser Stelle sollen Simulationen, auf Grundlage von charakteristischen Kurven bei unterschiedlichen Temperaturen, die Tem- peraturabhängigkeit der einzelnen Parameter aufzeigen. Die Temperaturabhängigkeiten der Parameter a’, b’ und c’* (Par3Lin) bzw. lin, a2, a’ und b’ (Par4Lin) werden mittels Regression ermittelt (vgl. 5.4). Die Software bestimmt die Parame- ter nach folgendem Prinzip: 1. Der adaptive Algorithmus bestimmt für CAS-Files bei i-Temperaturen die optimalen Messpunkte zur Bestimmung der Parameter a’T,i, b’T,i und c’*T,i, berechnet diese und spei- chert sie in einer Datei ab. Zusätzlich wird hinterlegt, ob ein Pixel bei der Temperatur i außerhalb der ±3σ-Grenze für den Parameter c’*T,i liegt und somit maskiert wurde. Versu- che haben hier zudem gezeigt, dass die anschließende Temperaturkorrektur tendenziell bessere Ergebnisse liefert, wenn der Parameter c’*T,i durch arithmetisches Mitteln dreier Messwerte im Dunkeln berechnet wird. 9 Temperaturkompensation 109 2. Nachdem für alle verfügbaren i Temperaturen die Parameter bestimmt wurden, liest der Algorithmus aT,i, bT,i und cT,i aus den Dateien und schreibt sie jeweils in ein Array. Sobald sich ein Pixel bei einer der Temperaturen unterdurchschnittlich verhält, wird es in diesem Schritt für die gesamte Temperaturkorrektur maskiert. 3. Im nächsten Schritt bestimmt die Software die Parameter a’i(T°C), b’i(T°C) und c’*i(T°C) durch Anwendung der linearen Regression (siehe Formel (5-6) und (5-7)). [50], [51] ( ) Cii,0Ci TaT'a °° ⋅+= α mit 2 C 2 i,C CTi,Ci,T i CTi,0 TiT TaiT'a Taa °° °° ° ⋅− ⋅⋅−⋅ = ⋅−= ∑ ∑ α α (9-1) Entsprechend dieser Formel werden die Parameter bi(T) und ci(T) bestimmt: [50], [51] ( ) C0C TcT'b °° ⋅+= β ( ) C0C* TcT'c °° ⋅+= γ (9-2) 4. Um zu berücksichtigen, dass das Temperaturverhalten mancher Pixel unterdurchschnitt- lich ist, führt die Software eine zweite Maskierung durch. Hierbei wird überprüft, ob das Temperaturverhalten, definiert durch die Steigungen der Regressionsgeraden αi, βi und γi, innerhalb des jeweiligen ±3σ-Intervalls liegen. Es ist anzumerken, dass im Folgenden die Werte a0,i, b0,i, c0,i als Offset der Temperaturgera- den bezeichnet werden und nicht mit dem Gesamtoffset im Dunkeln lin bzw. dem Offset a zu verwechseln sind. Auswertung des Parameters a’: Abbildung 9-3: Temperaturgang des Parameters a’ des VGAx-Sensors 0920 9 Temperaturkompensation 110 • Abbildung 9-3 zeigt, dass der Parameter a’(T°C) durch eine lineare Regression sehr gut angenähert werden kann. • Simulationen haben gezeigt, dass dieser Parameter als einziger einen negativen und zu- dem starken Temperaturgang aufweist. Hauptursache ist das Temperaturverhalten der Schwellspannung des Logarithmier-Transistors. • Die Variation der Schwellspannung verursacht auch die starke Pixelabhängigkeit der Stei- gung α der Regressionsgerade des Parameters. Auswertung des Parameters b’: Abbildung 9-4: Temperaturgang des Parameters b’ des VGAx-Sensors 0920 • Abbildung 9-4 zeigt, dass auch der Parameter b’(T°C) durch lineare Regression angenähert werden kann. • Die Simulationen haben des Weiteren gezeigt, dass die Steigung β der Regressionsgerade eine hohe Spaltenabhängigkeit aufweist. Es ist deshalb möglich diesen Parameter pro Spalte im Speicher abzulegen. 9 Temperaturkompensation 111 Auswertung des Parameters c’*: Abbildung 9-5: Temperaturgang des Parameters c’* des VGAx-Sensors 0920 • Wie erwartet steigt der Dunkelstrom mit der Temperatur an. Durch die bereits logarith- mierte Darstellung von lb(c)=c’* kann auch dieser Wert gut durch lineare Regression an- genähert werden. • Die Steigung der Regressionsgerade γ ist eigentlich ein technologiespezifischer Wert und für den gesamten Sensor gleich. Dennoch gibt es minimale Abweichungen des Parameters γ zwischen den einzelnen Pixeln, die auf die statistische Verteilung der Dotierung zurück- zuführen sind. Um deshalb eine hohe Korrekturgenauigkeit im Dunkeln erzielen zu kön- nen muss dieser Parameter ebenfalls pixelweise abgespeichert werden. Abbildung 9-6: Gemessener Temperaturgang des Dunkelstroms eines VGAx-Sensors 9 Temperaturkompensation 112 Abbildung 9-6 zeigt den gemessenen Temperaturgang eines VGAx-Sensors (IMS-Archiv- Daten). Der Dunkelstrom verdoppelt sich alle 10°C. Auch hier ist zu berücksichtigen, dass es sich um Mittelwerte handelt, der Temperaturgang der einzelnen Pixel kann leicht variieren. Diese Unterschiede müssen jedoch für eine gute Korrektur berücksichtigt werden. Die Glei- chung, berechnet aus der Regressionsgerade von (T, log(IDark)) lautet ( ) 0695.0T8419.0Ilog Dark ⋅+−= . 9.3 Par3Lin-Temp und Par4Lin-Temp Vergleiche zwischen den bereits diskutierten Methoden Par3Lin und Par3Lin haben gezeigt, dass die Par3Lin –Methode auch für die Temperaturkompensation in Hardware besser geeig- net ist. Hauptgrund hierfür ist, dass die Parameter lin und a2 durch quadratische Regression bestimmt werden müssen und somit jeweils drei Parameter aufweisen (vgl. Gleichungen (9-3) und (9-4). Dabei stellten die Parameter δi und εi bzw. ζi und ηi ein Speicherproblem dar, da alle vier Parameter zusätzlich zu den Offsets 0,i2a und 0,ilin abgelegt werden müssen. Eine Optimierung in der Form, dass diese vier Parameter spaltenweise abgespeichert werden, war genauso wenig erfolgreich, wie eine Mischung aus pixelabhängigen Werten für δi bzw. ζi und spaltenabhängigen für εcol bzw. ηcol. Zusätzlich benötigt die quadratische Regression ei- nen höheren Rechenaufwand. Aus diesen Gründen verwendet diese Arbeit für die Hardware- implementierung die Par3Lin-Temp-Methode. ²TT2a2a CiCi0,ii °° ⋅+⋅+= εδ (9-3) ²TTlinlin CiCi0,ii °° ⋅+⋅+= ηζ (9-4) 9.4 Temperaturabhängigkeit des Thresholds Wie bereits in Kapitel 8.2 erläutert gibt es beim Par3Lin -Algorithmus zwei Thresholds, wel- che vom Mittelwert des Parameters c abhängen. Die Berechnung der Thresholds erfolgt mit Formel (9-5). ( ) ( ) ( )* * c2bac4lbba2Thresh cbaclbba1Thresh ′+′+′=′⋅⋅′+′= ′⋅′+′=′⋅′+′= (9-5) Es ist ersichtlich, dass beide Thresholds von den Parametern a, b und c abhängen und somit ebenfalls einen Temperaturgang aufweisen. Aus diesem Grund muss die Berechnung der Thresholds bei jeder Temperatur erneut erfolgen. Um in der Hardwarerealisierung nur die lineare Regression anwenden zu müssen, wird nicht der Temperaturgang der Gesamtthres- hold-Parameter berechnet, sondern die Berechnung der Threshold-Werte erfolgt aus der Be- rechnung der temperaturabhängigen Mittelwerte ( ) ( ) ( )CCC Tc,Tb,Ta °°° wie in (9-5) angege- ben. 9 Temperaturkompensation 113 9.5 Diskussion der Ergebnisse 9.5.1 Speicherreduzierte Version Zur ersten Beurteilung der Algorithmenqualität wurden die rauschfreien Rohdaten des CAS- Files mit dem Par3Lin-Temp-Verfahren getestet. Hierfür wurde zunächst bei drei Temperatu- ren (0°C, 40°C und 80°C) der temperaturunabhängige Datensatz berechnet und in Arrays zwi- schengespeichert. Anschließend wurde die Temperatur, bei der die Rohdaten aufgenommen wurden, ausgewählt und die hierfür spezifischen Daten berechnet und die Sensordaten über der Beleuchtung entsprechend korrigiert. Abbildung 9-7: Standardabweichung in Abhängigkeit von der Temperatur und der Beleuch- tungsstärke (VGAx 0920, Empfindlichkeit: 85 Digits pro Dekade) Abbildung 9-7 zeigt, wie sich die Abweichung über der Temperatur und der Beleuchtungs- stärke verhält. Hierbei ist zu bemerken, dass in diesem Fall die Steigung der Temperaturgera- de des Parameters b, β nicht pixelweise sondern, um Speicher zu sparen, pro Spalte abgelegt wurde. Dementsprechend erhöht sich die Abweichung im Hellen leicht. Wie zu erwarten, ist die Abweichung bei niedrigeren Temperaturen nicht so stark. Die maximale, einhüllende Kurve zeigt, dass die Standardabweichung 1.8 Digits nicht übersteigt. Diese Ergebnisse zeigen, dass der Algorithmus Par3Lin-Temp dem Anspruch genügt, eine gute Korrektur über einen hohen Temperaturbereich hinweg zu erreichen. Zusätzlich ist die Korrekturqualität nahezu konstant über der Temperatur. Auch eine speichersparende Realisie- rung ist durch die Verwendung eines temperaturunabhängigen Datensatzes pro Pixel garan- tiert. Dieser Algorithmus erfüllt somit alle Anforderungen, die anfangs an ein neues Korrek- turverfahren gestellt wurden und wird im Kapitel 10 in einem Prototypen umgesetzt. 9 Temperaturkompensation 114 9.5.2 Erste Ergebnisse mit dem Evaluationboard Bevor der Algorithmus in ein FPGA implementiert werden kann, muss das Verfahren in Software soweit optimiert sein, dass es echtzeitfähig ist. Selbst die heutigen, leistungsfähigen PCs benötigen viel Rechenzeit um Gleitkommamultiplikationen und –Divisionen durchzufüh- ren. Eine Berechnung die nur auf Integerzahlen basiert ist deshalb notwendig. Im Rahmen dieser Arbeit wurde dieser Optimierungsschritt gleichzeitig dafür genutzt, um die Register- längen zu bestimmen. Hierfür wurde zunächst mittels Simulation und Auswertung von Histogrammen die Genauigkeit aller globalen ( c,b,a , 2thresh,1thresh ) und lokalen Parame- ter bestimmt. Mit diesen Informationen wurden anschließend die Parameter in Festpunktzah- len umgewandelt. Durch eine Multiplikation mit der entsprechenden Zweierpotenz berechnet der Computer abschließend die äquivalente Integerzahl. Zudem wurden Schiebeoperationen eingesetzt. Simulationen bezüglich des Speicherplatzes haben für die 6 Parameter pro Pixel a0,i, b0,i, c0,i und αi, βi, γi Bedarf von jeweils 8 Bit ermittelt. Der Parameter βi kann, wie bereits angeben, mit 8 Bit Speichertiefe pro Spalte abgelegt werden. Die globalen Parameter Thresh1, Thresh2 wie lin und 2a mit Hilfe der Mittelwerte berechnet. Die Parameter haben dabei folgende Auf- lösungen: Tabelle 9-1: Auflösung der Temperaturparameter Parameter Auflösung a’i,0, 0a 2 b’i,0, 0b 2 -3 c’i,0, 0c 2 -4 αi, α 2 -5 βi, β 2-10 γi, γ 2-10 Thresh1, Thresh2 1 lin 2 2a 2 Im nächsten Schritt wurde das Verfahren mit Hilfe des Evaluationboards getestet. Hierfür befand sich auf der Experimentierplattform der Sensor VGAx 0920. Durch ein zusätzliches Peltier-Stack kann die Temperatur des Sensors variiert werden. Die Rohdaten des Bildsensors werden über eine LVDS-Schnittstelle erfasst und anschließend direkt in der Software korri- giert. Bereits bei einer vorherigen Messung wurde für diesen Sensor bei verschiedenen Tem- peraturen ein CAS-File erzeugt. Diese Informationen dienten bei dem Tests zur Berechnung der temperaturunabhängigen Parameter. Über das Softwareprogramm kann der Benutzer die entsprechende Temperatur angeben, der Algorithmus berechnet anschließend die temperatur- 9 Temperaturkompensation 115 abhängigen Korrekturdaten. Auf Grundlage dieser Parameter korrigiert die Software dann in Echtzeit die Bilddaten. 9.6 Vergleich mit anderen Algorithmen Die bisherigen Analysen der FPN-Korrekturalgorithmen beruhten auf der Korrektur der Bild- daten, mit denen vorher die Korrekturparameter bestimmt wurden. Dies stellt den optimalen Fall dar. Dennoch hat diese einfache Kontrolle gezeigt, wo die Schwachstellen der verschie- denen Verfahren liegen. Die nachfolgenden Experimente berechnen die FPN-Parameter auf Daten die über 20 Bilder integriert wurden. Die Korrektur erfolgt anschließend auf einen wei- teren Datensatz, der nicht über mehrere Bilder integriert wurde, um auch das zeitliche Rau- schen zu berücksichtigen. Fünf verschiedene Algorithmen wurden dabei miteinander vergli- chen: • 1-Punkt-Offset-Korrektur • Mehrpunkt-Korrektur • Par3Lin-Methode • logarithmische Korrektur – arithmetische Variante • Par3Lin-Temp Bei den ersten vier Algorithmen können die Messpunkte direkt vom Benutzer definiert wer- den (vgl. Tabelle 9-2). Beim Algorithmus inkl. Temperatur ist dies nicht mehr der Fall, da bereits die Korrekturdaten bei 0°C abgespeichert sind. Dieser Algorithmus benötigt als Ein- gabe neben den Rohdaten nur noch die Temperatur. Tabelle 9-2: Wahl der Messpunkte für die Temperaturkorrektur Messpunkte 1-Punkt-Offset Mehrpunkt Par3Lin Arithm. Log 0.00019 0.00052 0.01009 0.44 0.93 / 10.69 bei 84°C 5045 9 Temperaturkompensation 116 Abbildung 9-8: Vergleich der Bildqualität bei Solltemperatur (VGAx 1104, Empfindlichkeit: 85 Digits pro Dekade) Abbildung 9-8 zeigt die Standabweichung der verschiedenen Algorithmen bei 13°C. Bis auf den Algorithmus inkl. Temperatur wurden Temperaturdaten mit Hilfe eines 1. Datensatz bei 13°C ermittelt, welcher über 20 Bilder integriert wurde. Für den Algorithmus inkl. Tempera- tur wurden hierfür 3 Datensätze bei 13°C, 45°C und 84°C zur Ermittlung der Korrekturdaten durch Regression herangezogen. In allen fünf Fällen werden diese Korrekturdaten auf einen 2. Datensatz angewandt, über welchen nicht integriert wurde, was Bilddaten im normalen Ka- merabetrieb entspricht. Wie erwartet, liefert die 1-Punkt-Offset-Korrektur das schlechteste Ergebnis, gefolgt von der Mehrpunkt-Methode mit 3 Stützpunkten. Wie auch bei vorherigen Experimenten ist die logarithmische Korrektur im Dunkeln am besten. Die Par3Lin-Methode, sowie das daraus abgeleitete Verfahren inkl. Temperatur liefern über den gesamten Dynamik- bereich eine nahezu konstante Standardabweichung von ca. 1.5 Digits. Abbildung 9-9: Auswirkung einer Temperaturerhöhung des Sensors auf die Bildqualität (VGAx 1104, Empfindlichkeit: 85 Digits pro Dekade) 9 Temperaturkompensation 117 Abbildung 9-9 zeigt die Auswirkung einer Temperaturerhöhung auf die Bildqualität. Simu- liert wird hier ein Sensor, bei dem nur ein Datensatz von Korrekturwerten bei einer Tempera- tur (hier 13°C) gespeichert wurde. Die aktuelle Temperatur des Sensors beträgt 84°C. Die Grafik verdeutlicht, dass die fehlende Berücksichtigung der Temperatur zu einer Verschlech- terung um den Faktor 2 – 3 führt. Hier sind die Vorteile des Algorithmus inkl. Temperatur besonders ersichtlich. Auch in diesem Fall beträgt die Standardabweichung über den gesam- ten Dynamikbereich durchschnittlich 1.7 Digits. 9.7 Temperaturgang des VGAx-Sensors Im Zusammenhang mit dem Temperaturgang der einzelnen Parameter muss das Gesamtbild, der Temperaturgang des VGAx-Sensors, betrachtet werden. Bei genauer Analyse des Tempe- raturverhaltens ist ersichtlich, dass der Offset im Dunkeln mit der Temperatur abnimmt. Abbildung 9-10 zeigt, dass ohne zusätzliche Maßnahmen die gemittelten Kennlinien einen sehr starken Temperaturgang aufweisen. Abbildung 9-10: Temperaturverhalten der gemittelten und korrigierten Werte beim VGAx (VGAx 0920, 85 Digits pro Dekade) Abbildung 9-10 verdeutlicht das Temperaturverhalten der korrigierten, gemittelten Kurven- verläufe. In diesen Fällen wurden für jede Temperatur die entsprechend optimalen Messpunk- te mit Hilfe des adaptiven Algorithmus ermittelt und damit die Korrektur durchgeführt. Die Ergebnisse zeigen deutlich, dass sich der Offset im Dunkeln ( )clbbay ′⋅′+′= (vgl. Glei- chung (8-2)) mit steigender Temperatur verringert und, dass sich die Beleuchtungsstärke im 3dB-Punkt mit steigender Temperatur erhöht. Die Veränderung des Offsets im Dunkeln ist dabei maßgeblich durch den Temperaturgang vom Parameter a beeinflusst, welcher ebenfalls mit der Temperatur abnimmt, während b und c mit der Temperatur zunehmen. Die Variation 9 Temperaturkompensation 118 der Steigung b (Gleichungen (8-2) bzw. (8-3)) kann dagegen nicht visuell aus der Abbildung 9-10 erfasst werden. Es ist wichtig den Verlauf der -3σ-Kurve bei 79.5°C ohne zusätzliche Temperaturkompensa- tion zu analysieren. Sie zeigt, dass im Dunkeln Ausgabewerte von null erreicht werden. Dies erlaubt bei 79.5°C gerade noch, dass diese Werte korrekt vom AD-Wandler umgesetzt wer- den. Bei Einsatz des VGAx über einen höheren Temperaturbereich, ist es wichtig, dass bei hohen Temperaturen die Werte im Dunkeln nicht abgeschnitten werden. Der Offset des AD- Wandlers muss dementsprechend angepasst werden. Dies bewirkt aber auch zwangsläufig, dass bei niedrigeren Temperaturen stets ein Offset im Dunkeln vorhanden ist. Ebenfalls kri- tisch ist in diesem Fall die weitere Einschränkung des AD-Wandlerbereichs. Abbildung 9-11: Darstellung der beiden Offset-Anteile. Durch die Korrektur rücken die -3σ- Werte näher an die gemittelte Kurve. Abbildung 9-11 verdeutlicht diese Problematik. Sie visualisiert zunächst die gemittelte Über- tragungskennlinie, welche im korrigierten, wie auch unkorrigierten Fall weitgehend überein- stimmen. Um die Standardabweichung und somit das ±3σ-Intervall zu verringern, müssen die Pixelwerte im Intervall [-3σ; µ] nach oben korrigiert werden. Es entsteht dadurch der zusätz- liche Offset, der aus dem Temperaturoffset OffsetTemp und dem Korrekturoffset OffsetKor be- steht. Dieses Ergebnis muss dementsprechend auch bei der Kalibrierung berücksichtigt werden. Bislang wurde die Kalibrierung bei Raumtemperatur durchgeführt und der AD-Offset dem- entsprechend eingestellt. In Zukunft sollte der Offset bei einer hohen Temperatur erfasst wer- den. Um den Offset für niedrigere Temperaturen möglichst gering zu halten, sollte dabei nicht das Verhalten alle Pixel, sondern das Intervall ±3σ betrachtet werden. 9 Temperaturkompensation 119 Die dargestellte Problematik könnte durch die Verwendung eines analogen Korrekturalgo- rithmus oder eines AD-Wandlers mit höherer Auflösung gelöst werden. Im ersten Fall würden die Pixelwerte bereits vor der AD-Umsetzung entsprechend korrigiert und der Offset des AD- Wandlers kann so gewählt werden, dass der zusätzliche OffsetKor entfällt. Dennoch würde der temperaturabhängige Offset in Erscheinung treten. Im Kapitel 11.1 wird eine kombinierte Analog-Digital-Korrektur analysiert. 9.8 Grobe Temperaturkorrektur durch Schwarzspal- ten Abbildung 9-10 zeigt dass der Temperaturgang eines VGAx-Sensors sehr groß ist. Ohne zu- sätzliche Korrektur ist zu befürchten, dass bei hohen Temperaturen Pixel, deren unkorrigier- ten Ausgabewerte unterhalb der Mittelwertkurve liegen, nicht mehr innerhalb des AD- Wandlerbereichs liegen und mit Null erfasst werden. Bei tiefen Temperaturen kann das ent- sprechende Problem bei Pixeln auftreten, die oberhalb der Mittelwertskurve liegen und somit der AD-Wandler in Sättigung geht. Abbildung 9-12: Auswirkung eines hohen Temperaturgangs auf die Wandlungsqualität Abbildung 9-12 zeigt, dass bei starkem Temperaturgang der AD-Wandlerbereich nicht ausrei- chend ist. Ein Ansatzpunkt ist hierbei die Schwarzspaltenkorrektur. Bei den Schwarzspalten handelt es sich um die ersten 8 Spalten des VGAx-Sensors, bei denen Pixel mit lichtundurch- lässigem Material bedeckt sind. Sie erfassen damit stets einen gemittelten Wert des Gesamt- dunkeloffsets. Zieht man diesen vor der Korrektur ab, so erhält man eine erste Temperatur- kompensation. Diese einfache Korrektur ist ein erster Schritt, den AD-Wandlerbereich besser auszunützen. Da es sich bei der Schwarzspaltenkorrektur nicht um eine individuelle Pixelkor- 0.001 0.01 10 100 1000 768 512 256 Beleuchtungsstärke x [lux] Digitaler Ausgang y [DN] Log 1024 hohe Temperaturen tiefe Temperaturen 9 Temperaturkompensation 120 rektur handelt, sind die Ergebnisse nicht optimal und der Temperaturgang nicht vollständig korrigiert. Abbildung 9-13: Temperaturverhalten der VGAx-Sensoren bei Anwendung der internen Tem- peraturkompensation (VGAx 0920, 85 Digits pro Dekade) Abbildung 9-13 zeigt den veränderten Temperaturgang des VGAx-Sensors, wenn die interne Temperaturkompensation unter Verwendung des Offset-Pads durchgeführt wird. Durch diese Kompensation werden die Kennlinien besser aneinander angeglichen. Es ist wichtig hervor- zuheben, dass diese Kompensation keinerlei Auswirkungen auf das örtliche Rauschen hat. Auch nach dieser Korrektur liegt das Fixed-Pattern Rauschen der Rohdaten bei ca. 20 Digits. Da trotz dieser internen Temperaturkompensation die FPN-Parameter einem Temperaturgang unterliegen, muss auch in diesem Fall der Par3Lin-Temp Algorithmus für gute Korrekturer- gebnisse angewendet werden. Die einzige Auswirkung dieser internen Kompensation bezieht sich auf die eigentlichen Parameter-Werte, deren Berechnung dagegen bleibt unverändert. In den folgenden Experimenten und Simulationen wird stets das Offset-Pad verwendet. 9.9 Weitere Experimente bezüglich Datenreduktion Für viele Anwendungen des HDRC-Sensors ist der Speicherbedarf kritisch, so dass dieser möglichst klein sein soll. Dieser Abschnitt analysiert weitere Möglichkeiten zur Speicherre- duktion. Grundlage ist dabei der VGAx-Sensor 1104 und die Algorithmen Par3Lin und Par3Lin-Temp, welche einen Speicherbedarf von Bit83 ⋅ bzw. Bit86 ⋅ haben. 9.9.1 Speicherreduktion durch Gruppenbildung Eine nahe liegende Überlegung ist Gruppen von Pixeln mit gleichen Korrekturparametern zu bilden. In der Simulation wurden verschiedene Parameterkombinationen berücksichtigt. Der erste Fall berücksichtigt alle Parameter, der zweite geht davon aus, dass der Parameter β spal- tenweise abgelegt wird, so dass der Speicherbedarf pro Pixel auf 40 Bit reduziert wird. Im 9 Temperaturkompensation 121 letzteren Fall wurden nur die Offsets betrachtet, was einer Korrektur ohne Temperaturkom- pensation entspricht. Durch die Maskierung wurden wiederum in allen Fällen 301704 von 307200 Pixel analysiert. Tabelle 9-3 zeigt, die Ergebnisse dieser Zusammenfassung. Bevor die Ergebnisse genauer untersucht werden, soll das Prinzip der Speicheransteuerung erklärt werden. Durch die Gliederung der Pixel in Gruppen ist eine zusätzliche LUT notwen- dig, welche die Zuordnung des Pixels zur Gruppe vornimmt. Hierfür steuert die Pixeladresse die entsprechende Speicheradresse in einer LUT an, in der die Gruppennummer abgelegt ist. Diese Gruppennummer steuert wiederum nachfolgende Speicher an, die die Korrekturparame- ter beinhalten. Auf Grund dieser Konstellation berechnet sich die gesamte Speichertiefe durch die Speichertiefe der LUT und der der Parameter (vgl. Abbildung 9-14). Abbildung 9-14: Speicheraufbau mit LUT für Gruppenansteuerung Tabelle 9-3: Speicherreduktion durch Gruppenbildung Parameter, die zur Gruppenbildung he- rangezogen werden Anzahl der Gruppen, notwendige Bitbreite Maximale Anzahl der Werten einer Gruppe Mittlere Anzahl der Elemente einer Gruppe a0, b0, c0, α, β, γ 143433, 18 Bit 35 2 a0, b0, c0, α, γ 59439, 16 Bit 87 5 a0, b0, c0 14321, 14 Bit 379 21 Die Ergebnisse zeigen, dass nur wenige Gruppen gebildet werden können und dabei die LUT eine Speichertiefe von mind. 14 Bit benötigt. Obwohl im ersten Fall die Anzahl der Gruppen halb so groß ist, wie die Anzahl der Pixel, handelt es sich beim Speicherbedarf nicht um eine Reduktion um den Faktor zwei. Nachfolgende Berechnungen sollen diese Problematik für alle drei Fälle aufzeigen. Dabei werden zwei Faktoren unterschieden: Die theoretische Reduktion des Speicherbedarfs und die notwendige Anzahl von Speicherbausteinen mit 219 Speicherplät- zen. LUT Gruppe 1 = Adr 1 Gruppe 2 = Adr 2 Gruppe 1 = Adr 1 Pixeladresse Parameter a0 Parameter b0 Parameter c0 Parameter α Parameter β Parameter γ 9 Temperaturkompensation 122 Tabelle 9-4: Speicherbedarf und Anzahl der Speicherbausteine theoretischer Speicherbedarf Bausteine LUT Bausteine für Parame- ter (1 Zugriff pro Zyklus) Bausteine für Parame- ter (2 Zugriffe pro Zyklus) Bausteine für Parame- ter (2 Zugriffe pro Zyklus) 16 8 16 8 16 8 16 8 Fall 1 Ohne Opti- mierung 14.06 MBit 3 2 Mit Optimie- rung 11.84 MBit 1 1 3 2 Fall 2 Ohne Opti- mierung 11.72 MBit 2 1 1 1 Mit Optimie- rung 6.95 MBit 1 2 1 1 1 1 Fall 3 Ohne Opti- mierung 7.03 MBit 1 1 1 Mit Optimie- rung 4.43 MBit 1 1 1 1 Tabelle 9-4 zeigt den theoretisch berechneten Speicherbedarf und zudem die real benötigte Anzahl der Bauelemente. Diese beiden Faktoren sind zu unterscheiden, da Speicherbausteine nur mit Speichertiefe 8 Bit, 16 Bit, 32 Bit etc. zu kaufen sind und eine bestimmte Adressbreite und Zugriffszeit besitzen. Die betrachteten Bausteine haben Adressbreite von 219 und können innerhalb des Pixeltaktes 3x angesteuert werden. Anhand des 1. Falls soll die Tabelle erörtert werden: • Ohne Optimierung: o Speicherbedarf: MBit0625.1430720068 =⋅⋅ o Benötigte Speicherbausteine: 3 Bausteine à 16 Bit, dabei wird pro Baustein einmal pro Zyklus zugegriffen, 2 Bausteine à 16 Bit, wenn 2x pro Zyklus auf die Bausteine zugegriffen wird • Mit Optimierung: MBit8393.111830720014343368 =⋅+⋅⋅ o Benötigte Speicherbausteine: für LUT 8 Bit und 16 Bit Baustein, für Parame- ter 3 Bausteine à 16 Bit (Zugriff einmal pro Baustein) bzw. 8 Bit und 16 Bit (Zugriff zweimal pro Baustein und Möglichkeit 2 Parametersätze pro Spei- cher) 9 Temperaturkompensation 123 Die Analyse zeigt, dass durch die Optimierung der theoretische Speicherbedarf reduziert wird, aber auf Grund der im Handel erhältlichen Speicherbausteine keine Reduktion in deren An- zahl erfolgt. Als Beispiel soll hier der Speicher des Evaluationboards mit einem 16-Bit und einem 8-Bit breiten Speicher dienen. Ohne Optimierung ist bei einem Zugriff pro Zeiteinheit der Par3Lin-Algorithmus und bei 2 Zugriffen pro Zyklus der Par3Lin-Temp implementiert worden. In beiden Fällen wäre eine Realisierung mit der LUT nicht möglich gewesen, da in beiden Fällen mind. 2 16-Bit breite Speicherbausteine hätten vorhanden sein müssen. Zusätz- lich muss bei der Verwendung der LUT weitere Logik in die Schaltung für die Auswertung eingebracht werden. Auf Grund dieses Ergebnisses wurde dieser Optimierungsversuch nicht weiter verfolgt. 9.9.2 Speicherreduktion durch Delta-Bildung Eine weitere Möglichkeit zur Speicherreduktion wurde ebenfalls mit VGAx-Sensor 1104 überprüft. Hierbei wurde simuliert, ob das Abspeichern der Differenz der Parameter von zwei benachbarten Pixeln zu einer Datenreduktion führt. Im ersten Fall wurde der gesamte Daten- strom betrachtet. Dementsprechend wurden Differenzen zwischen dem letzten Pixel und dem ersten Pixel der nächsten Zeile gebildet. Die nachfolgende Tabelle zeigt dabei die statische Auswertung der Differenzen. Tabelle 9-5: Speicherbedarf und Anzahl der Speicherbausteine a0 α b0 β c0 γ Minimaler Wert -130 -0.28115 -2.0 -0.04435 -0.8125 -0.0620 Maximaler Wert 108 1.0 1.0 0.0098 0.90615 0.00825 Auflösung (bei je 8 Bit) 1 2-5 2-3 2-11 2-4 2-11 Delta Max (symmetrisch um Null) ± 256 ± 1 ± 4 ± 0.0625 ± 1 ± 0.0625 Bitzahl 9 Bit 7 Bit 6 Bit 8 Bit 6 Bit 8 Bit Die Auswertung der Tabelle zeigt, dass bei gleicher Auflösung und unter Berücksichtigung von Addition und Subtraktion keine Speicherreduktion möglich ist. Zeitweise wird auf Grund des Vorzeichens sogar ein Bit mehr als ursprünglich benötigt. Zudem ist diese Verteilung sehr stark von der individuellen Parameterverteilung des Sensors abhängig. Wird die erste und letzte Spalte separat abgespeichert und werden diese somit nicht bei der Differenzbildung berücksichtigt, so bleibt das Ergebnis unverändert. Die Ränder haben dem- entsprechend keine Auswirkung auf das Ergebnis. 9 Temperaturkompensation 124 Die Simulation zeigt, dass auch eine Reduktion durch Differenzbildung zu keiner Datenre- duktion führt. 9.9.3 Diskussion der Ergebnisse Beide Lösungsversuche, den Speicherbedarf zu reduzieren, führten zu keinem Ergebnis. Die Auswertung zeigt jedoch, dass die Pixelparameter statistisch über die gesamte Sensorfläche verteilt sind. Dementsprechend können daraus keine weiteren speicherreduzierenden Maß- nahmen abgeleitet werden. 10 Hardwarerealisierung der Algorithmen 125 10 Hardwarerealisierung der Algorithmen Dieses Kapitel beschreibt die Umsetzung der Algorithmen Par3Lin und Par3Lin-Temp in Hardware. Zum besseren Verständnis der Module geben die ersten beiden Abschnitte eine Kurzeinführung in die Signale des VGAx-Sensors sowie dem Aufbau des verwendeten Evaluationboards. Anschließend wird die Umsetzung der Algorithmen betrachtet und die Er- gebnisse analysiert. Für das Par3LinTemp-Verfahren wird zusammenfassend der Prozessver- lauf von der Kalibrierung bis zur Betriebnahme des Evaluationboards aufgezeigt. 10.1 Sensorsignale des HDRC-VGAx Für das bessere Verständnis der entwickelten digitalen Funktionsblöcke erläutert dieser Ab- schnitt die vom HDRC-VGAx-Sensor erzeugten Signale. Diese Signale steuern die digitalen Funktionsblöcke des FPN-Korrekturalgorithmus. Fehler! Textmarke nicht definiert.Fehler! Textmarke nicht definiert. Abbildung 10-1: Blockdiagramm des HDRC-VGAx Sensors Der HDRC-VGAx-Sensor besitzt verschiedene Spannungsversorgungen (VDD, LVDD, AVDD und SVDD), welche sich in der Spannung unterscheiden und getrennt nach digitalen und analogen Schaltungsbereich sind. Auch die Masseleitungen unterscheiden den Analogbe- reich (AVSS) und den Digitalbereich (VSS). video_pad Serial Interface Register Bank Shadow Register Bank Address Generation Pixel Array(784 x 501) Sample/Hold Stage Analog Path AVSS VSS row_address[8:0] col_address[9:0] sync LVDD hdrc_clk pixclk VDD AVDD i_bias_control offset_pad white_pad scan_enab SVDD scan_in scan_strobe scan_reset scan_clk scan_out address_enab n_reset n_standby n_fen n_len spi_out n_spi_sld spi_clk spi_data offset S/H control bias control reference select vref1 i_adj_bias i_adj_white vref2 vcm power control Reference Generation 10 Hardwarerealisierung der Algorithmen 126 Der Sensor hat einen asynchronen, low-aktiven Reset n_reset. Das Takt-Signal hdrc_clk hat eine Frequenz von 25 MHz. Zusätzlich erzeugt der Adressgenerator einen zweiten Takt, den Pixeltakt (pixclk), welcher eine nominelle Frequenz von 12.5 MHz hat und damit eine Pixel- zugriffszeit von 80 ns ermöglicht. Im laufenden Betrieb müssen folgende Signale gesetzt sein address_enab=0, scan_enab=0 und die Synchronisation sync=1. Letzteres Signal ist wichtig, damit der Sensor die Frame-Synchronisationssignale erzeugt. Der Energiesparmodus, ange- steuert durch das low-aktive Signal n_standby, muss während des Betriebs deaktiviert (n_standby=1) sein. Das Modul Address Generation generiert die Synchronisationssignale und adressiert die Pi- xel. Durch Einstellen entsprechender Register über die serielle Schnittstelle ist es z.B. mög- lich, die Framegröße oder die Pixelkoordinaten für das Bildfeld zu verändern. Die Frame- Synchronisationssignale sind low-aktiv und geben an, ob der Sensor gerade eine Zeile (n_len) bzw. ein Bildseite (n_fen) sendet. Der Analogpfad kann durch verschiedene Referenzspannungen beeinflusst werden (vref1, vref2, i_adj_white, i_adj_bias). Zusätzlich generiert der Sensor die Referenzsignale off- set_pad, white_pad und i_bias_control. Mit letzterem kann der Referenzstrom gemessen wer- den. Das analoge Videosignal liegt am Pad video_pad an. Die Kommunikation zwischen PC und Sensor erfolgt, wie die Bilddatenübertragung, über die LVDS-Schnittstelle. Sie ermöglicht die Veränderung der Registereinträge und somit Ansteue- rung verschiedener Betriebsmodi des Sensors. Die notwendigen Signale für den Datenaus- tausch sind spi_clk, spi_data, n_spi_sld und spi_out. Bilddaten: Abbildung 10-2: Analoges Videosignal [1] Abbildung 10-2 zeigt das Zeitverhalten des analogen Videosignals, welches am video_pad anliegt. Das Signal ändert sich mit steigender Taktflanke von pixclk und ist nach der Zeit tsett- ling stabil. Ein externer AD-Wandler setzt das Videosignal anschließend in einen 12 Bit Wert zur Weiterverarbeitung um. Für die FPN-Korrektur sind neben dem Reset und dem Takt hdrc_clk die Signale pixclk, vi- deo data, n_len und n_fen von Bedeutung. Zur Taktsteuerung in den Modulen werden pixclk und hdrc_clk. Alle Module, bis auf die SRAM Controller, sind auf die steigende Taktflanke von hdrc_clk und pixclk=1 synchronisiert. Es resultiert eine Taktfrequenz von 12.5 MHz. pixclk video_pad tsettling 10 Hardwarerealisierung der Algorithmen 127 SRAM Controller 8 und 16 verwenden dagegen den schnelleren hdrc_clk, um einen Lese- zugriff pro Pixelzyklus sicherzustellen. Abbildung 10-3: Zeitdiagramm der Frame-Synchronisationssignale Das in Abbildung 10-3 dargestellte Diagramm zeigt die Synchronisation der Bilddaten. Der Bus video data repräsentiert dabei die bereits digitalen Werte der Pixeldaten, die als Einga- bewerte für die nachfolgend beschriebene FPN-Korrektur dienen. Die Busdaten ändern sich bei steigender Flanke von pixclk. Es liegen korrekte Bilddaten vor, wenn die Signale n_len (Zeile wird gesendet) und n_fen (Frame wird gesendet) Null sind. Die aktuellen Pixeldaten werden von den nachfolgenden digitalen Funktionsblöcken weiterverarbeitet. 10.2 Aufbau des Evaluationboards Fehler! Textmarke nicht definiert.Fehler! Textmarke nicht defi- niert. Abbildung 10-4: Blockdiagramm des Evaluationboards Abbildung 10-4 zeigt das Blockdiagramm des Evaluationboards. Auf dem Board befindet sich ein XILNIX-FPGA XCV400E, auf dem die digitale Logik des FPN-Korrekturalgorithmus abgebildet wird. Das EEProm des FPGAs wird über eine JTAG-Schnittstelle programmiert. Die Fixed-Pattern Korrekturdaten sind in drei 4-MBit SRAM-Modulen mit je 8 Bit Datenbrei- te abgespeichert. Zwei SRAM-Module sind dabei zu einem 16-Bit Block zusammengefasst Open-Eye Evaluationboard HDRC Sensor Testpins Testpins Te st pi n s Te st pi n s JT A G SRAMBänke Te st pi n s SR A M XILINX VIRTEX XCV400E FLASH Speicher OSC ADC Te st pi n s O pe n - Ey e O pe n - Ey e Sc hi tt st el le Reset Generator Spannungsversorgung LVDS Link Layer PC Data Data DataData Data Data Data pixclk video data n_len n_fen Data Data Data Data DataData frame start next line startline end frame end 10 Hardwarerealisierung der Algorithmen 128 und werden gemeinsam angesteuert. Zudem sind ein Oszillator sowie ein zusätzlicher Flash- Speicher auf dem Evaluationboard integriert. Ein externer AD-Umsetzer wandelt Sensordaten um. Dabei ist zu beachten, dass vom 12-Bit AD-Wandler nur die oberen 10 Bit ausgewertet werden, da die unteren zwei Bits keine nutzbaren Daten mehr enthalten. Die Kommunikation zwischen Computer und Evaluationboard erfolgt über die Open-Eye-Schnittstelle und einem LVDS-Framegrabber. Die Open-Eye-Schnittstelle ist eine standardisierte Schnittstelle für die Kommunikation mit verschiedenen HDRC-Bildsensorfamilien. Für Messzwecke sind Jumper und Testpins auf dem Evaluationboard integriert. Für die Umsetzung des temperaturkompensierenden Algorithmus wurde ein Evaluationboard gleichen Typs verwendet, welches zusätzlich mit Peltierelementen ausgestattet war. Ein Peltier-Stack, bestehend aus einem großen und einem kleinen Peltierelement, war direkt un- terhalb des Sensors angebracht und erwärmte bzw. kühlte den Sensor. Ein zusätzliches Ther- moelement in Kombination mit einem Multimeter diente zur Temperaturerfassung (vgl. Abbildung 10-5). Abbildung 10-5: Experimenteller Aufbau für die Messung des Temperaturgangs 10.3 Par3Lin 10.3.1 Speicherorganisation Abbildung 10-6 beschreibt den allgemeinen Programmablauf, insbesondere die Interaktion zwischen der Datenauslese und der FPN-Korrektur. Der Hardware-Algorithmus entspricht dabei funktionell dem im Kapitel 8 ausführlich behandelten Software-Algorithmus. Der Vergleich der Algorithmen Par3Lin und Par4Lin im Kapitel 8 hat die deutlichen Vorteile des 3-Parameter-Verfahrens aufgezeigt. Neben einer besseren Speicherausnutzung, ist diese Methode auch im Bezug auf die Temperaturkompensation besser, so dass der Par3Lin- Multimeter 53 °C HDRC Sensor Peltier Stack Power Supply 2.3V 1.8A Temperature Sensor Evaluationboard 10 Hardwarerealisierung der Algorithmen 129 Algorithmus in Hardware realisiert wurde. Abschnitt 10.4 beschreibt den erweiterten Algo- rithmus Par3LinTemp. fpn_a i SRAM 8 fpn_bbi fpn_bc i SRAM 16 ( ) linbc_fpna_fpnyy iiroh1,korr +−−= Offset-Korrektur im Dunkeln Ykorr>=Thresh1 Result=Ykorr,1nein ( )irohi2,korr a_fpnybb_fpnay −+= Korrektur im Hellen Ykorr>=Thresh2 Result=Ykorr,2ja ( )irohi3,korr iii 2aybb_fpn2ay bbc_fpn5.0a_fpn2a −+= +⋅+= Korrektur um den 3dB-Punkt Result=Ykorr,3 lin a 2a b 1Tresh 2Tresh Register Abbildung 10-6: Speicherstruktur und Algorithmus in der Hardwarerealisierung Bis auf die Parameter Thresh1 und Thresh2, welche eine Datenbreite von 10 Bit haben, sind alle Parameter 8 Bit breit. Tabelle 8-1 zeigt einen Wertebereich bis 512 auf. Zur Speicherung in den 8-Bit Speicher wurde das LSB der Parameter fpn_ai, lin , a und 2a ignoriert. Die Hardware führt dementsprechend einen links-Shift durch, um den ursprünglichen Wert wieder herzustellen. Aus Gründen der Hardwareoptimierung werden im 2. SRAM nicht die Parame- ter b und c, sondern bereits entsprechende Produkte ii cb ⋅ im Parameter fpn_bci bzw. ib b im Parameter fpn_bbi abgelegt. Beim ersten Parameter handelt es sich um einen ganzzahligen Wert mit einem Wertebereich von Null bis 256. Der Parameter fpn_bbi repräsentiert eine Fix- Punkt Darstellung welche mit dem Faktor 2-6 multipliziert werden muss. Abschließend um- fasst der Mittelwert von b (Register b ) ganze Zahlen im Bereich Null bis 256. 10.3.2 Modularer Aufbau der Digitalkorrektur Der nachfolgende Abschnitt beschreibt den Aufbau und das Zusammenwirken der verschie- denen Module der Digitalschaltung. Sie ist in VHDL implementiert und ist im XILNIX- FPGA XCV400E realisiert. Nach erfolgreicher Implementierung hat der Gesamtalgorithmus inkl. der Ansteuerung des Sensors folgenden Hardwarebedarf (vgl. Tabelle 10-1). Für die 10 Hardwarerealisierung der Algorithmen 130 Synthetisierung und Übertragung in den FPGA wurde das Programmpaket ISE 6.2 von Xilinx verwendet: Tabelle 10-1: Angaben des Hardware-Verbrauchs laut XILINX ISE Webpack Number of Slice Flip Flops: 420 von 9,600 4% Number of 4 input LUTs: 943 von 9,600 9% Number of occupied Slices: 627 von 4,800 13% Number of Slices containing only related logic: 627 von 627 100% Total Number 4 input LUTs: 994 von 9,600 10% Number used as logic: 943 Number used as a route-thru: 51 IOB Flip Flops: 50 Die implementierte Schaltung erlaubt das Auslesen in Echtzeit von 32 Frames/Sekunde. SRAM Controller 8SRAM Controller16 SRAM Multiplexer LinLogGet Data LinLogSPI Controller SRAM Ansteuerung, Daten lesen und schreiben LEN FEN Generierung LinLogSensorsignale Erzeugung der Framegrabber Signale Modus Controller Par3Lin Verzögerung Rohdaten Output Sensorsignale SPI-Signale Abbildung 10-7: Blockdiagramm des Algorithmus Par3Lin SPI Controller: Dieses Modul realisiert die Kommunikation über die SPI-Schnittstelle und ermöglicht damit das Setzen und Auslesen der sensorinternen Register. 10 Hardwarerealisierung der Algorithmen 131 Abbildung 10-8: Timing der SPI-Schnittstelle Abbildung 10-8 zeigt das Timing der SPI-Schnittstelle mit ihren vier Daten- und Steuerlei- tungen. Das Signal n_spi_sld ist low aktiv und zeigt eine Datenübertragung an. Für die Syn- chronisation der Daten ist ein eigenständiges Taktsignal vorhanden, welches nur während der Datenübertragung erzeugt wird und unabhängig von anderen Taktsignalen innerhalb des Eva- luationboards ist. spi_data und spi_out sind die Datenleitungen. Bit A6 gibt an, ob ein internes Sensorregister im VGAx-Sensor oder eines externes Registers angesprochen wird. Anschlie- ßend erfolgen 6 Adressbits und ein Lese-/Schreib-Bit. Beim Schreibprozess werden die 8 Da- tenbits übertragen, beim Lesen werden die Daten über spi_out ausgegeben. Im Folgenden werden diese 16 Bits als ein Datenpaket betrachtet. SRAMs sind flüchtige Speicherbausteine, so dass die Fixed-Pattern Korrekturdaten jeweils bei Inbetriebnahme des Evaluationboards übertragen werden müssen. Die notwendigen In- formationen liegen in Dateien auf dem Computer vor und werden über die SPI-Schnittstelle gesendet. Da es sich hierbei um Zugriffe auf externe Register handelt, wird dies im Adressbit 6 entsprechend gekennzeichnet. Um eine sichere und flexible Datenspeicherung zu garantieren, überträgt die Software die Adresse und das Datum für jeden Korrekturwert pro Pixel. Zunächst werden drei Datenpakete mit den Adressinformationen übermittelt, dies ist notwendig um den 19 Bit Adressbus der SRAM-Speicher anzusteuern. Im Falle des 8 Bit breiten SRAM wird ein weiteres Datenpaket mit den Daten übertragen, für den 16 Bit breiten SRAM müssen dagegen zwei Datenpakete gesendet werden. Das SPI-Controller Modul schreibt die übersandten Korrekturdaten in ent- sprechende Register. Sind alle Daten- und Adressinformationen zum Schreiben eines Daten- satzes vorhanden, so sendet dieses Modul entsprechende Steuersignale an die SRAM- Controller, um die Daten abzulegen. Der SPI-Controller ermöglicht auch das Setzen der Re- gister, welche die Mittelwerte und Thresholds beinhaltet. Modus Controller: Der Modus Controller steuert die beiden Betriebsmodi. Neben dem Par3Lin-Modus ist ein Rohdaten-Modus implementiert, bei dem die Bilddaten unkorrigiert an den PC übermittelt werden. Beides läuft in Echtzeit, bei 32 Frames pro Sekunde, ab. Ein von der SPI- Schnittstelle angesteuertes Register speichert den Betriebs-Modus ab. Da im Falle der FPN- Korrektur zusätzlich alle Daten im SRAM abgespeichert sein müssen, gibt es ein weiteres Steuersignal, welches den Status des SRAMs (1 = FPN Daten im abgespeichert) festhält. Der A6 A5 A4 A3 A2 A1 A0 R/W D7 D6 D5 D4 D3 D2 D1 D0 ?? D7 D6 D5 D4 D3 D2 D1 D0 ?? n_spi_sld spi_clk spi_data spi_out 10 Hardwarerealisierung der Algorithmen 132 Modus Controller generiert schließlich das endgültige Steuersignal, welches über den Be- triebsmodus entscheidet. Exar_Spi: Nach einem Reset beschreibt dieses Modul über die SPI-Schnittstelle die Register des AD- Wandlers. Len_fen_Generation: Die Synchronisationssignale n_len und n_fen werden um 5 Taktzyklen verzögert, da die Kor- rektur der Sensordaten 5 Taktzyklen benötigt. Die Synchronisation mit dem PC sollte unab- hängig vom Betriebsmodus sein. In Folge dieser Rahmenbedingung werden die Bilddaten im Rohdatenmodus ebenfalls um 5 Taktzyklen verzögert. Dementsprechend ist die Verzögerung der Synchronisationssignale n_len und n_fen unabhängig vom Betriebsmodus. Get Data: Dieses Modul generiert Steuersignale für den Auslesevorgang der SRAMs. Dazu zählt die Erzeugung und Übertragung der Leseadressen sowie des Lesesignals an die SRAM Controller. Letzteres darf jedoch nicht mit dem output-enable Signal der SRAM-Chips verwechselt wer- den, welche das Freigabesignal des Chips darstellt. Die anschließend von den Speichereinhei- ten empfangenen Daten teilt diese Hardwareeinheit in die FPN-Korrekturdaten fpn_ai, fpn_bbi und fpn_bci auf. Zum Schluss der Datenauslese wird ein Steuersignal erzeugt, welches dem Korrekturmodul angibt, dass jetzt alle Roh- und Korrekturdaten gültig sind. Mehrere Signale steuern das Modul an: n_len, n_fen und pixclk geben an, wann Rohdaten anliegen und ob Da- ten aus dem Speicher gelesen werden sollen. Am Ende des Frames wird die Leseadresse stets auf Null gesetzt. Auf diese Weise erfolgt die Synchronisation zwischen den abgelegten Para- metern und den ausgelesenen Rohpixelwerten. SRAM Multiplexer: Der SPI Controller (Schreiben), wie auch das Modul Get Data (Lesen) steuert die Speicher- bausteine an. Um zu vermeiden, dass Lese- und Schreibzyklen gleichzeitig durchgeführt wer- den, ist das Modul SRAM Multiplexer vor den SRAM Controllern 8 bzw. 16 geschaltet. SRAM Controller 8 und 16: Beide SRAM Controller erzeugen die Steuersignale zum Lesen und Schreiben der Speicher- bausteine. Dabei verwenden sie für den Lese-, sowie auch für den Schreibzyklus jeweils zwei hdrc_clk-Takte, damit nach einem pixclk-Takt die Signale sicher in den Speicher geschrieben sind bzw. fehlerfrei ausgelesen werden können. Verzögerung der Rohdaten: Zur Synchronisation der Rohdaten mit den aus dem Speicher gelesenen Korrekturdaten, müs- sen die Rohdaten entsprechend verzögert werden. 10 Hardwarerealisierung der Algorithmen 133 Par3Lin: Diese Einheit führt die eigentliche FPN-Korrektur durch. Von außen erhält sie alle notwendi- gen pixelabhängigen Korrekturdaten, die Mittelwerte, die Thresholds sowie die Rohdaten. Zunächst überprüft das Modul, ob ein maskiertes Pixel vorliegt (fpn_ai= 0, fpn_bbi = 0 fpn_bci = 0) und ob die Daten gültig sind. Sind die Voraussetzungen gegeben, so korrigiert das Modul die Rohdaten. Zunächst führt es die Offset-Korrektur im Dunkeln durch und überprüft, ob das Ergebnis größer als der 1. Threshold ist. Ist dies der Fall, so verwirft der Algorithmus dieses Ergebnis und führt die Korrektur im Hellen durch. Liegt dieses Ergebnis unter dem 2. Threshold, verwirft das Modul dieses Ergebnis ebenfalls und verwendet die Korrekturinformationen der 2. Geraden des Par3Lin-Algorithmus. Soll keine Korrektur stattfinden, so werden die Rohdaten durchge- schleift. Dies bewirkt, dass im korrigierten und unkorrigierten Modus der Signalpfad iden- tisch ist und Störungen vermieden werden (vgl. nächster Abschnitt). 10.3.3 Ergebnisse Abbildung 10-9: Korrigiertes Bild im Dunkeln (Min-Max-Stretch) mit dazugehöriger Fou- rier-Analyse (VGAx 0604a, 80 Digits pro Dekade) Abbildung 10-9 zeigt das erste Ergebnis einer Hardware-Korrektur mit dem Evaluationboard. Trotz der Anwendung des Par3Lin-Korrekturalgorithmus enthält das Bild ein deutliches Strei- fenmuster. Die Fourier-Analyse der Spaltenwerte stellte eine Wiederholrate von 4 Spalten fest. Dieses hat nach der Fourier-Analyse sein Maximum bei einer Wiederholrate von 4 Spalten. Da dieses Muster durch eine zusätzliche Offset-Korrektur kompensiert werden kann, handelt es sich um fixe, zusätzliche Rauschartefakte. Die Ursache ist hierbei im Signalfluss zu sehen: Während der Aufnahme der Rohdaten wurde das SRAM nicht angesteuert und der Signalpfad entsprach nicht dem bei eingeschalteter Korrektur. Dementsprechend wurden zusätzliche Rauschkomponenten, wie z.B. den SRAM-Zugriff, nicht in den Rohdaten erfasst. Die Rauschartefakte kommen durch eine Überlagerung der AD-Wandlerstufe mit zeitinvarianten, pixelabhängigen Störsignalen zu Stande. 10 Hardwarerealisierung der Algorithmen 134 Abbildung 10-10: Korrekt korrigiertes Bild im Dunkeln (Min-Max-Stretch) mit dazugehöriger Fourier-Analyse (VGAx 0604a) Nach Behebung des Fehlers zeigt Abbildung 10-10 ein Bild im Dunkeln unter homogener Beleuchtung. Auch die Fourier-Analyse zeigt keine Spaltenabhängigkeiten. Im Unterschied zum ersten Versuch wurden diesmal die Speicherbausteine auch während des Auslesens der Rohdaten angesteuert, ohne die Werte für eine Korrektur zu verwenden. Auf diese Weise ent- halten die Rohdaten, die für die Aufzeichnung der charakteristischen Kurve und anschließend für die Berechnung der FPN-Parameter verwendet wurden, die systembedingten Rauscharte- fakte. Abbildung 10-11: Vergleich der Standardabweichung der charakteristischen Kurven bei den verschiedenen Verfahren (VGAx 0604a) Die charakteristischen Kurven wurden jeweils bei einer Mittelung über 20 Bilder ermittelt. Der Vergleich der Korrekturverfahren in Abbildung 10-11 zeigt, dass das schlechteste Ergeb- nis im ersten Fall auftritt, bei dem nicht der vollständige Signalpfad berücksichtigt wurde. 10 Hardwarerealisierung der Algorithmen 135 Das auftretende Spaltenmuster führt konsequenter Weise zu einem schlechteren Ergebnis. Dem steht die Software-Korrektur gegenüber, bei der die Rohdaten mit einem nachgelagerten Programm korrigiert werden. Dieses Ergebnis ist vergleichbar mit der Echtzeit (32 frames pro Sekunde) Hardware-Par3Lin-Korrektur. Die Realisierung des Par3Lin-Algorithmus zeigt, dass dieser eine weitgehend konstante Abweichung über den gesamten Dynamikbereich er- zielt und somit anderen Algorithmen eindeutig überlegen ist. Die Unterschiede zwischen der reinen Software bzw. Hardware-Korrektur sind auf unterschiedlichen Datensätzen und somit unterschiedlichem zeitlichen Rauschen zurückzuführen, welches bei einer Integration über 20 Bilder noch nicht vollständig eliminiert ist. Nachdem der Par3Lin-Algorithmus direkt das korrigierte Ergebnis liefert, ist es nicht möglich auf dem gleichen Datensatz die Software- Korrektur durchzuführen. Abbildung 10-12: Analyse der korrigierten, charakteristischen Kurve (VGAx 0604a) Abbildung 10-12 zeigt die charakteristische Kurve nach der Par3Lin-Korrektur durch den Mittelwert und dem ±3σ-Bereich. Das Ergebnis zeigt, dass das ±3σ-Intervall eng die Mittel- wertskurve umschließt und auch den charakteristischen Verlauf hat. Diese Darstellung ver- deutlicht noch einmal die hohe Korrekturqualität des Par3Lin-Algorithmus, welcher über den gesamten Dynamikbereich in einer engen Kurvenschar resultiert. 10 Hardwarerealisierung der Algorithmen 136 Abbildung 10-13: Vergleich Rohbild(links) mit korrigiertem Bild (rechts) Abschließend zeigt Abbildung 10-13 zwei Testbilder: ein Testbild, basierend auf unkorrigier- ten Rohdaten (links) und ein Testbild nach der Hardware-Par3Lin-Korrektur. Bei beiden Bil- dern wurde ein Min-Max-Stretch vorgenommen. Bei bloßer Betrachtung ist eine eindeutige Verbesserung der Bildqualität ersichtlich. 10.4 Par3Lin-Temp 10.4.1 Modulbeschreibung Nach der erfolgreichen Implementierung des Par3Lin-Algorithmus in die Hardware, erfolgte die Umsetzung des Par3Lin-Temp-Algorithmus. Grundlage war auch in diesem Fall das Eva- luationboard, beschrieben in Kapitel 10.2. Da der einfache und der temperaturkompensierende Algorithmus aufeinander aufbauen, wird im nachfolgenden nur auf die Unterschiede in der Speicherbelegung hingewiesen und die zusätzlichen Module erläutert. Speicherorganisation: Wie bereits in Kapitel 9.5.1 besprochen, benötigt der Algorithmus 6 Parameter, den Offset bei 0°C für die Parameter a, b und c sowie deren Temperatursteigung α, β und γ. Alle Parameter haben dabei einen Speicherbedarf von 8 Bit, was einem Gesamtbedarf von 48 Bit pro Pixel entspricht. Für den gesamten Sensor bedeutet dies einem Speicherbedarf von 14.0625 MBit. Das Evaluationboard verfügt jedoch nur über einen 8- und einen 16-Bit breitem Speicher mit je einer Speichertiefe von 219 . Das entspricht einer Speicherkapazität 12 MBit. Untersuchun- gen im Kapitel 9.5.1 haben gezeigt, dass es möglich ist den Parameter β spaltenweise abzule- gen. Der Speicherbedarf reduziert sich somit auf 11.7 MBit und würde damit rechnerisch in dem zur Verfügung stehenden Speicher passen. Auf Grund der Speicherorganisation eines 8 und 16-Bit breiten Speichers und nur zwei Zugriffen pro Speicher pro Zyklus ist es jedoch nicht möglich, den Parameter β im Speicher entsprechend abzulegen. Um dieses Problem effizient zu lösen, wird auf den internen Blockspeicher des Xilinx-FPGAs zurückgegriffen. Zusätzlich wird ein Rotationsverfahren innerhalb der beiden Speicherbausteine notwendig, um die Parameter a0°C,i, b0°C,i, c0°C,i, αi und γi dort abzulegen. 10 Hardwarerealisierung der Algorithmen 137 2γ 2,C0c ° 3,C0a ° ... 1α 1,C0b ° Sram8 2γ ... 1γ 1c Sram16 2,C0b ° 3γ 3,C0c ° ... 1,C0a ° 1α 1γ 1c 2a 3α 3b C0b ° β C0c ° γ C0a ° α Mittelwerte im internen Register ... 1β Blockram im Xilix 2β 3β 4β 640β Abbildung 10-14: Speicherorganisation für den Par3Lin-Temp-Algorithmus Abbildung 10-14 zeigt die Speicherorganisation für den temperaturkompensierenden Algo- rithmus. Im Register sind die Temperaturparameter für die Mittelwerte der Parameter abge- speichert. Aus diesen Angaben werden später die entsprechenden temperaturabhängigen Wer- te berechnet. Gleiches Vorgehen gilt für lin, dem Offset im Dunkeln, a2 dem Offset der 2. Gerade und den beiden Thresholds. In den beiden Speichereinheiten werden 5 Parameter pro Pixel zyklisch abgespeichert, so dass auf jeden Speicher nur 2-mal pro Pixeltakt zugegriffen wird. Im Block RAM des XILINX sind die spaltenabhängigen β-Werte abgelegt. SRAM Controller 8SRAM Controller16 SRAM Multiplexer LinLogGet Data LinLogSPI Controller SRAM Ansteuerung, Daten lesen und schreiben LEN FEN Generierung LinLogSensorsi nale Erzeugung der Framegrabber Signale Modus Controller Par3Lin Verzögerung Rohdaten Output HDRC Clk 2x HDRC Clk 4x HDRC Clk Temp Parameter LinLogDiv_bbmean Div_delay 2. CLK-DLL LinLog1. CLK-DLL 2x HDRC Clk Sensorsignale SPI-Signale Abbildung 10-15: Blockdiagramm des Algorithmus Par3Lin-Temp Clk-DLL: Um zweimal pro Zyklus auf Daten zugreifen zu können und für die Taktung des Dividier- Moduls sind höhere Taktraten als 25 MHz notwendig. Hierfür werden die vom FPGA zur 10 Hardwarerealisierung der Algorithmen 138 Verfügung gestellten CLK-DLLs verwendet. Die erste DLL verdoppelt die Frequenz und dient als Takt für die Module Get Data, SRAM Controller 8/16. Die Hintereinanderschaltung beider CLK-DLLs führt zu einer Vervierfachung der Frequenz, die für das Modul Div_bbmean benötigt wird. Get Data: Das Modul Get Data erfasst die Parameter aus dem SRAM und gibt die Signale an die SRAM-Steuermodule weiter. Auf Grund der zyklischen Speicherung der Parameter ist die Aufgabe dieses Moduls vorrangig die ausgelesenen Werte den richtigen Parametern zuzuwei- sen. Temp_Parameter: Wie in Abbildung 10-14 zeigt, befinden sich im Speicher temperaturunabhängige Daten. Die eingehende Signale des Moduls Par3Lin sind die temperaturabhängigen Parameter fpn_ai, fpn_bci, a , b lin , 2a sowie Thresh1 und Thresh2. Da das Modul Par3Lin unverändert bleibt, nimmt das Modul Temp_Parameter die Berechnung dieser Parameter vor: ( ) bcb5.0a2a cbalin Tcc Tbb Taa c2ba2thresh cba1thresh c_fpnb_fpnbc_fpn Tcc_fpn Tbb_fpn Taa_fpn 0 0 0 iiii íííi iii i0,ii col0,ii i0,ii +⋅⋅+= ⋅+= ⋅+= ⋅+= ⋅+= +⋅+= ⋅+= ⋅= ⋅+= ⋅+= ⋅+= γ β α γ β α Im Falle des Par3Lin-Temp Algorithmus haben die Simulationen gezeigt, dass die Thresholds kritisch sind. Aus diesem Grund werden in diesem Fall individuelle Thresholds für jedes Pixel berechnet. Modul div_bbmean: Eine Division durch variable Parameter, ist in Hardware sehr rechenintensiv. Für die Division wurde ein vordefiniertes IP-Core von XILINX verwendet. Es handelt sich hierbei um einen Pipeline-Dividierer, welcher für einen 8 Bit breiten Dividenden bzw. Divisor konfiguriert wurde. Nach einer Latenzzeit gibt dieses Modul alle 8 Takte einen neuen ganzzahligen Quo- tienten und dessen Bruchteil aus. Das Ergebnis ib b setzt sich anschließend aus dem LSB des Quotienten und die 7 höherwertigen Bits des Bruchteils zusammen. Das LSB des Quotienten gibt dabei mit Null bzw. 1 an, ob bi größer bzw. kleiner ist als b . Nachdem beide Werte ähn- 10 Hardwarerealisierung der Algorithmen 139 lich sind, werden keine höheren Stellen des ganzzahligen Quotienten benötigt. Die 7 Bits des Bruchteils werden für eine möglichst genaue Berechnung benötigt. Es handelt sich hierbei um eine Fest-Punkt-Operation. Das Modul benötigt 8 Takte für die Berechnung eines neuen Wertes. Damit gleichzeitig die Berechnung innerhalb eines Pixeltaktes abgeschlossen ist, entspricht die Taktrate für dieses Modul dem 4-fachen des HDRC-Taktes. Modul div_bbmean_delay: Das Modul div_bbmean wird mit der 4-fachen HDRC-Taktfrenquenz angesteuert. Gleichzei- tig werden die Ergebnisse immer zur steigenden Flanke des HDRC-Taktes und bei pixclk=1 synchron an das nächste Modul weitergegeben. Aus Design-Gründen wurde deshalb dieses Modul eingeführt, welches eine kurze Verzögerung einfügt, so dass das Ergebnis ib b an- schließend synchron mit den anderen Daten weiterverarbeitet werden kann. Gleichzeitig ver- zögert dieses Modul die weiteren, vom Modul Temp_Parameter berechneten Parameter, da- mit diese gleichzeitig mit dem Divisionsergebnis beim Modul Par3Lin vorliegen. Par3Lin: Der Unterschied zum einfachen Algorithmus besteht in diesem Modul, dass nicht globale Thresholds, sondern individuelle Thresholds verwendet werden. Jetzt werden die Eingangsda- ten sofort mit den individuellen Thresholds verglichen und ohne Umwege die entsprechende Geradekorrektur durchgeführt. 10.4.2 Experimentelle Ergebnisse Die Ergebnisse der Hardwareimplementierung entsprechen denen der Soft-Korrektur. Um an dieser Stelle den Unterschied eines temperaturkompensierenden zu einem einfachen Algo- rithmus gegenüber zustellen, zeigen die nachfolgenden Bilder ein korrigiertes Bild mit dem Algorithmus Par3Lin-Temp in Hardware und der Korrektur mit Par3Lin mit den Korrekturda- ten von 25°C. Letzter Algorithmus wurde aus technischen Gründen per Soft-Korrektur durch- geführt. Wie die Ergebnisse im Kapitel 10.3.3 zeigten, sind beide Algorithmen gleichwertig. Der Parameter β wurde zudem nur als globaler Wert abgespeichert. Damit die Qualitätsunter- schiede in den Bildern besser zu erkennen sind, werden jeweils relevante Teilbilder der Test- chart dargestellt. 10 Hardwarerealisierung der Algorithmen 140 Abbildung 10-16: Vergleich des Par3Lin-Temp Algorithmus (links) mit dem Par3Lin- Algorithmus bei 44°C (Teilbilder sind vergrößert) Abbildung 10-16 beim Vergleich der Algorithmen Par3Lin-Temp und Par3Lin bei 45°C fällt auf, dass die Fehler im Par3Lin-Algorithmus deutlicher zu erkennen sind (durch Rechtecke in der Abbildung gekennzeichnet). Abbildung 10-17: Vergleich des Par3Lin-Temp Algorithmus (links) mit dem Par3Lin- Algorithmus (rechts) bei 76° (Teilbilder sind vergrößert) Abbildung 10-17 zeigt einen weiteren Vergleich der Algorithmen bei 76°C. Bei dieser Tem- peratur ist beim Par3Lin-Verfahren besonders das Verhalten einer Spalte auffällig, die im Bild entsprechend mit einem Kasten gekennzeichnet wurde. Außerdem weist das Bild, wel- ches mit der Par3Lin-Temp-Methode korrigiert wurde einen höheren Kontrast auf. Beim Vergleich der Abbildung 10-16 und Abbildung 10-17 bezüglich des temperaturkompen- sierenden Algorithmus fällt auf, dass die Qualität mit der Temperatur abnimmt. Insbesondere 10 Hardwarerealisierung der Algorithmen 141 da es sich um eine relativ dunkle Aufnahme handelt, ist das physikalische Pixelverhalten in diesem Bereich nicht mehr optimal. Dies kann auch durch den Algorithmus nicht kompensiert werden. Die Charakteristik der Par3Lin-Temp Methode lässt sich auch durch die Betrachtung der Standardabweichung über der Beleuchtungsstärke und der Temperatur darstellen (vgl. Abbildung 10-18). Dass die Qualität bei hoher Temperatur und steigender Beleuchtungsstärke abnimmt ist auf die globale Speicherung des Parameters β sowie auf die physikalische Ver- schlechterung der Sensoreigenschaften bei hohen Temperaturen zurückzuführen. Abbildung 10-18: Qualität des Par3Lin-Algorithmus über der Temperatur (VGAx 0603, 80 Digits pro Dekade) Erst abschließende Versuche mit der reellen Hardware haben gezeigt, dass der Unterschied zwischen einem globalen Wert für β und einem spaltenabhängigen βcol sehr klein ist. Aus diesem Grund ist es sogar gerechtfertigt diesen Wert global abzulegen und damit weiteren Speicher zu sparen. Den qualitativen Unterschied zu einen pixelweise abgespeicherten βi konnte mit der gegebenen Hardware nicht getestet werden. Auf Grund der Soft- Korrekturergebnisse ist anzunehmen, dass sich die Qualität im Hellen verbessert. Diese Lö- sung wäre für eine Hochleistungskamera demnach vorzuziehen. 10 Hardwarerealisierung der Algorithmen 142 Tabelle 10-2: Vergleich des Hardware-Verbrauchs für Par3Lin-Temp mit und ohne Benut- zung des Block RAMs (Daten aus ISE Xilinx Webpack) Mit Block RAM Ohne Block RAM Total Number Slice Registers 1,057 von 9,600 11% 1,036 von 9,600 10% Number used as Flip Flops 1,040 1,019 Number of 4 input LUTs 2,508 von 9,600 26% 2,484 von 9,600 25% Number of occupied Slices 1,723 von 4,800 35% 1,702 von 4,800 35% Number of Slices containing only related logic 1,723 von 1,723 100% 1,702 von 1,702 100% Total Number 4 input LUTs 2,664 von 9,600 27% 2,631 von 9,600 27% Number used as logic 2,508 2,484 Number used as a route-thru 155 146 Number of Block RAMs 2 von 40 5% Beim Vergleich des Hardware-Verbrauchs in Tabelle 10-2 ist ersichtlich, dass die Version ohne Block RAM weniger aufwendig ist. Für die einfache Version entfällt Schaltungslogik. Im Vergleich mit Tabelle 10-1 fällt auf, dass die temperaturkompensierende Version einen wesentlich höheren Hardwarebedarf hat. Dies wird durch komplexe Logik für häufiges Mul- tiplizieren, wie auch dem Dividieren verursacht. 10.4.3 Interaktion zwischen Soft- und Hardware Zusammenfassend wird die Interaktion zwischen Soft- und Hardware grafisch dargestellt. Obwohl dieser Ablauf für die Arbeit mit dem Evaluationboard ausgelegt ist, wird die Kalib- rierung von fertigen Kameras später ähnlich ablaufen. Abbildung 10-19 zeigt den Gesamtablauf der Kalibrierung mit der Interaktion zwischen Hard- und Software. Für die Aufnahme von charakteristischen Kennlinien bei unterschiedlichen Temperaturen muss das Evaluationboard mit Peltierelementen verwendet werden. Ist die ge- wünschte Sensortemperatur erreicht, so wird mit Hilfe der Phlox und der im Kapitel 7.1.2 eingeführte Software IME die Kennlinie aufgenommen. Die gemessenen Daten werden unter Angabe der Temperatur in ein CAS-File abgespeichert. Sind Kennlinien bei unterschiedlichen Temperaturen aufgenommen, so werden die Daten mit Hilfe des zweiten Softwareprogramms analysiert. Zunächst werden die geeigneten Stützstellen für jede Temperatur durch den adap- tiven Algorithmus ermittelt. Anschließend werden die Korrekturdaten unter Anwendung des Algorithmus Par3Lin mit den vorher ermittelten Messpunkten berechnet. Die Software legt die berechneten Parameterwerte in eine Datei ab. Der Benutzer muss zusätzlich zum Datei- namen die Temperatur ergänzen und eine Textdatei erstellen, welche alle Temperaturen auf- listet, die für die Berechnung der linearen Regression verwendet werden sollen. Jetzt kann der Algorithmus die temperaturunabhängigen Werte berechnen und die benötigten Daten für die SRAMs bzw. den XILINX-Block RAM in drei Dateien schreiben. Im nächsten Schritt müs- sen die Daten über die SPI-Schnittstelle des Framegrabbers an den FPGA übertragen und die 10 Hardwarerealisierung der Algorithmen 143 Mittelwerte angegeben werden. Jetzt kann der Par3Lin-Temp-Algorithmus durchgeführt wer- den. Aufnahme der Sensor-Kennlinie mit dem Softwareprogramm IME Aufnahme der Sensor-Kennlinie mit dem Softwareprogramm IME Aufnahme der Sensor-Kennlinie mit dem Softwareprogramm IME Abspeichern der CAS-Files unter Angabe der Sensortemperatur Aufnahme der Sensor-Kennlinie mit dem Softwareprogramm IME Verwendung des neuen Evaluationboards mit Peltierelementen zur Temperatursteuerung Au fn ah m e de r Ke n n lin ie n be i m in d. 3 ve rs ch ie de n en Te m pe ra tu re n Aufnahme der Sensor-Kennlinie mit dem Softwareprogramm IME Analyse der Temperatur-Kennlinien mit dem adaptiven Algorithmus Aufnahme der Sensor-Kennlinie mit dem Softwareprogramm IME Durchführung des Par3Lin-Algorithmus it den optimalen Messpunkten für alle Dateien Aufnahme der Sensor-Kennlinie mit dem Softwareprogramm IME Zu allen “abc_all.txt“ Dateien die Temperatur hinzufügen z.B. „abc_all_70.00.txt“und im Verzeichnis d r CAS-Files ablegen Aufnahme der Sensor-Kennlinie mit dem Softwareprogramm IME Erstellung der „temp.txt“ Datei im selben Verzeichnis; Sie beinhaltet alle Temperaturen, die bei der Regression benutzt werden Aufnahme der Sensor-Kennlinie mit dem Softwareprogramm IME Erstellung der „temp_10.txt“ Datei im selben Verzeichnis; Sie beinhaltet alle Temperaturen, bei denen einen Softwar simulation öglich sein soll Aufnahme der Sensor-Kennlinie mit dem Softwareprogramm IME Durchführung des Algorithmus Par3Lin_Temp und temperaturunabhängige Mittelwerte feststellen Aufnahme der Sensor-Kennlinie mit dem Softwareprogramm IME Bei HW-Korrektur: Übertragen der temperaturunabhängigen Daten und der Mittelwerte Aufnahme der Sensor-Kennlinie mit dem Softwareprogramm IME HW-Si ulation: Die Hardware korrigiert die Bilddaten jetzt entsprechend Aufnahme der Sensor-Kennlinie mit dem Softwareprogramm IME Bei SW-Korrektur: Starten des Framesgrabbers; die Software korrigiert die Bilddaten entsprechend abc_all.txt Parameter a Parameter b Parameter c Maskiert? . . . temp.txt 3 10 30 60 1. Zeile: Anzahl der Temperaturen in der Datei Temp_10.txt 6 10 20 30 40 50 60 1. Zeile: Anzahl der Temperaturen in der Datei Abbildung 10-19: Interaktion zwischen Soft- und Hardware 11 Weiterführende Experimente 144 11 Weiterführende Experimente Das letzte Kapitel stellt weiterführende Versuche vor. Der erste Abschnitt analysiert die Si- mulationsergebnisse einer kombinierten analog-digital-Korrektur. Abschließend wird auf die Kalibrierung mehrerer Sensoren eingegangen. 11.1 Vorkorrektur Wie bereits beschrieben, kann der VGAx-Sensor nicht den gesamten AD-Bereich aussteuern. Gründe hierfür sind neben dem Temperaturgang die Wandlung unkorrigierter Rohdaten. Um sicherzustellen, dass auch bei der Streuung der Rohdaten alle Pixel entsprechend digitalisiert werden, können über den gesamten Dynamikbereich nicht die vollen 10 Bit ausgenützt wer- den. Im Kapitel 6 wurden bereits verschiedene Verfahren behandelt, welche eine analoge Korrek- tur im Pixel vornehmen. Dies führt jedoch zu einem schlechteren Füllfaktor. Der hier analy- sierte Weg besteht aus einer analogen Vorkorrektur mit Speicher und einer anschließenden digitalen Korrektur. Korrekturwert in RAM gespeichert D/A-Wandler Pixelfeld Ve rs tä rk er , Sa m pl e &H ol d St u fe - Korrekturwert in RA gespeichert D/A- andler D /A - W a n dl er vorkorrigierte Werte Abbildung 11-1: Prinzip der analogen Vorkorrektur mit Speicher Abbildung 11-1 zeigt das Prinzip der analogen Vorkorrektur. Dabei wird in einem Speicher für jedes Pixel ein Korrekturwert gespeichert. Dieser wird dann D/A gewandelt und vom momentanen, analogen Pixelwert subtrahiert. Diese vorkorrigierten Daten werden anschlie- ßend wieder A/D gewandelt. 11.1.1 3-Bit Vorkorrektur Bei der Realisierung dieser Vorkorrektur mit 8-Bit haben sich beim Vorgänger des VGAx technische Schwierigkeiten ergeben. Aus diesem Grund wurde eine Vorkorrektur mit 3-Bit 11 Weiterführende Experimente 145 vorgeschlagen. Die nachfolgende Analyse soll die Effizienz einer 3-Bit Vorkorrektur im Hin- blick auf eine bessere Ausnutzung des AD-Wandlerbereichs simulieren. Abbildung 11-2: Ergebnis einer Vorkorrektur mit 3 Bit, (VGAx 0604a, 80 Digits pro Dekade) In der Simulation wurde der Dunkeloffset in 8 Intervalle von 16 Digits aufgeteilt. Es wurde eine 1-Punkt-Offset-Korrektur bei 1 mLx durchgeführt. Entsprechend der Mathematik sollte sich das ± 3σ-Intervall um den Faktor 4 verkleinern. Abbildung 11-2 zeigt die Ergebnisse der Simulation. Durch eine Vorkorrektur kann die ±3σ-Abweichung um den Faktor 4.8 im Dun- keln bis 2.5 im Hellen verbessert werden. Diese Ergebnisse zeigen, dass im Dunkeln der ma- thematisch errechnete Wert erreicht wird. Im Hellen dagegen ist der Faktor 2.5 wesentlich schlechter als der berechnete Faktor 4. Grund hierfür ist die Anwendung des 1-Punkt-Offset- Algorithmus, welcher zu schlechteren Ergebnissen im Hellen führt. 11 Weiterführende Experimente 146 11.1.2 Simulation einer Analog-Digitalkorrektur Abbildung 11-3: Vergleich zwischen analogen, digitalen bzw. gemischten Korrekturverfahren (VGAx 0604a, 80 Digits pro Dekade) Zusätzlich zu einer 3-Bit-Vorkorrektur wurde eine 10-Bit-Vorkorrektur bei 1 mLx simuliert. Abbildung 11-3 visualisiert die Ergebnisse einer Analog-Digital-Korrektur. Im ersten Schritt wird eine analoge 1-Punkt-Offset-Vorkorrektur (bei 0.0015 Lx) der Rohdaten (10 Bit) durch- geführt. Anschließend werden auf Grund dieser Daten die FPN-Parameter bestimmt und eine Par3Lin-Korrektur (0.0015, .00495 Lx, 0.0111 Lx, 0.218 Lx, 1850 Lx) durchgeführt. Dieses Ergebnis wird mit der reinen Par3Lin-Korrektur verglichen. Es fällt dabei auf, dass die digita- le Korrektur zu besseren Ergebnissen kommt. Dies liegt daran, dass bei der gemischten Kor- rektur die Par3Lin-Parameter auf Grundlage der analogen 1-Punkt-Offset-Vorkorrektur ermit- telt werden. Wie die Grafik zeigt, ist die Qualität dieser Korrektur vor allem im Hellen schlechter. Dies hat auch Auswirkungen auf die Qualität ParLin-Algorithmus. Dennoch ist das simulierte Ergebnis der gemischten Korrektur akzeptabel. 11 Weiterführende Experimente 147 Abbildung 11-4: ±3σ-Intervall bei analoger Vorkorrektur und gemischter Korrektur 11.2 Kalibrierung der Kennlinie In manchen HDRC-Anwendungen wird die Kamera nicht zum Aufnehmen von Bildern, son- dern zum Messen von Helligkeitswerten verwendet. Hierfür ist es sinnvoll die Sensoren zu kalibrieren. Gleichzeitig kann dabei eine Verschiebung der charakteristischen Kurve erfolgen, so dass die Kennlinie im unbeleuchteten Fall durch Null geht. 11.2.1 Kalibrierung mehrerer Sensoren bei Raumtemperatur Im nachfolgenden Abschnitt wurden vier VGAx-Sensoren auf eine Kennlinie kalibriert. Es wurde dabei der Par3Lin-Algorithmus mit einem Punkt im Dunkeln verwendet. Die Daten- menge belief sich auf 8 Bit pro Pixel. In diesen Fällen wurde nach der SW-Korrektur der Mit- telwert des Dunkeloffsets abgezogen. Durch die Subtraktion haben die Kennlinien einen AD- Output von Null im Dunkeln. Die Messpunkte für die Berechnung des Par3Lin-Algorithmus wurden jeweils gleich gewählt. Abbildung 11-5: Kalibrierung von Sensoren bei Raumtemperatur Abbildung 11-5 zeigt die Kalibrierung von vier VGAx-Sensoren bei Raumtemperatur. Die Standardabweichung (links) zeigt, dass diese für drei Sensoren sehr ähnlich ist. Auf Grund der gleichen Sensordaten pro Beleuchtungsstärke (rechtes Bild) kann hier von einer Kalibrie- rung des Sensors gesprochen werden. 11 Weiterführende Experimente 148 11.2.2 Kalibrierung eines Sensors bei unterschiedlichen Temperatu- ren Einen abgewandelten Fall der Kalibrierung stellt der Par3Lin-Temp-Algorithmus dar. Hierbei sollen bei einem Sensor während des gesamten Temperaturbereichs die charakteristischen Kurven nahezu identisch sein. Letzteres ist auf Grund der Temperaturabhängigkeit des 3dB- Punktes nur bedingt möglich. Abbildung 11-6: Kalibrierung eines Sensors (VGAx 1104) bei unterschiedlichen Temperatu- ren: links - Standardabweichung über der Beleuchtungsstärke und der Temperatur; rechts – charakteristische Kurve ohne und mit Kalibrierung, so dass der Ausgabewert im Dunkeln Null ist Das Ergebnis mit dem VGAx 1104 in Abbildung 11-6 zeigt, dass eine digitale Offset- Korrektur auch beim Algorithmus mit Temperaturkompensation einsetzbar ist. Auf Grund der Temperaturgangs des 3dB-Punktes ist es jedoch nicht möglich, dass alle Kurven übereinander liegen. 11.2.3 Kalibrierung mehrerer Sensoren bei unterschiedlicher Tem- peratur Im nächsten Schritt wurde überprüft, ob auch bei verschiedenen Temperaturen die Kennlinien übereinstimmen. Abbildung 11-7 zeigt, dass dies der Fall ist. Hierfür wurde jeweils der Par3Lin-Temp-Algorithmus angewandt, was keine eindeutige Wahl der Messpunkte zur Fol- ge hat. 11 Weiterführende Experimente 149 Abbildung 11-7: Kalibrierung von Sensoren bei 40°C Auf Grund dieser Ergebnisse ist es möglich, durch Definition fester Parameter ( ) ( ) ( )Tc,Tb,Ta eine Kalibrierung von Sensorsystemen durchzuführen. 12 Ausblick 150 12 Ausblick Im Hinblick auf die Umsetzung des im Prototypen integrierten Algorithmus in ein Kamera- produkt ist die Entwicklung einer neuen Sensorplatine notwendig, welche mit ausreichendem Speicher (48 Bit x 512 k) sowie mit einem Temperatursensor ausgestattet ist. Die aktuelle Platine ist mit einem Speicher von 8 Bit x 512 k nicht für die Implementierung der im Rah- men dieser Arbeit entwickelten Algorithmen nutzbar. Bei Einführung des Kalibrieralgorithmus in ein Kameraprodukt muss die Kalibrierung opti- miert werden. Kritisch hierbei ist der zeitliche und der damit verbundene finanzielle Auf- wand. Im ersten Schritt, um die unterschiedlichen optimalen Messpunkte eines Sensors zu ermitteln, wurde im Rahmen dieser Arbeit der adaptive Algorithmus entwickelt. Hierfür muss vor der Berechnung die charakteristische Sensorkennlinie bei mind. 10 Messpunkten ermittelt werden. In Zukunft muss geprüft werden, ob der zeitliche Aufwand für die Erfassung der Sensorcharakteristik durch Anwendung statistischer Verfahren reduziert werden kann. Ein Ansatz ist die Analyse der Korrelation der optimalen Messpunkte der Sensoren auf einem Wafer. Bei positiver Evaluierung wäre es damit ausreichend für nur einen Sensor pro Wafer eine charakteristische Kennlinie bei mind. 10 Messpunkten zu ermitteln. Die restlichen Sen- soren müssten anschließend nur an den optimalen Beleuchtungsstärken charakterisiert wer- den. Dieser Schritt führt zu einer Reduktion des Kalibrieraufwandes von über 50%. Eine wei- tere Optimierung wäre die Implementierung eines Softwarepakets, welches die Charakterisie- rung des Sensors, die anschließende Berechnung der optimalen Beleuchtungsstärken und die daraus resultierenden Parametersätze automatisch berechnet und die Daten zur Kamera über- trägt. Die Architektur der HDRC-VGAx-Sensoren erlaubt auf Grund des örtlichen Rauschens nur eine partielle Ausnutzung des AD-Wandlers von 40%. Insbesondere bei der Berücksichtigung des Temperaturgangs des Sensors wird diese Problematik verschärft, da die Signale mit der Temperatur stark schwanken. Durch eine analoge Vorkorrektur des FPN lässt sich die Aus- nutzung des Wandlerbereichs verbessern. Auf diese Weise könnte der AD-Wandler bei 10 bit belassen werden und auch der Speicherbedarf für die anschließende Digitalkorrektur bliebe konstant. Für den dauerhaften Einsatz des temperaturkompensierenden Algorithmus ist es notwendig, dass die interne Temperaturkompensation durch das Offset-Pad ausgebaut und standardmäßig eingesetzt wird. Anhang A: CCD und CMOS-Sensoren 151 Anhang A CCD und CMOS-Sensoren Dieser Abschnitt gibt eine kurze Einführung in die CCD-Technologie und vergleicht diese mit CMOS-Bildsensoren. Des Weiteren werden die Vorzüge des HDRC-Sensors am beispielhaf- ten Einsatz im Automobilbereich dargelegt. A.1. Die CCD-Technologie Entwicklung der Technologie: CCD steht für Charge-Coupled-Device und ist kennzeichnend für die Art des Ladungstrans- ports innerhalb des Bildsensors. Das allgemeine Prinzip dieses Verfahrens wurde von W. S. Boyle und G. E. Smith, Mitarbeiter der Bells Labs, in den 60er Jahren erfunden. Das eigentli- che Ziel war damals eine neue Speichertechnik zu entwickeln. Letztendlich etablierte sich das Prinzip als Verfahren zum Ladungstransport in Bildsensoren. Bis heute ist dies das Hauptan- wendungsfeld der Technologie. [47] Die Entwicklung der CMOS-Bildsensoren begann bereits vor der der CCD-Bildsensoren. Zunächst konnten CMOS-Sensoren nur in begrenzten Umfang eingesetzt werden. Ausschlag- gebend hierfür war, dass es anfänglich nicht möglich war hinreichend kleine Strukturen mit- tels der Lithographie zu realisieren. [47] Aus diesem Grund dominierten zunächst CCD-Bildsensoren den Markt, die auch noch heute in vielen Anwendungsfeldern weit verbreitet sind. Funktionsweise: CCD-Bildsensorelemente bestehen aus drei MOS-Kondensatoren, welche die Ladung schrittweise zum Zeilen- bzw. Spaltenende transportieren. Die nachfolgenden Schaubilder zeigen den zeitlichen Ablauf des Ladungstransfers in CCD-Bildsensoren. Jeder Kondensator bildet dabei eine Potentialwanne. Die Gatespannungen ϕ1, ϕ2 und ϕ3 steuern die einzelnen Einheiten an. Abbildung A-1: Funktionsweise eines CCD-Bildsensors – 1. Schritt Im 1. Schritt liegt am Kondensator 1 eine Spannung ϕ1 an und es bildet sich unter ihm eine Potentialwanne aus (siehe Abbildung A-1). Diese sammelt die Minoritätsladungsträger (im ϕ3b ϕ1 ϕ2 ϕ >( ϕ )1 3ϕ =2 ϕ3a Φ Anhang A: CCD und CMOS-Sensoren 152 Fall von p-Typ MOS Elektronen), die durch die Lichteinstrahlung entstehen. Nach der Belich- tungszeit, werden die durch Fotonen erzeugten Ladungsträger zum Zeilenende transportiert. ϕ3b ϕ1 ϕ2 ϕ < <ϕ3 2ϕ1 ϕ3a Φ Abbildung A-2: Funktionsweise eines CCD-Bildsensors – 2. Schritt Beim nächsten Takt erhöht sich die Spannung ϕ2 am Nachbarkondensator 2. Auch hier ent- steht jetzt ein Potentialtopf und Minoritätsladungsträger können nach rechts abfließen. Damit keine Ladungen in den linken Kondensator 3b transportiert werden, liegt dort keine Steuer- spannung an. Der Kondensator 3b stellt damit eine Ladungsbarriere dar. (vgl. Abbildung A-2). ϕ3b ϕ1 ϕ2 (ϕ = <ϕ1 2ϕ )3 ϕ3a Φ Abbildung A-3: Funktionsweise eines CCD-Bildsensors – 3. Schritt Abschließend verringert sich die Steuerspannung ϕ1, so dass alle Ladungen in die Ladungs- senke des 2. Kondensators abfließen. Auf diese Weise hat der CCD-Bildsensor alle Ladungs- träger vom Kondensator 1 in den Kondensator 2 transportiert. Dieser Vorgang wird bis zum Zeilenende fortgesetzt bzw. Spaltenende (vgl. Abbildung A-3). Anhang A: CCD und CMOS-Sensoren 153 A.2. Linear-integrierende CMOS-Sensor Abbildung A-4: Pixelaufbau eines linearen, integrierenden CMOS-Sensors [19] Die Funktionsweise eines linear-integrierenden CMOS-Bildsensors zeigt Abbildung A-4. Der Sensor besteht aus einer Fotodiode, welche eine Sperrschichtkapazität CD besitzt. Der Tran- sistor Q1 bildet einen Source-Folger, über Q2 wird das Pixel mit der Leseleitung verbunden. Der Transistor Q3 schaltet zwischen Reset- und Integrationsphase um. Der Fotosensor arbeitet in drei Phasen, die sich periodisch wiederholen: 1. Der Reset wird zeilenweise durchgeführt. Hierfür werden alle Reset-Transistoren Q3 einer Zeile leitend. Dadurch wird die Sperrschichtkapazität CD auf die Referenzspan- nung aufgeladen. Zum Ende wird der Transistor Q3 wieder abgeschaltet und es be- ginnt die 2. Phase – die Integration. 2. Während der Integrationszeit entlädt der Fotostrom die Sperrschichtkapazität, die pa- rallel zur Fotodiode ist. 3. Nach der Integrationszeit wird die gespeicherte Restladung der Sperrschichtkapazität über den Source-Folger ausgelesen. Formel (A-1) [25] beschreibt die Integrations- Spannung. D intphoto int C TI U ⋅ = (A-1) Da ein Source-Folger in jedem Pixel integriert ist, handelt es sich bei diesem Aufbau um ein aktives Pixel. Alternativ hierzu gibt es passive Bildsensoren, die keine verstärkenden Elemen- te im Pixel beinhalten. Anhang A: CCD und CMOS-Sensoren 154 A.3. Diskussion CCD- und CMOS-Technolgie Die CCD-Technologie weist verschiedene Nachteile auf [47]: • Da CCD- und CMOS-Technologie nicht zueinander kompatibel sind, ist es nicht möglich analoge und digitale Zusatzschaltungen in den Bildsensor zu integrieren. Dies führt zu Systemen mit mind. zwei Chips. • Bei zu hoher Lichteinstrahlung können die Potentialwannen überlaufen. Dadurch „vermi- schen“ sich die Ladungsträgerinformationen und es kommt zum Bloomingeffekt im Bild. • Die Effizienz des Ladungstransportes sinkt mit steigender Temperatur durch hohe Leck- ströme. Deshalb können CCD-Bildsensoren nur bis zu einer Umgebungstemperatur von max. 55°C eingesetzt werden. • Der Dynamikbereich von CCD-Bildsensoren kann nicht einfach, wie bei CMOS- Sensoren, erweitert werden. Die Vorteile der CMOS-Bildsensoren: • Da der CMOS-Prozess ein Standardherstellungsverfahren ist, können in CMOS- Bildsensoren die elektrischen Schaltungen, wie auch die Fotosensoren auf einem Chip in- tegriert werden [32]. Dadurch wird nicht nur die Baugröße, sondern es werden auch die Kosten reduziert. • Das Ausleseverfahren von Pixeln ähnelt dem eines Speichers. Es ist deshalb möglich ein- zelne Bildteile auszulesen. Diese Konzentration bewirkt eine Datenreduktion und erhöht die Geschwindigkeit [18]. Diese Eigenschaft ist z.B. in Verkehrserkennungssystemen von Nutzen. • Da das Bild jederzeit zur Verfügung steht, benötigen CMOS-Sensoren keinen zusätzli- chen Bildspeicher. • Die CMOS-Technologie ist stromsparender als die CCD-Technologie und benötigt keine unterschiedlichen Versorgungsspannungen. • CMOS-Bildsensoren können bei Temperaturen über 55° eingesetzt werden. Dieser Aspekt ist für industrielle Bildverabeitungssyteme von großer Bedeutung. • In dieser Technologie gibt es verschiedene Verfahren, um den Dynamikbereich des Sen- sors auf bis zu 9 Dekaden zu erweitern. Die Nachteile der CMOS-Sensoren: • Die Bildqualität von CMOS-Bildsensoren wird durch Fixed-Pattern Rauschen stark beein- trächtigt. Ursache hierfür sind herstellungsbedingte Schwankungen der Transistorparame- ter. Dies hat zur Folge, dass bei homogener Beleuchtung des Sensors, die Pixel unter- schiedliche Werte ausgeben. Das aufgenommene Rohbild hat deshalb keinen einheitlichen Farb- bzw. Grauton. • Bei nicht integrierenden Sensoren erfassen die Fotodioden die Bildinformationen der ak- tuellen Szene. Ändert sich diese z.B. durch eine Bewegung, so ändern sich auch sofort die Anhang A: CCD und CMOS-Sensoren 155 gespeicherten Bildinformationen. Dies kann Verzerrungen zur Folge haben und muss durch entsprechende Hardware eliminiert werden (siehe Abbildung A-5). Fehler! Textmarke nicht definiert.Fehler! Textmarke nicht defi- niert. Abbildung A-5: Einfache HDRC-Kamera (links), rechts elektronische Lösung für einen HDRC-Sensor mit global Shutter [26] A.4. Anwendungen des HDRC-Sensors im Automobil Abbildung A-6: Verschiedene Anwendungsmöglichkeiten von Kameras in einem KFZ Abbildung A-6 zeigt verschiedene Anwendungsmöglichkeiten von Kamerasystemen in Au- tomobilen. So können diese z.B. den toten Winkel bei Spurwechsel und Überholmanövern sichtbar machen. Zusätzliche Kameras können zur Verkehrszeichenerkennung oder zur Un- terstützung des Fahrers bei Nachtfahrten eingesetzt werden. Der Vorteil des HDRC-Sensors hierbei ist, dass dieser auch dann Daten erfassen kann, wenn z.B. die Sonne auf dem Ver- kehrszeichen reflektiert wird oder ein Teil des Zeichens im Schatten steht. Bildsensorsysteme werden im Auto der Zukunft dort eingesetzt, wo eine höhere örtliche Auf- lösung oder eine Objekterkennung notwendig ist. Tabelle A-1 zeigt, welche Eigenschaften der VGAx-Sensor für den Einsatz im KFZ nach [56] erfüllt: Anhang A: CCD und CMOS-Sensoren 156 Tabelle A-1: Anforderungen für Bildsensoren im Automobil Anforderung im KFZ VGAx Auflösung, größer als 768 Pixel 640x480 Pixel, Auslesen von Subframes möglich Bildrate, größer als 30 frames/s 40 frames/s bei einer Auflösung von 640x480 Signalrauschverhältnis von 4:1, bei 0.1 Lux SNR>10 dB bei 0.1 Lx Dynamikbereich, größer als 120 dB, um reale Sze- nen erfassen zu können 170 dB Kontrastauflösung größer als 60 dB, z.B. für die Objekterkennung 1.5 % Einheitliches Pixelverhalten, Variation kleiner 1 % ca. 2 Digits pro Dekade mit 85 Digits pro Dekade Einsetzbar unabhängig von den Beleuchtungsbe- dingungen innerhalb des Verkehrs (zu allen Tages- und Nachtzeiten, bei Regen etc) Durch hohe Dynamik gewährleistet Temperaturgang: -40°C bis 85°C getestet von 0°C – 70°C Anhang B: Rauschen bei Bildsensoren 157 Anhang B Rauschen bei Bildsensoren Die Rauschquellen des HDRC-Bildsensors sind vielfältig. Nachfolgendes Kapitel gibt Defini- tionen für die wichtigen Rauscharten und führt abschließend eine grafische Rauschanalyse des HDRC-Sensors durch. B.1. Der Signalrauschabstand Der Signalrauschabstand (SNR) beschreibt, das Verhältnis vom Nutzsignal zum Störsignal. Die Darstellung des Wertes in dB bewirkt, dass eine Betrachtung im logarithmischen Bereich vorliegt. In Abhängigkeit der zu vergleichenden Signale, wird das Ergebnis mit 10 (Leis- tungspegel) oder 20 (Spannungspegel) multipliziert. Formel (B-1) beschreibt den Signal- rauschabstand in seiner allgemeinen Art, welche auch Grundlage für die weitere Betrachtung ist. dB Störsignal Nutzsignallog10SNR       ⋅= (B-1) Dieser Parameter ist ein Bewertungsmaßstab für die Qualität des Nutzsignals. Es ist durch ein Störsignal überlagert. Nur wenn das Nutzsignal sicher vom Störsignal unterscheidbar ist, können Informationen aus dem Nutzsignal extrahiert werden. B.2. Rauschquellen Jedes elektrische Signal ist durch Rauschen überlagert. Es wird zwischen systematischem und zufälligem Rauschen unterschieden [37]. Rauschen in elektrischen Schaltungen bezeichnet eine statistische Variation von Spannungen und Strömen. Die Ursache hierfür ist, dass La- dungsträger nicht kontinuierlich, sondern als zufällige, voneinander zeitliche unabhängige Einzelimpulse in Schaltungen transportiert werden. Der Stromfluss ist damit poisson-verteilt [19]. Die Analyse des Rauschverhaltens in elektronischen Schaltungen und dessen Optimie- rung ist ein fundamentaler Prozess in der Sensorentwicklung, da das Rauschen die untere Grenze der Sensorempfindlichkeit definiert. Der nachfolgende Abschnitt gibt deshalb eine kurze Einführung in wichtige Rauscharten. Bei Rauschquellen wird die spektrale Dichte verteilt über der Frequenz betrachtet. Da Rau- schen in der Regel unkorreliert ist, erhält man die spektrale Dichte durch Summierung des Rauschens der einzelnen Frequenzen. [37] Thermisches Rauschen: Die Beweglichkeit von Ladungsträgern in Leitern ist statistisch verteilt und temperaturabhän- gig. Es kommt dadurch zu einer temperaturabhängigen Spannungsfluktuation. Thermisches Rauschen in einem Widerstand ist unabhängig vom Stromfluss. Wegen seiner Frequenzunab- hängigkeit wird es auch als weißes Rauschen bezeichnet: [37] Anhang B: Rauschen bei Bildsensoren 158 R Tk4SiR ⋅⋅ = (B-2) Schrotrauschen: In Bildsensoren hängt das Schrotrauschen, im Gegensatz zum thermischen Rauschen, vom Strom in Dioden und Transistoren ab, welcher in Halbleitern Potentialbarrieren überwinden muss. In Halbleitern wird der Energietransport in Form von gequantelten Ladungsträgern durchgeführt [37]. ( ) 0i Iq2fS ⋅⋅= (B-3) 1/f-Rauschen: Hierbei handelt es sich um eine Rauschkomponente, deren Leistungsdichte in stromdurchflos- senen Bauelementen mit af variiert. Die Ursache des 1/f-Rauschens ist zum gegenwärtigen Zeitpunkt Gegenstand verschiedener Forschungsarbeiten. Nach aktuellem Stand der For- schung, wird das 1/f-Rauschen durch Oberflächeneffekte an der Grenzfläche zwischen Kanal und Gate-Oxid verursacht [19]. Formel (B-4) [37], definiert das 1/f-Rauschen: b a if f IKS ⋅= mit ,2a5.0 << 1b ≈ (B-4) Bei K handelt es sich um eine technologieabhängige Konstante. [37] Fotonenrauschen: Bei Fotodioden muss ebenfalls das Fotonenrauschen berücksichtigt werden. Dieses entsteht, weil die eine Lichtquelle Fotonen nicht gleichmäßig erzeugt. Stattdessen emittiert die Licht- quelle Fotonen in Gruppen innerhalb unbekannter Zeiteinheiten. Die Erzeugung ist daher poisson-verteilt. Die in der Fotodiode durch die Fotonen erzeugte Elektronenzahl ePh weist deshalb ebenfalls ein Schrotrauschen NPh auf [21]. PhPh eN = (B-5) kTC-Rauschen: Linear-integrierende CMOS-Bildsensoren benötigen einen Reset-Vorgang, welcher die Ursa- che für kTC-Rauschen in Bildsensoren ist. Beim Reset-Vorgang wird ein Kondensator durch Anlegen einer Spannung in einen definierten Grundzustand versetzt. Die Reset-Spannung des Kondensators variiert auf Grund stochastischer Zusammenhängen und mit ihr die im Konden- sator gespeicherte Ladung. Das Reset-Rauschen nimmt bei Reduktion der Kondensatorkapa- zität zu. Die Rauschspannung wird definiert durch: [21] C TkU NoiseRe ⋅ = − (B-6) Die zu Beginn des Integriervorgangs bereits auf dem Kondensator gespeicherte Ladung (QRe- Noise) variiert, so dass sich bei Raumtemperatur folgende Variationen in der Anzahl der Elekt- ronen e-Re-Noise ergeben: [21] Anhang B: Rauschen bei Bildsensoren 159 C104 q CTk e CTkUCQ 8 NoiseRe NoiseReNoiseRe ⋅= ⋅⋅ = ⋅⋅=⋅= − − −− (B-7) An dieser Stelle sei angemerkt, dass logarithmische Sensoren, die über eine Resetvorgang verfügen ebenfalls dieses Rauschen aufweisen. Quantisierungsrauschen: Da bei der AD-Wandlung werden die analogen Werte in Abhängigkeit der Auflösung des AD-Wandlers quantisiert. Die Differenz zwischen analogem Eingangssignal und quantisier- tem Ausgangssignal lässt sich als ein Fehlersignal darstellen, dass als Quantisierungsrauschen bezeichnet wird. Dunkelstromschrotrauschen: Auch die Generierung des Dunkelstroms durch Elektronen eDS ist poisson-verteilt. Dement- sprechend ist das Schrotrauschen für die Elektronen NDS wie folgt definiert: [21] DSDS eN = (B-8) B.3. Das 3D-Rauschmodell Bildsensoren bestehen im Gegensatz zu vielen anderen Sensoren aus vielen Elementen die zu einer Einheit zusammengefasst werden. Aus diesem Grund existiert neben dem zeitlichen noch ein örtliches Rauschen. Das zeitliche, wie auch das örtliche Rauschen, überlagern die eigentlichen Bildsignale. Zur besseren Analyse des zeitlichen und örtlichen Rauschens entwi- ckelte die US-Army ein 3D-Rauschmodell [60], welches Abbildung B-1 darstellt. Fehler! Textmarke nicht definiert.Abbildung B-1: Dreidimensionales Rauschbild [60] Das 3D-Rauschmodell beschreibt zunächst die 2D-Sensormatrix mit den Spalten v und Zeilen h, so dass ein Pixel eindeutig definiert wird. Die dritte Dimension t beschreibt die Zeit und N die entsprechende Gesamtzahl der Bilder, über die integriert wurde. [60] Anhang B: Rauschen bei Bildsensoren 160 Die Einführung der 3-Dimension in diesem Modell erlaubt die Darstellung und Analyse von zeitlichem bzw. örtlichem Rauschen und deren Kombination. Das örtliche Rauschen wird erfasst, wenn der Datensatz über mehrere Bilder gemittelt wurde. Zeitliches Rauschen kann dann dargestellt werden, wenn örtliches vorher durch entsprechende Korrekturmaßnahmen eliminiert wurde, ansonsten stellt ein Ausschnitt aus der Zeitachse immer eine Kombination aus örtlichen und zeitlichen Rauschen dar. B.4. Grafische Analyse eines HDRC-Bildsensors Höfflinger vergleicht die Rauschquellen eines linearen und logarithmischen Sensors [21]. Grundlage bildet das in Tabelle B-1 beschriebene Referenzpixel: Tabelle B-1: Parameter des Referenzpixels [21] Eigenschaft Einheit Größe Pixelfläche [µm2] 7.4 x 7.4 Fläche der Fotodiode [µm2] 5.0 x 5.0 Kapazität [fF] 2.5 Elektronen im Dunkeln (Dunkelelektronen) [e] 20 Schrottrauschen der Dunkelelektronen [e] 4.5 Konvertierungseffizienz     mLux e 2 Sensitivität     ⋅ sLux V 5.4 Reset-Rauschen [e] 20 Quantisierung bei 10 Bit linear [e] [mV] 6 0.4 Anzahl der Signalelektronen im Dunkeln entspricht 10 1 des Dunkelstroms [e] 2 Äußere Bedingungen: T=20°C, Tint=25ms Anhand dieses Pixels werden wichtige Rauschquellen eines HDRC-Sensors grafisch analy- siert. Zunächst erfolgt die Berechnung der einzelnen Rauschkomponenten (vgl. Tabelle B-2). Tabelle B-2: Berechnung der Rauschanteile [21] Rauschart Gleichung Anzahl der Elektronen Schrotrauschen im Dunkeln DSDS eN = 5.420NDS == Schrotrauschen des Signals PhPh eN = 4.12NPh == Reset-Rauschen C104N 8setRe ⋅= 20N setRe = Quantisierungsrauschen 6NQ = Anhang B: Rauschen bei Bildsensoren 161 Abbildung B-2: Flat-Field Schrotrauschen [21] Abbildung B-2 zeigt das Schrotrauschen der Dunkel- und Fotoelektronen. Die Summe beider Rauschanteile ist, unabhängig vom verwendeten Sensortyp, ein limitierender Faktor. Die Gra- fik verdeutlicht außerdem, dass das detektierbare Fotosignal durch den Dunkelstrom begrenzt wird. Da der Dunkelstrom unabhängig von der Beleuchtung ist, ist auch das Dunkelstromschrotrau- schen konstant. Das Fotosignal dagegen ändert sich mit der Beleuchtung und somit auch das Schrotrauschen. Das gesamte Signal ist die Summe aus Dunkelstrom und Fotostrom. Für das gesamte Schrotrauschen gilt das gleiche Prinzip. Es ist dabei ersichtlich, dass das Signal im Dunkeln durch den Dunkelstrom begrenzt wird. [21] Abbildung B-3: Flat-Field Rauschen eines logarithmischen Sensors [21] Abbildung B-3 zeigt das Rauschverhalten eines logarithmischen Sensors. Wie bereits in Abbildung B-2 dargestellt, ist eine wichtige Rauschkomponente das Gesamt-Schrotrauschen NSchrot. Zusätzlich fällt bei diesem Sensortyp das Quantisierungsrauschen ins Gewicht. Die Anhang B: Rauschen bei Bildsensoren 162 Summe aller Rauschquellen im logarithmischen Sensor lässt sich durch Formel (B-9) ange- ben. [21] nimmt an, dass das Fixed-Pattern Rauschen NFPD mit einem Digit dem Quantisie- rungsrauschen NQ entspricht. Damit kann diese Formel weiter vereinfacht werden. ²N2²N²N²N²NN QSchrotQSchrotFPD ⋅+=++= (B-9) Abbildung B-4: Flat-Field Rauschen eines linearen Bildsensors [21] Abbildung B-4 stellt zum Vergleich das Rauschen eines linearen Sensors dar. In diesem Fall ist das Quantisierungsrauschen konstant. Zusätzlich kommt das Reset-Rauschen hinzu, wel- ches über einen hohen Beleuchtungsbereich eine untere Grenze darstellt. Wie bereits in Kapi- tel 3 erläutert, verfügen lineare Sensoren über einen deutlich eingeschränkten Dynamikbe- reich im Vergleich zum HDRC-Sensor. Abbildung B-5: Signal-Rauschverhältnis verschiedener Bildsensortypen [21] Abschließend zeigt Abbildung B-5 einen Vergleich der Signal-Rauschabstände eines HDRC- Sensors und eines linearen Sensors. Beim HDRC-Sensor ist der Signal-Rauschabstand kon- stant und ermöglicht eine gute Datenerfassung. Im Dunkeln dagegen zählt der geringe Signal- Rauschabstand zu den limitierenden Faktoren. Wie bereits gezeigt, ist das Signal- Rauschverhältnis bei linearen Sensoren stark von der Beleuchtung abhängig, und nimmt bis Anhang B: Rauschen bei Bildsensoren 163 zur Sättigung zu. Zusätzlich zeigt die Abbildung einen Piecewise Linear Sensor [21], auf den hier nicht weiter eingegangen werden soll. Anhang C: Der Bildqualitätsindex 164 Anhang C Der Bildqualitätsindex Die Bewertung der Bildqualität ist ein wichtiger Gesichtspunkt bei der Analyse und beim Vergleich von verschiedenen Algorithmen in der Bildverarbeitung. Wang und Bovik [62] beschreiben, dass das menschliche Auge auf das Erkennen von Strukturen spezialisiert ist. Die traditionellen Bewertungskriterien für Bilder, wie z.B. Peak Signal-to-Noise Ratio (PSNR) oder der mittlere quadratische Fehler berücksichtigen diesen Sachverhalt jedoch nicht. Experimente von [62] und [61] zeigen, dass Bilder welchen den gleichen mittleren quadratischen Fehler aufweisen, vom Beobachter unterschiedlich bewertet werden. Die beste Beurteilung der Bildqualität kann das menschliche Auge selbst durchführen. Dies ist jedoch subjektiv und teuer. Aus diesem Grund wird eine Metrik benötigt, welche Bilder entsprechend dem visuellen Eindruck bewertet. Nach [62] gibt es drei Hauptanwendungsgebiete für einen allgemeinen Maßstab zur Bestim- mung der Bildqualität: o Zur Überwachung der Qualität von Videogeräten und Monitoren, welche die gemessene Bildqualität benutzen, um sich automatisch zu justieren. o Für die Bewertung und den Vergleich verschiedener Bildverarbeitungsalgorithmen. o Zur besseren Abstimmung der Parameter und Algorithmen innerhalb eines Bildverarbei- tungssystems. Die von [62] und [61] eingeführte Metrik beruht auf dem Erkennen struktureller Verzeich- nungen im Bild, da diese das menschliche Auge als erstes erkennt. Der Qualitätsindex Q be- rechnet sich nach [62] bzw. [61] wie folgt: ( )( )222y2x xy yx yx4Q ++ ⋅⋅⋅ = σσ σ mit ∑ = = N 1i ixN 1 x , ∑ = = N 1i iyN 1y ( )∑ = − − = N 1i 2 i 2 x xx1N 1 σ , ( )∑ = − − = N 1i 2 i 2 y yy1N 1 σ ( ) ( )∑ = −⋅− − = N 1i iixy yyxx1N 1 σ (C-1) Auf Grund dieser Definition hat der Qualitätsindex einen Wertebereich von [-1; 1], wobei der Wert 1 erreicht wird, wenn beide Bilder identisch sind. Der niedrigste Wert -1 tritt auf, falls für alle i = 1,2…, N gilt: ii xx2y −= . Der Qualitätsindex berücksichtigt drei Arten von Ver- zeichnungen: Verlust der Wechselbeziehung, Verzerrung der Helligkeit und Verzerrung be- züglich des Kontrastes. Der nachfolgende, umgeformte Qualitätsindex hebt diesen Zusam- menhang hervor. Der 1. Term überprüft dabei die Wechselbeziehung, der 2. die Helligkeit und der letzte Term den Kontrast beider Bilder [61] Anhang C: Der Bildqualitätsindex 165 2 y 2 x yx yx xy 2 ²y²x yx2Q σσ σσ σσ σ + ⋅⋅ ⋅ + ⋅⋅ ⋅ ⋅ = (C-2) Diese Formel wurde zusätzlich in das Simulationsprogramm integriert. Die Problematik beim Einsatz dieses Algorithmus im Bezug auf die FPN-Analyse ist, dass kein Referenzbild verfügbar ist, welches pixelweise mit dem korrigierten Bild verglichen werden kann. Der Einsatz ist deshalb nur bedingt möglich, z.B. wenn korrigierte Bilder, die auf dem gleichen Datensatz beruhen, miteinander verglichen werden. Da es jedoch keinen optimalen FPN-Algorithmus gibt, kann bei dem Vergleich kein optimales Bild berechnet werden. Anhang D: Literaturverzeichnis 166 Anhang D Literaturverzeichnis [1] Asenov, A. und Saini, S.: Polysilicon Gate Enhancement of the Random Dopant Induced Threshold Voltage Fluctuations in Sub-100 nm MOSFET’s with Ultrathin Gate Oxid, IEEE Transactions On Electronic Devices, Vol. 47, No. 4, April 2000 [2] Birbaumer, N. und Pauli, P.: Allgemeine Psychologie in Klinik und Forschung , Lehr- buch Vorklinik, http://lehrbuchvorklinik.de/downloads/d3.pdf, Deutscher Arzte-Verlag Deutscher Arzte-Verlag, April 2003 [3] Clemen C.: Grundlagen der Mikroelektronik, Vorlesungsskript WS 00/01, FH Augs- burg http://www.fh-augsburg.de/~clemen/ [4] Coubey, B. et al: An electronic Calibration Scheme for logarithmic CMOS Pixels, Oxford [5] Dileepan J. und Collins S.: Modeling, Calibration, and Correction of Nonlinear Illumination-Dependent Fixed Pattern Noise in Logarithmic CMOS Image Sensors, IEEE Transactions on Instrumentation and Measurement, Vol. 51, No. 5, 2002 [6] Dileepan, J.: Modelling and calibration of logarithmic CMOS image sensors, University of Oxford, 2002 [7] Dillmann R.: Robotik III – Sensoren in der Robotik, Universität Karlsruhe, http://wwwiaim.ira.uka.de/Teaching/VorlesungRobotikIII/Pdf- Files/2SW_InterneSensoren.pdf [8] FAES.de: Poisson-Verteilung, http://www.faes.de/Basis/Basis-Lexikon/Basis- Lexi- kon-Poissonverteilun/basis-lexikon-poissonverteilun.html [9] Ferwerda J. et al: A Model of Visual Adaption for Realistic Image Synthesis http://www.cs.ucf.edu/~sumant/publications/sig96.pdf [10] Fillfactory: About Correlated Double Sampling, www.fillfactory.com/htm/technology/htm/cds.htm [11] Fillfactory: Advanced developments in CMOS imaging, http://www.fillfactory.com/htm/technology/pdf/Dierickx.pdf [12] Fillfactory: Fundamental and technological limits on the performance of CMOS image sensors, http://www.imse.cnm.es/~linan/MESPI/Downloads/Tema3/SensorsLimits.pdf [13] Findlater, K.: A CMOS camera employing a double junction active pixel, University of Edinburgh, June 2001, http://www.see.ed.ac.uk/~vision/publications/kmfPHD.pdf?http://oldeee.see.ed.ac.uk/~ vision/publications/kmfPHD.pdf [14] Fischer, P.: Vorlesung VLSI-Design Wintersemester 2003/04 – Kapitel „Bauelemen- te“, Uni Mannheim, 2003 http://sus.ti.uni- mannheim.de/Lehre/VLSIVorlesung0304/VLSIDesign_Bauelemente.pdf [15] Focus Lexikon: Geometrisches Mittel http://medialine.focus.de/PM1D/PM1DB/PM1DBF/pm1dbf.htm?snr=2168 Anhang D: Literaturverzeichnis 167 [16] Gamal, A.: High Dynamic Range Image Sensors, Department of Electrical Engineering, Stanford University, ISSCC ’02 http://www- isl.stanford.edu/~abbas/group/papers_and_pub/isscc02_tutorial.pdf [17] Gamal, A.: Lecture Notes 6 – Fixed Pattern Noise, Department of Electrical Engineering, Stanford University [18] Hartmann, A.: Design und Charakterisierung von bispektralen Fotodioden in loga- rithmisch komprimierenden Sensorzellen, Diplomarbeit 1996, Universität Stuttgart [19] Hauschild, R.: Integrierte CMOS-Kamerasysteme für die zweidimensionale Bildsenso- rik, Uni Duisburg, Dissertation 1999 http://www.ub.uni-duisburg.de/diss/diss9922/ [20] He, X. et al: On-Chip Fixed Pattern Noise Canceling Logarithmic Response Imager Sensor, US Patent 6,355,965 B1 [21] Höfflinger, B.: High-Dynamic-Range (HDR) Vision – Microelectronics, Image Processing, Computer Graphics, Springer-Verlag [22] Hoffmann, T.: Quantitative instrumentelle Analytik (Elementanalytik), Kapitel Grund- lagen der Statistik für die Analytische Chemie, S. 141 ff., Universität Dortmund http://www.isas-dortmund.de/2003/e/staff/hoffmann/QIA-Teil8a.pdf [23] Hosticka, B.: CMOS Sensor System, Solid State Sensors and Actuators, 1997. TRANSDUCERS '97 Chicago., 1997, http://toshi.fujita3.iis.u- toyo.ac.jp/Optical_MEMS_Archives/Transducers%2097%20Chicago/PDF/3d1_01.pdf http://www.mathematik.uni-marburg.de/~lohoefer/pharma/kap-papier.pdf [24] HTWK Leipzig, Fachbereich Elektrotechnik , Praktikum Schaltungstechnik Versuch 5 ADU, http://www.fbeit.htwk-leipzig.de/~reinhold/prakt/adu_2002anleitg.pdf [25] Huppertz, J.: 2-D CMOS Bildsensorik mit integrierter Signalverarbeitung, Dissertation 2000, Universität Duisburg [26] IMS-interne Dokumente [27] Janesick, J.: Scientific Charge-Coupled Devices, SPIE, 2001 [28] Kavadias, S. et al: A logarithmic Response CMOS Image Sensor with On-Chip Calibration, IEEE Journal of solid-state circuits, Vol 35, No. 8, August 2000 [29] Krawczyk, G.: HDRC VGAx Video Camera Evaluation, Max-Plank-Institut für Infor- matik, Saarbrücken, September 2004 [30] Lai, L. et al: A novel logarithmic response CMOS Image Sensor with high output voltage swing and in-pixel Fixed-Patter Noise Reduction, IEEE Sensors Journal, Vol. 4, No. 1, February 2004 [31] Linder H. et al.: Taschenbuch der Elektrotechnik und Elektronik, 7.Auflage, Fach- buchverlag Leipzig, 1998, Lindner H. und andere [32] Loose M. et al.: A Self-Calibrating Single-Chip CMOS Camera with Logarithmic Response, IEEE Journal of Solid-State Circuits, Vol. 36, No. 4, April 2001 [33] Loose, M. et al: Self-Calibrating logarithmic CMOS image sensor with single chip camera functionality, IEEE CCD & AIS workshop, Japan, 1999 [34] Loose, M.: Self-Calibrating CMOS Image Sensor with Logarithmic Response, Dissertation, Universität Heidelberg, 1999 Anhang D: Literaturverzeichnis 168 [35] Lovett, S. J. et al: Optimizing MOS Transistor Mismatch, IEEE Journal Of Solid-State Circuits, Vol. 33, No. 1, Januar 1998 [36] Machul, O.: Nichtlineare Approximationsmethoden zur Reduzierung nichtidealer Sen- soreigenschaften in integrierten CMOS-Sensorsystemen, Dissertation Universität Duis- burg www.ub.uni-duisburg.de/diss/diss9913/inhalt.htm [37] Marston, N.: Solid-state imaging: a critique of the CMOS sensor, The University of Edinburgh, November 1998 http://www.see.ed.ac.uk/~vision/publications/marstonPHD.pdf?http://oldeee.see.ed.ac. uk/~vision/publications/marstonPHD.pdf [38] Mizuno T. et al: Experimental Study of Threshold Voltage Fluctation Due to Statistical Variation of Channel Dopant Number in MOSFET’s, IEEE Transactions On Electronic Devices, Vol. 41, No. 11, November 1994 [39] Mößmer, M. und Rohrbacher, B.: hema electronic GmbH: CMOS-Bildsensor- und DSP-Technolgie in intelligenten Hochleistungskameras, Photonik 2 / 2004 [40] Ni,Y. und Mataou, K.: A CMOS Log Image Sensor with on-chip FPN Compensation, France [41] Opti-kos – Enzyklopädie: Das Auge, http://www.opti-kos.de [42] Otim S. et al.: Modelling of High Dynamic Range Logarithmic CMOS Image Sensors, IMTC 2004 – Instrumentation and Measurement Technology Conference [43] photon focus: LOGLIN TM Technology, www.photonfocus.com/html/de/cmos/LogLin.php [44] Rechnen mit der Logarithmentafel 1, www.fonline.de/rs-ebs/algebra/alg32.htm [45] Robertson, M.et al: Dynamic Range Improvement through multiple Exposures, IEEE 1999 [46] Rößler, I. und Ungerer, A.: Kommentierte Formelsammlung der deskriptiven und in- duktiven Statistik für Wirtschaftswissenschaftler http://www.prof- roessler.de/Dateien/Statistik/formelsammlung.pdf [47] Santos C. und José E.: Optische Raumüberwachung, Dissertation, Uni Duisburg 2001 http://www.ub.uni-duisburg.de/diss/diss0119 [48] Schanz, M.: Eindimensionale CMOS Bildsensorik mit integrierter Signalverarbeitung, Dissertation, Universität Duisburg, 1999 [49] Schatten, A.: Statistik für Chemiker – Ein „Kochbuch“, 1999 www.schatten.info/info/statistik/statistik_fuer_chemiker.pdf [50] Schneider, V.: Fixed-Pattern Correction of HDR Image Sensors, Prime Conference 2005 [51] Schneider, V.: High-Dynamic-Range (HDR) Vision – Microelectronic, Image Processing, Computer Graphics, Chapter “Fixed-Pattern Correction of HDR Imagers”, Springer [52] Schrey, O.: Methoden zur Dynamikerweiterung in der zweidimensionalen CMOS- Bildsensorik, Dissertation 2001, Universität Duisburg [53] Söser, P.: Integrierte Schaltungen, Vorlesungsmanuskript, Technische Universität Graz, SS 2002 http://www.ife.tugraz.at/ 0: 169 [54] Stevanovic, N.: Integrierte CMOS-Bildsensorik für Hochgeschwindigkeitskinemato- graphie, Dissertation, Uni Duisburg 2001 http://www.ub.uni- duisburg.de/diss/diss0039/inhalt.htm [55] Suchaneck: Elektrische Messtechnik, TFH Berlin, 2003 http://www.tfh- berlin.de/~suchanek/Mt23_1pdf.PDF [56] Teuner, A.: CMOS Imaging for Automotive Systems: Applications and Requirements, Delphi, Mai 2002 [57] Tietze, U. und Schenk, Ch.: Halbleiterschaltungstechnik, 11. Auflage, Springer, 1999 [58] Tränkler H-R. et al: Entwicklungsschwerpunkte moderner Sensorik, 3. Fachtagung am 13./14. September 2000 YTONG, http://forschung.bauv.unibw- muenchen.de/berichte/2002/55lqml7xefzvzpg7swv36wkpeftg3r.pdf [59] unbekannt: CMOS-kompatible Photosensoren http://www.kawo1.rwth- aachen.de/~amarock/overbachphysik/CMOS.pdf [60] Wallrabe, A.: Nachsichttechnik: Infrarot-Sensorik: physikalische Grundlagen, Aufbau, Konstruktion und Anwendung von Wärmebildgeräten, Vieweg-Verlag, 2001 [61] Wang, Z und Bovik, A.: A Universal Image Quality Index, IEEE Signal Processing Letters, Vol. XX, March 2002 [62] Wang, Z. und Bovik, A.: Why is Image Quality Assessment so difficult? [63] Weiler, D.: Selbsttest und Fehlertoleranz mit zugelassener milder Degradation in in- tegrierten CMOS-Sensorsystemen, Dissertation 2001, Gesamthochschule Duisburg [64] Wikipedia: Weber-Fechner-Gesetz, http://de.wikipedia.org/wiki/Weber-Fechner- Gesetz [65] Winstel, G. und Weyrich, C.: Optoelektronik II, Springer Verlag, 1986 [66] Zhang, J.: Vorlesung: Angewandte Sensorik, Universität Hamburg, 2004, http://tech- www.informatik.uni-hamburg.de/lehre/ws2004/vorlesungen/ angewand- te_sensorik/vorlesung_02.pdf Index 170 Index A Adaptiver Algorithmus 81 Arithmetisches Mittel 49 Auge Dynamik 15 Sehschärfe 13 Snellen-Buchstaben 14 B Bildqualitätsindex 164 Bloomingeffekt 154 C CAS-Files 78 CCD-Bildsensoren Funktionsweise 151 Geschichte 151 CMOS-Bildsensoren 15 Aufbau 16 Dynamikerweiterung 18 linear vs logarithmisch 19 lineare Bildsensoren 17 LinLog Bildsensoren 19 Logarithmische Bildsensoren 18 D Datenreduktion 104 Deskriptive Statistik 49 Dyamikbereich 11 E Empfindlichkeit 59 Evaluationboard Aufbau 127 Exar_Spi 132 Spi-Controller 130 F Fixed-Pattern Rauschen Problematik 44 Ursachen 44 Flächensensor 16 Fotodiode 39 Diffusionsstrom 42 Dunkelstrom 40 Generationsstrom 43 Gesamtdunkelstrom 43 Oberflächenleckstrom 43 Tunneldunkelstrom 43 Fourier-Analyse 57 FPN-Korrektur 1-Parameter-Korrektur 92 1-Parameter-Methode 63 1-Punkt-Offset-Korrektur 61 2-Parameter-Korrektur 93 3-Parameter-Korrektur 93 Analog-Digitalkorrektur 146 analoge und digitale Verfahren 60 Diskussion über Verfahren 73 Dual-Slope-Korrektur 65 Messpunkte 80 Multipoint-Korrektur 64 Par3Lin 97 Vorkorrektur 144 FPN-Rauschen Darstellungsformen 55 Parametervariationen 46 Pixel- und spaltenabhängiges FPN 45 Qualitative Bewertung 58 G Gaußsche Glockenkurve 51 Grundgesamtheit 48 H HDRC-Bildsensor 23 3dB-Punkt 30 Anwendungsgebiete 24 Dynamikbereich 23 Frontend 26 grafische Rauschanalyse 95 grafische Rauschanalyse 160 mathematische Rauschanalyse 93 physikalisches Modell 29 Pixelzelle 27 Sensitivitätskurve 32 technische Daten 24 Histogramme 50, 55 K Korrigierte Daten 48 L Logarithmier-Transistor 34 Logarithmische Korrektur Messpunkte 80 Parameterberechnung 75, 84 Index 171 Soll-Kennlinie 85 Umkehrfunktion 87 Variationen 90 M Maskierung 86 MOS-Transistor 33 Drainstrom 34 Grundlagen 33 maximaler Drainstrom 36 schwache Inversion 34 Schwellspannung 35, 37, 38 Subthreshold Slope Faktor 36 N Normalverteilung 50 O OECF 28 OECF Aufnahme 76 P Par3Lin Algorithmus 102 Berechnung 133 Blockdiagramm 130 Datenreduktion 104 Ergebnisse 133 Get Data 132 Hardwarebedarf 130 LenFen 132 Modus Controller 131 Motivation 97 Par4Lin 97 Speicherorganisation 128 SRAM Controller 132 SRAM-Multiplexer 132 Vergleich 102, 106 vgl mit Par4Lin 103 Par3Lin-Temp 107 Blockdiagramm 137 Clk-DLL 137 div_bbmean 138 div_bbmean_delay 139 Evaluationboard 136 Get Data 138 Regression 108 Simulationsergebnisse 114 Speicherorganisation 136 SW-HW-Interaktion 142 Temp_Parameter 138 Vergleich 115 vgl Par4Lin-Temp 112 R Rauschquellen 1/f-Rauschen 158 Dunkelstromrauschen 159 Fotonenrauschen 158 grafische Analyse des HDRC-Bildsensors 95 kTC-Rauschen 158 mathematische Betrachtung HDRC-Sensor 93 Quantisierungsrauschen 159 Schrotrauschen 158 Thermisches Rauschen 157 zeit-variante 79 Regression Bestimmtheitsmaß 54 Lineare Regression 53 Quadratische Regression 53 Rohdaten 48 S Sensor Architektur 6 Begriff 3 Eigenschaften 4 Elementarsensor 3 integrierter Sensor 3 intelligenter Sensor 3 interne / externe Sensoren 4 Kalibrierung 8 Kompensation 8, 9 Nichtidealitäten 7 Störgrößen 9 Technologie 3 Sigma-Intervall 57 Signalrauschabstand 157 Simulationsprogramm 87 Standardabweichung 49, 56 Statistik des Bildsensors 48 Stichprobe 48 T Temperaturabhängigkeit der Parameter 107 V VGAx Bilddaten 126 Sensorsignale 125 W Weber-Fechner-Gesetz 12 Index 172 Z Zeilensensor 16