2D and 3D object measurement for control and quality assurance in the industry

by Claus Gramkow

IMM Ph.D. Thesis 71, 1999

For a copy of this paper, either

Summary:

The subject of this dissertation is object measurement in the industry by use of computer vision. In the first part of the dissertation, the project is defined in an industrial frame. The reader is introduced to Odense Steel Shipyard and its current level of automation. The presentation gives an impression of the potential of vision technology in shipbuilding.

The next chapter describes different important properties of industrial vision cameras. The presentation is based on practical experience obtained during the Ph.D. project.

The geometry that defines the link between the observed world and the projected image is the subject of the two next chapters. The first chapter gives a short introduction to projective algebra, which is extremely useful for modelling the image projection and the relation between more images of the same object viewed from different positions. It provides a basis for understanding many of the results later in the dissertation. In the second chapter a variety of different camera models are described. The relation between different models is explained and a guide is given to the interpretation of the model parameters.

The following chapter deals with the problem of camera calibration. Different issues related to residual analysis are discussed and a calibration example is shown. The presentation is based on a software program that has been developed during the project. It is shown that the used cameras can be calibrated down to 1/20 pixel.

An accurate description of the geometry is only relevant if features can be detected accurately in the images. This is the subject of the next chapter, where reference mark detection and straight edge detection are treated in two separate sections. The detection of reference marks is based on a parametric model, and it is shown that marks in synthetic images can be detected with an accuracy of 1/100 pixel. Two new methods for straight edge detection are presented. They aim at using all the image information in a global optimization. The paper "From Hough Transform to Radon Transform using Interpolation Kernels", which is included in a later chapter, is introduced. The new methods are compared with more conventional approaches on a number of synthetic images. It is shown that local edge detection by Gaussian convolution with a subsequent regression through the edge pixels is superior to the other methods in accuracy as well as in speed.

The next chapter introduces the paper "On Averaging Rotations" that was presented at the 11'th Scandinavian Conference on Image Analysis, SCIA'99, in Greenland. The paper makes a theoretical comparison of two normally used linear averages to a recently proposed method that considers the structure of the non-linear manifold of rotations. The conclusion is that the behaviour of the three different methods is very similar.

The following four chapters describe the practical results of the project. The first chapter gives a short introduction to a report entitled "Reconstruction and Matching of OSS Mock-Up". This report describes a preliminary attempt to apply a method of Euclidean reconstruction from a sequence of images on a ship block. The other three chapters describe vision installations that have been made at Odense Steel Shipyard. The first installation uses vision for check-in and quality control on a plasma cutting station. The second installation was designed for check-in on the quay. Finally, the third installation does check-in and quality control on a laser station. It is shown that measurements can be made with an accuracy of 1 mm at a distance of 10 m under favourable conditions. When the camera is only 1-2 m from the object the accuracy is better than 1/3 mm. It is also shown that it is very difficult to obtain ideal conditions and that the vision measurements are very sensitive in the large-scale installations. Only the installation on the laser cutter is currently used in production.

Finally, a chapter gives some concluding remarks about the results of the project.

Resumé (in Danish):

Denne afhandling omhandler brugen af computer vision til objektopmåling i industrien.

Den første del af afhandlingen placerer projektet i en industriel ramme. Læseren bliver introduceret til Odense Staalskibsværft og værftets nuværende automationsniveau. Fremstillingen giver et indtryk af potentialet for visionteknologi i skibsbygning.

Det følgende kapitel beskriver forskellige vigtige egenskaber ved industrielle visionkameraer. Beskrivelsen er baseret på praktiske erfaringer opnået i løbet af projektet.

Geometrien, der definerer båndet mellem den betragtede verden og det projicerede billede, bliver beskrevet i de to følgende kapitler. Det første kapitel giver en kort introduktion til projektiv geometri, som er et utroligt nyttigt værktøj til modellering af den perspektiviske projektion og de geometriske bånd, der eksisterer imellem flere billeder af det samme objekt betragtet fra forskellige synsvinkler. Dette afsnit giver det matematiske grundlag for mange af resultaterne senere i afhandlingen. Det andet kapitel præsenterer en række forskellige kameramodeller. Forbindelsen mellem disse modeller bliver forklaret, og der gennemgås en detaljeret fortolkning af modelparametrene.

Det følgende kapitel omhandler kamerakalibrering. Forskellige forhold omkring residualanalyse bliver diskuteret, og der gennemgås et kalibreringseksempel. Fremstillingen er baseret på et kalibreringsprogram, som er udviklet i forbindelse med projektet. Det bliver vist, at de anvendte kameraer kan blive kalibreret ned til 1/20 pixel.

En præcis beskrivelse af kamerageometrien er kun anvendelig, hvis objekter kan blive detekteret i billederne med høj nøjagtighed. Dette er netop emnet i det følgende kapitel, hvor referencemærkedetektion og detektion af retlinede kanter bliver beskrevet i to separate afsnit. Referencemærkedetektionen er baseret på en parametrisk model af mærket i billedet, og det bliver vist at et mærke i et syntetisk billede kan lokaliseres med en nøjagtighed omkring 1/100 pixel. To nye metoder til detektion af retlinede kanter bliver beskrevet. Metoderne sigter mod at anvende al tilgængelig billedinformation samtidigt i en global optimering. Artiklen "From Hough Transform to Radon Transform using Interpolation Kernels", som er inkluderet bagest i afhandlingen, bliver introduceret. De to nye metoder bliver sammenlignet med nogle mere almindelige algoritmer på en række syntetiske billeder. Det bliver vist, at lokal kantdetektion med Gaussisk foldning og en efterfølgende regression igennem kantpixels er de andre metoder overlegen med hensyn til såvel nøjagtighed som hastighed.

Det næste kapitel giver en introduktion til artiklen "On Averaging Rotations", som blev præsenteret på den ellevte Scandinavian Conference on Image Analysis, SCIA'99, på Grønland. Artiklen sammenligner to almindeligt anvendte lineære gennemsnit af rotationer med en nyligt publiceret metode, som tager hensyn til strukturen af den ikke-lineære manifold, der beskriver de tilladte rotationer. Konklusionen er, at de tre metoder producerer meget ens resultater.

De følgende fire kapitler beskriver de praktiske resultater som er opnået i projektforløbet. Det første kapitel giver en kort introduktion til en rapport der bærer titlen "Reconstruction and Matching of OSS Mock-Up". Denne rapport beskriver et indledende forsøg på et fremstille en Euklidisk rekonstruktion af en skibsblok ud fra en sekvens af billeder. De andre tre kapitler beskriver visionsystemer som er installeret på Odense Staalskibsværft. Den første installation benytter vision til check-in og kvalitetskontrol på en plasmaskærestation. Den anden installation opmåler stålpladerne, der ankommer til værftet, med det formål at lave automatisk opslag i en database og efterfølgende opmærkning. Den sidste installation bliver benyttet til check-in og kvalitetskontrol på en laserskærestation. Det bliver vist, at opmålinger kan gennemføres med en nøjagtighed på 1 mm over en afstand på 10 m under optimale forhold. Når kameraet befinder sig 1-2 m fra objektet kan der opnås en nøjagtighed på under 1/3 mm. Resultaterne viser også at det er meget svært at opnå tilstrækkeligt gode måleforhold og at visionopmålingsnøjagtigheden er meget følsom ved installationer i stor skala. Det er kun installationen på laserskærestationen der på nuværende tidspunkt benyttes i produktionen.

Afhandlingen bliver rundet af med nogle konkluderende bemærkninger om de opnåede resultater.


Last update 6-6-2000 by fkc
IMM HomePage