DE3428983A1

DE3428983A1 - Method and device for determining the position of objects in three dimensions

Info

Publication number: DE3428983A1
Application number: DE19843428983
Authority: DE
Inventors: Giovanni Rom Damaggio
Original assignee: SINCON SpA
Current assignee: SINCON SpA
Priority date: 1983-08-31
Filing date: 1984-08-07
Publication date: 1985-03-21
Also published as: BR8403814A; IT1168640B; IT8348906A0

Abstract

The present invention relates to a method and the corresponding device for determining the position of an object, firstly on a surface and then in three dimensions, by detecting images by means of normal television cameras with maximum reduction of the data which are to be used in processing. The relevant method and the device are particularly intended for all those applications in which it is necessary to determine the position or the arrangement of an object, it being the case, for example, to proceed on the surface or in three dimensions along a processing row in order to be able precisely to align and control subsequent devices which are intended for work on the object. <IMAGE>

Description

Beschreibungdescription

Verfahren und Gerät zum Feststellen der Position von Gegenständen im Raum.Method and device for determining the position of objects in the room.

Allgemein ist die betreffende Erfindung für alle jene Anwendungen bestimmt, bei denen ein Erfassen der Positionskoordinaten eines Gegenstandes oder von Teilen desselben für jede eventuellen spätere Notwendigkeit erforderlich ist.In general, the subject invention is for all those uses determined in which a detection of the position coordinates of an object or of parts of the same is required for any eventual subsequent need.

Eine unmittelbare Anwendung der Erfindung kann sich zum Beispiel auf die heutige Verbreitung der Roboter technik bei Arbeiten wie Montagen, Bogenschweissen, Fernverarbeitung mit unabhängigen Kapazitäten usw. beziehen. Eines der grössten Probleme, die bei der Entwicklung der Robotertechnik aufgetreten sind, besteht hauptsächlich in der anfänglichen Ungewissheit in Bezug auf die zufälligen Komponenten, weiche die Beständigkeit und Stabilität des Arbeitsbereiches beeinflussen können, eine Ungewissheit, die nicht ohne Hilfe von umfangreichen, komplizierten und teuren Sensorensystemen überwunden werden kann. Ein weiteres Problem, das erhebliche Anstrengungen in der Forschung erfordert, ist das der Verwirklichung von Sichtsystemen in zwei oder drei Dimensionen, geeignet für die inzwischen perfektionierten Anwendungen von Automationen, für die Betriebsbefehle notwendig sind, welche diese innerhaib einer Realzeit erreichen müssen, um kontinuierlich die vorgesehenen Arbeiten durchzuführen.A direct application of the invention can be, for example the current spread of robot technology in work such as assembly, arc welding, Obtain remote processing with independent capacities, etc. One of the biggest Problems that have arisen in the development of robotics mainly exist in the initial uncertainty about the random components, soft can affect the consistency and stability of the work area, a Uncertainty that cannot be achieved without the help of extensive, complicated and expensive sensor systems can be overcome. Another problem that significant efforts are made in the Research requires is that of realizing vision systems in two or three Dimensions, suitable for the now perfected applications of automation, for the operating commands that reach them within real time must in order to continuously carry out the planned work.

Heute ist man zur Herstellung von zwei-dreidimensionalen Sichtsystemen gelangt, die jedoch umfangreicher Verarbeitungsgeräte bedürfen, welche hohe Kosten mit sich bringen und nicht immer in der Lage sind, optimale Ergebnisse zu liefern, wenn nicht mit aussergewöhnlich langen Verarbeitungszeiten, was aber nicht den betrieblichen Anforderungen entspricht.Today one is for the production of two-three-dimensional vision systems which, however, require extensive processing equipment, which is high in cost and are not always able to get optimal results deliver, if not with exceptionally long processing times, which is not the operational one Requirements.

Zweck des betreffenden Verfahrens und des Gerätes ist der, ein Identifikationssystem der Position von Gegenständen zu verwirklichen, sei es zwei- wie auch dreidimensional, sei es auf der Fläche wie im Raum, und zwar durch Erfassen von Bildern durch gewöhnliche Fernsehkameras und durch ein binokular-stereoskopisches Sichtungsprinzip. Weiterer Zweck ist ausserdem der, ein Verarbeitungsverfahren der von den Fernsehkameras kommenden Bildern zu liefern, das die höchstmögliche Reduzierung der zu verwaltenden Daten erlaubt, wobei in erster Annäherung die Voraussetzungen der grössten Möglichkeit festgestellt werden, um eine schnellere Verarbeitung und eine Berechnung innerhalb der Realzeit zu ermöglichen, und zwar mit einer Genauigkeit, die den integralen Verarbeitungssystem in nichts nachsteht.The purpose of the relevant method and device is to be an identification system to realize the position of objects, be it two- or three-dimensional, be it on the surface or in space, namely by capturing images through ordinary ones TV cameras and a binocular-stereoscopic viewing principle. Another Another purpose is, a processing method of the coming from the television cameras To deliver images that reduce the amount of data to be managed as much as possible allowed, with the prerequisites of the greatest possibility as a first approximation be found to have faster processing and a computation within the real time, with an accuracy that the integral Processing system is in no way inferior.

Diese und noch weitere Zwecke werden erreicht durch das betreffende Verfahren und Gerät nach der vorliegenden Erfindung, das allgemein gesehen folgende Betriebsphasen umfasst: a) Erfassen von wenigstens einem durch ein Analogsignal von wenigstens einer Fernsehkamera übertragenen Bildes und Umwandlung des genannten Analogsignals in ein Digitalsignal, bestehend aus einer Binärmatrize, deren Mikroelemente ebenso vielen Bildpunkten entsprechen, und deren Wert "Null" oder "Eins" entsprechend der Überwindung oder nicht eines bestimmten Schwellwertes bestimmt wird; b) Umwandlung der genannten Binärmatrize in eine reduzierte Matrize, die aus einer Reihe von Daten oder Makroelementen besteht, jeweils bestimmt durch ein entsprechendes Verhältnis zwischen der Zahl und dem logischen Wert, der von den in dem berücksichtigten Makroelement enthaltenen Mikroelementen ausgedrückt wird; c) Identifizierung und Eliminierung von Daten oder Makroelementen der genannten reduzierten Matrize, die Bildbereichen entsprechen, welche in der anschliessenden Verarbeitung unbedeutend sind, und zwar auf Grund bestimmter Spezifikationen und Bestimmungen der Positionskoordinaten des gesuchten Gegenstandes.These and other purposes are achieved through the relevant The method and apparatus of the present invention generally viewed as follows Operating phases include: a) Detecting at least one by an analog signal image transmitted by at least one television camera and conversion of the aforesaid Analog signal into a digital signal, consisting of a binary matrix, its micro-elements correspond to as many pixels, and their value "zero" or "one" accordingly of overcoming or not one determined threshold value will; b) Conversion of the mentioned binary matrix into a reduced matrix, which consists of consists of a series of data or macro elements, each determined by a corresponding one Relationship between the number and the logical value of those considered in the Micro-elements contained in macro-element is expressed; c) identification and Elimination of data or macro elements of the said reduced matrix, the Correspond to image areas which are insignificant in the subsequent processing on the basis of certain specifications and provisions of the position coordinates of the searched item.

Praktisch enthält das daraus folgernde Gerät wie folgt: - Wenigstens eine Fernsehkamera TLC, welche das Bild eines Gegenstandes A durch ein Analogsignal 1 übermittelt; - eine Schwelleneinheit S, dazu bestimmt, das genannte Analogsignal 1 in ein Digitalsignal 2 mit logischem Wert "Null'§ oder "Eins" umzuwandeln, je nachdem, ob das genannte Signal unterhalb oder oberhalb eines Signals 4 liegt, welches den programmierten Schwellenwert beschreibt, der das Bild der Fernsehkamera in nur weiss und schwarz teilt und dasselbe in eine Binärmatrize umwandelt, von der ein jedes Mikroelement einem Elementarpunkt des Bildes entspricht; - eine Reduziereinheit RID, welche die genannte Binärmatrize in eine reduzierte Matrize umwandelt, in der ein jedes Ma- kroelement eine Definition darstellt, deren Wert im Verhältnis zu dem Wert der Zahlen "Eins' oder schwarz steht, die in einer bestimmten Anzahl v4fl;-Mikroelementen der Binärmatrize vorhanden sind und zusammen das genannte Makroelement bilden; - eine Filtereinheit F, dazu bestimmt2'durchaufeinanderfolgende Iterationen die Daten der genannten reduzierten Matrize zu erfassen, die bestimmten Werten entsprechen, welche durch Positionierung auf der Bildfläche oder durch Anlehnung an andere den gespeicherten Grenzwerten entsprechende Daten in den anschliessenden Verarbeitungen sich als unbedeutend erweisen.In practice, the device inferring therefrom contains as follows: - At least a television camera TLC which captures the image of an object A by an analog signal 1 transmitted; a threshold unit S dedicated to the said analog signal 1 to convert into a digital signal 2 with a logical value "zero" or "one", depending after whether said signal is below or above a signal 4, which the programmed threshold that describes the image of the television camera in only divides white and black and converts the same into a binary matrix, of which one each micro-element corresponds to an elementary point of the image; - a reducing unit RID, which converts the said binary matrix into a reduced matrix in which every time kroelement represents a definition whose value in proportion to the value of the numbers 'one' or black that stands in a given Number of v4fl; micro-elements of the binary matrix are present and together the said Form macro element; - a filter unit F, intended 2 'consecutive Iterations to capture the data of the said reduced matrix that particular Correspond to values which are positioned on the screen or based on them to other data corresponding to the stored limit values in the subsequent Processings turn out to be insignificant.

Die so konzipierte Erfindung ermöglicht natürlich gleichzeitig eine drastische Reduzierung der zu verwaltenden Daten in der Bestimmung der Koordinaten des zu suchenden Gegenstandes oder der hervorstechenden Punkte desselben während der an diesem durchzuführenden automatischen Vorgänge, sowie die maximale Zuverlässigkeit in Bezug auf die Genauigkeit der gesuchten Koordinaten.The invention thus conceived of course enables one at the same time drastic reduction of the data to be managed in the determination of the coordinates of the object to be searched for or of the salient points of the same during the automatic processes to be carried out on this, as well as the maximum reliability in terms of the accuracy of the coordinates searched for.

Weitere Eigenschaften und Vorteile der Erfindung gehen deutlicher aus der nachstehenden detaillierten Beschreibung eines vorgezogenen, jedoch nicht ausschliesslichen Verwirklichungsbeispiels hervor, und zwar unter Bezugnahme auf die beiliegenden Zeichnungen, von denen - Abb. 1 ein allgemeines Funktionsschema des betreffenden Gerätes für die binokular-stereoskopische Sichtung eines Gegenstandes zeigt; - Abb. 2 zeigt ein Funktionsschema der Einheit S aus der Abbildung 1; - Abb. 3 zeigt ein mögliches Beispiel eines reduzierten Matrize; - Abb. 4 zeigt ein Funktionsschema der Einheit RID aus der Abbildung 1; - Abb. 5 zeigt in zwei Tabellen, wie sich möglicherweise ein hervorstechender Punkt auf der reduzierten Matrize wie in Abbildung 3 zeigt; - Abb. 6 zeigt ein Funktionsschema der Einheit AT aus der Abbildung 1.Further properties and advantages of the invention become clearer from the following detailed description of a preferred one, but not exclusive implementation example, with reference to the accompanying drawings, of which - Fig. 1 is a general functional diagram of the device concerned for binocular-stereoscopic viewing of a Subject shows; FIG. 2 shows a functional diagram of the unit S from FIG. 1; - Fig. 3 shows a possible example of a reduced die; - Fig. 4 shows a functional diagram the RID unit from Figure 1; - Fig. 5 shows in two tables how possibly shows a salient point on the reduced die as in Figure 3; - Fig. 6 shows a functional diagram of the AT unit from Fig. 1.

Das allgemeine Funktionsprinzip des betreffenden Gerätes sieht eine erste Verarbeitungsphase der Bilder von nur einer Fernsehkamera für das bidimensionale Aufsuchen oder von zwei Fernsehkameras für das dreidimensionale Aufsuchen vor, um eine Anzahl von Daten zu erhalten, die in der anschliessenden und entsprechend reduzierten Berechnung zu verwalten sind, sowie eine zweite Phase, in der, während die Position der Fernsehkamera (oder der Fernsehkameras) bekannt ist, es möglich ist, die Position des Gegenstandes flächenmässig oder durch das binokular-stereoskopische Sichtungsprinzip die Positionskoordinaten des Gegenstandes im Raum zu erfassen.The general principle of operation of the device in question sees a first processing phase of the images from only one television camera for the two-dimensional Prospecting or by two television cameras for three-dimensional prospecting in order to to receive a number of dates that are subsequently reduced and correspondingly Calculation are to be managed, as well as a second phase in which while the position The television camera (or television cameras) knows it is possible to determine the position of the object in terms of area or through the binocular-stereoscopic sighting principle to capture the position coordinates of the object in space.

Natürlich muss der gesuchte Gegenstand in seiner Form und in seinen Abmessungen sowie in den möglichen Positionen, die er einnehmen kann, vorher bekannt sein, und es ist bei Gegenständen von besonderem strukturellen Umfang vorteilhafterweise vorzuziehen, die Suche und die Erkennung und folglich die Bestimmung der Position auf besondere Punkte auszurichten, die den Gegenstand und seine Anordnung kennzeichnen.Of course, the object you are looking for must be in its shape and in its Dimensions as well as in the possible positions that he take can be known in advance, and it is particularly structural in the case of objects Scope advantageously preferable to search and detection and consequently the determination of the position to focus on particular points that make up the subject and mark its arrangement.

In der nachstehenden Beschreibung der Erfindung werden diese besonderen Punkte von nun an als hervorstechende Punkte bezeichnet. Letztere müssen wenigstens drei sein. Eine grössere Zahl von hervorstechenden Punkten als drei ermöglicht es natürlich, Fehler beim Erfassen von Bildern oder Ungenauigkeiten bei der Berechnung auszugleichen.In the following description of the invention, these will become particular Points from now on referred to as salient points. The latter must at least be three. A greater number of salient points than three makes it possible of course, errors in capturing images or inaccuracies in the calculation balance.

Um die nachstehende Beschreibung detaillierter zu gestalten, wird der zu suchende Gegenstand angenommen und schematisch mit A (Abb. 1) bezeichnet: Eine Nabe, die dazu bestimmt ist, das Rad eines Fahrzeugs zu tragen, bei der als hervorstechende Punkte die vier Bohrungen angenommen werden, die an den Spitzen eines Quadrates angeordnet und dazu bestimmt sind, die Befestigungsbolzen des Rades aufzunehmen.In order to make the following description more detailed, the object to be searched for is accepted and designated schematically with A (Fig. 1): A hub designed to support the wheel of a vehicle in which as salient points are assumed to be the four holes that are at the tips a square and are intended to be the fastening bolts of the wheel to record.

Nimmt man nun Bezug auf die Abbildung 1, so wird mit TLC eine gewöhnliche Fernsehkamera bezeichnet, die in einem entsprechenden Abstand von dem Gegenstand A positioniert ist und dazu dient, ein Bild desselben über ein Analogsignal 1 an eine anschliessende Einheit S zu übermitteln, die der Einfachheit halber als "Schwelleneinheit" bezeichnet wird.Referring now to Figure 1, TLC becomes an ordinary one Television camera denotes that at a corresponding distance from the object A is positioned and serves to display an image of the same via an analog signal 1 to transmit a subsequent unit S, which for the sake of simplicity is called a "threshold unit" referred to as.

Die genannte Einheit S (Abb. 2) enthält einen Eingangsverstär- ker AI, der im Eingang das genannte Analogsignal 1 empfängt und im Ausgang ein Analogsignal 3 liefert, das an einen Komparatorkreis CM adressiert ist, der im Eingang ebenfalls ein Analogsignal 4 empfängt, welches eine bestimmte "Schwelle" darstellt.The mentioned unit S (Fig. 2) contains an input amplifier ker AI, which receives the said analog signal 1 in the input and an analog signal in the output 3 supplies, which is addressed to a comparator circuit CM, which is also in the input receives an analog signal 4 which represents a certain "threshold".

Der genannte Kreis CM liefert im Ausgang ein Digitalsignal 2, das nach logischen Werten getrennt ist, das heisst einer unterhalb und einer oberhalb der Schwelle, beziehungsweise von zwei Werten "Eins" und "Null".Said circle CM supplies a digital signal 2 at the output, which is separated according to logical values, i.e. one below and one above the threshold, or two values "one" and "zero".

Das Analogsignal 4 kommt von einem digital-analogen Wandlerkreis CDA, der im Eingang ein Digitalsignal P empfängt, das dem genannten Schwellenwert entspricht, der von einer anschliessenden und mit RID bezeichneten Einheit geliefert wird.The analog signal 4 comes from a digital-to-analog converter circuit CDA, which receives a digital signal P at the input, which corresponds to the mentioned threshold value, which is delivered by a subsequent unit labeled RID.

Die Digitalsignale 2 im Ausgang aus der Schwelleneinheit S stellen aufeinanderfolgend in ihrer Gesamtheit ein "Binärbild" des aus der Fernsehkamera TLC kommenden Bildes dar.Put the digital signals 2 in the output from the threshold unit S. successively in their entirety a "binary image" from the television camera TLC coming image.

Mit anderen Worten, es wird eine Binärmatrize hergestellt, deren einzelne aus Null- und Eins-Werten bestehende Elemente ebenso viele Bildpunkte, getrennt in die beiden Ebenen weiss und schwarz, im Verhältnis zu dem genannten Schwellenwert darstellen, und zwar unter Eliminierung aller dazwischenliegenden Grautöne. Rein als Beispiel muss gesagt werden, dass diese Binärmatrize, die dem Bild der Fernsehkamera entspricht, normalerweise aus etwa 400x500 Mikroelementen gebildet wird, eine wirklich bedeutende Zahl, um direkt als Basis für die anschliessenden Berechnungen benutzt zu werden.In other words, a binary matrix is produced, the individual Elements consisting of zero and one values as many pixels, separately in the two levels white and black, in relation to the mentioned threshold value with the elimination of all gray tones in between. Pure as an example it must be said that this binary matrix, which is the image of the television camera is usually formed from about 400x500 micro-elements, one really significant number to be used directly as a basis for the subsequent calculations to become.

Das genannte Digitalsignal 2 wird daher an die Reduziereinheit RID adressiert, welche die Umwandlung der genannten Binärmatrize in eine reduzierte Matrize vornimmt (zum Beispiel von ca. 24x30 Makroelementen), die aus einer Reihe von Daten besteht, die jeweils entsprechend dem Wert der Digitalsignale 2 zugeordnet sind, welche sich auf eine bestimmte und festgelegte Zahl von Mikroelementen der Binärmatrize beziehen beziehungsweise auf einen bestimmten Bildbereich.Said digital signal 2 is therefore sent to the reduction unit RID addressed, which converts the said binary matrix into a reduced one Die makes (for example of approx. 24x30 macro elements) from a row consists of data each assigned according to the value of the digital signals 2 are which refer to a specific and fixed number of microelements of the Relate binary matrix or to a specific image area.

Die vorgezogene Zuordnung ist jene, die vorsieht, dass Daten (bzw. ein Makroelement) der reduzierten Matrize die Zahl darstellt, so viele Male in dem entsprechenden Bildbereich das Signal oberhalb der Schwelle gelegen hat, beziehungsweise die Zahl der "Eins"-Werte, die von der Binärmatrize in diesen Bildbereich gebracht wurden. Man erhält somit eine reduzierte Matrize, die aus einer Reihe von Daten oder Zahlen besteht, welche die Menge von schwarz oder Eins-Werten ausdrücken, die in dem berücksichtigten Bereich vorhanden sind. Den hohen Zahlen entsprechen also Bildbereiche mit einer höheren Schwarzintensität und umgekehrt.The preferred assignment is that which provides that data (resp. a macro element) of the reduced matrix represents the number as many times in that corresponding image area the signal has been above the threshold, or the number of "one" values brought into this image area by the binary matrix became. One thus obtains a reduced matrix made up of a series of data or numbers that express the set of black or one values that are available in the considered area. So correspond to the high numbers Image areas with a higher black intensity and vice versa.

Praktisch entspricht die reduzierte Matrize einer "unscharfen" Darstellung des Originalbildes, was folgende Vorteile bietet: - Die Menge der mit der reduzierten Matrize zu verarbeitenden Daten beträgt etwa 40 der Daten, die mit der internen Matrize verarbeitet werden müssten; - kleine Ungenauigkeiten oder zufällige Fehler im Originalbild werden beseitigt.In practice, the reduced matrix corresponds to a "fuzzy" display of the original image, which has the following advantages: - The amount of the reduced Data to be processed is about 40 of the data with the internal matrix Die would have to be processed; - small inaccuracies or random errors in the original image are eliminated.

Ein Beispiel der so erhaltenen reduzierten Matrize ist in der Abbildung 3 dargestellt.An example of the reduced die thus obtained is shown in the figure 3 shown.

Natürlich ist es notwendig, dass die in dem Bild gesuchten Gegenstände grössere Abmessungen haben als die der Bildbereiche, die den Daten der reduzierten Matrize entsprechen, was aber kein Problem ist, da dies auch von dem Abstand abhängt, mit dem jede Fernsehkamera von dem Gegenstand angeordnet ist.Of course, it is necessary that the objects you are looking for in the picture have larger dimensions than those of the image areas, which the data of the reduced Corresponding to the die, but this is not a problem, as this also depends on the distance, with which each television camera of the object is arranged.

Die genannte Reduziereinheit RID hat die Aufgabe, die genannte reduzierte Matrize durch Teilung der Binärmatrize in eine bestimmte Anzahl von Spalten und Zeilen herzustellen (in dem genannten Beispiel sind es 24 Spalten und 30 Zeilen), indem an den entsprechenden Knoten Bildbereiche festgelegt werden, dargestellt von der Binärmatrize, die aus einer gewissen Anzahl von Mikroelementen bestehen, wie in dem betreffenden Beispiel 16x16. Mit anderen Worten wird die Einheit RID programmiert, um eine Teilung der Binärmatrize in vertikale Bahnen (Spalten) und horizontale Bahnen (Zeilen) vorzunehmen, die in dem erwähnten Beispiel die geliche Dimension von 16 Mikroelementen haben.The aforementioned reducing unit RID has the task of reducing the aforementioned Matrix by dividing the binary matrix into a certain number of columns and Create rows (in the example mentioned there are 24 columns and 30 rows), by specifying image areas at the corresponding nodes, represented by the binary matrix, which consist of a certain number of micro-elements, such as in the example in question 16x16. In other words, the unit RID is programmed, a division of the binary matrix into vertical lines (columns) and horizontal lines (Lines) which in the example mentioned have the same dimension of 16 Have microelements.

Die Aufgabe der Einheit RID ist es also, die Reihenfolge nach dem Abtasten der Fernsehkamera zu berücksichtigen und folglich der von dem Signal 2 getragenen Binärmatrize, sowie jeden von den genannten Spalten und Zeilen gebildeten Knoten, beziehungsweise jedes aus 16x16 Mikroelementen gebildetes Makroelement der Binärmatrize und diese Mikroelemente in neue Funktionsdaten des Makroelementes selbst umzuwandeln.The task of the RID unit is therefore to determine the sequence according to the To take into account the scanning of the television camera and, consequently, that of the signal 2 supported binary matrix, as well as each of the columns and lines mentioned Node, or each macro-element of the binary matrix formed from 16x16 micro-elements and to convert these micro-elements into new functional data of the macro-element itself.

Die genannte Reduziereinheit RID (Abb. 4) besteht aus einem Zeilenzählwerk COL, das im Eingang direkt von der Fernsehkamera TLC ein vertikales Gleichlaufsignal SV empfängt und die Spalte der reduzierten Matrize, die sich in diesem Augenblick bildet, bestimmt.The mentioned reducing unit RID (Fig. 4) consists of a line counter COL, which is a vertical synchronous signal in the input directly from the TLC television camera SV receives and the column of the reduced die that is at that moment forms, definitely.

Das genannte Zählwerk COL überträgt durch ein Signal X1 die Adresse der berücksichtigten Spalte an ein Zählwerk RIG. In Wirklichkeit überträgt das Zählwerk C0L die Zahl der berücksichtigten Spalte multipliziert mit der programmierten Dimension des Makroelementes bzw. der Daten, die in der sich bildenden reduzierten Matrize einen Bereich der Binärmatrize, das heisst des Bildes darstellen soll.Said counter COL transmits the address by means of a signal X1 the considered column to a register RIG. In reality the counter is transmitting C0L the number of the considered column multiplied by the programmed dimension of the macro element or the data in the reduced matrix that is being formed an area of the binary matrix, which is to represent the image.

Die von dem Signal X1 getragene Adresse besteht also aus der Zahl der berücksichtigten Spalte multipliziert mit 16, was der Dimension einer jeden Spalte bzw. eines jeden Makroelementes entspricht.The address carried by the signal X1 thus consists of the number the considered column multiplied by 16, which is the dimension of each Column or of each macro element.

Das genannte Zählwerk RIG, das im Eingang von der Fernsehkamera ein Gleichlaufsignal SE des Videoelementes empfängt, zählt beginnend bei der von X1 getragenen Adresse auf der horizontalen Zeile der Binärmatrize zurück, um festzustellen, wann beim Abtasten die von dem Zählwerk COL bestimmte Spalte erreicht wird. Ist das Zählen beendet, überträgt das Zählwerk RIG ein Signal X2 an ein AND, welches dem Durchlauf des Digitalsignals 2 zustimmt, sei es in Bezug auf das Signal X2 wie auch in Bezug auf ein anschliessendes Signal X5 im Ausgang aus einer Einheit CD.The called counter RIG, which is in the entrance from the television camera Receives synchronous signal SE of the video element, counting starting with that of X1 carried address back on the horizontal line of the binary matrix to determine when the column determined by the counter COL is reached during scanning. is finished counting, broadcast that Counter RIG a signal X2 an AND, which agrees to the passage of the digital signal 2, be it with respect to the signal X2 as well as in relation to a subsequent signal X5 in the output one unit CD.

Die genannte Einheit CD, durch das Signal SE selbst in Gleichlauf gebracht, sendet das genannte Signal X5 aus, nachdem sie durch das gleiche Signal X2, das sie ebenfalls empfängt, die Mikroelemente der Binärmatrize gezählt hat, die zum Abschnitt der horizontalen Zeile der berücksichtigten Spalte gehören (wieder 16 Mikroelemente), und die durch das Digitalsignal 2 an AND übergehen.Said unit CD is synchronized by the signal SE itself brought out the said signal X5 after being through the same signal X2, which it also receives, has counted the micro-elements of the binary matrix, which belong to the section of the horizontal row of the column considered (again 16 microelements), and which are transferred to AND by digital signal 2.

Die genannte Einheit AND sendet ein Digitalsignal 5 aus, das den Teil des Signals 2 enthält, dessen Durchlauf an ein Zählwerk CN zugestimmt wurde, in dem betreffenden Beispiel dazu bestimmt, schwarz bzw. die "Eins"-Werte des an AND weitergeleiteten Signals 5 zu zählen und durch ein paralleles Digitalsignal 6 die so erhaltene Zahl an eine Speichereinheit BM zu übermitteln.The said unit AND sends a digital signal 5 that the part of the signal 2, the passage of which has been approved to a counter CN, in the example in question is intended to be black or the "one" values of the AND forwarded signal 5 to count and by a parallel digital signal 6 the to transmit the number thus obtained to a memory unit BM.

Schliesslich ist noch ein Zählwerk CR für die horizontalen Zeilen vorhanden, das im Eingang von der Fernsehkamera ein horizontales Gleichlaufsignal SO empfängt, und das die Aufgabe hat, die horizontalen Zeilenabschnitte der berücksichtigten Spalte zu zählen, die in dem zu reduzierenden Bereich der Binärmatrize enthalten sind (in dem betreffenden Beispiel wieder 16). Ist der maximale Wert erreicht, wird ein Signal X3 ausgesendet, welches das genannte Zählwerk CN auf Null stellt. Das genannte Zählwerk CR sendet ebenfalls ein Signal X4 aus, das es der genannten Einheit BM ermöglicht, alles zu lesen und zu speichern was bis zu diesem Moment mit dem Signal 6 von dem Zählwerk CN übermittelt wurde, das heisst die Daten der reduzierten Matrize beziehungsweise die Zahl von schwarz, die in dem berücksichtigten Bereich der Binärmatrize enthalten ist (z.B. 16x16 Mikroelemente).Finally there is a counter CR for the horizontal lines available, the input from the television camera a horizontal synchronous signal SO receives, and which has the task of the horizontal line sections of the taken into account Count columns that are contained in the area of the binary matrix to be reduced are (again 16 in the relevant example). If the maximum value is reached, a signal X3 sent out, which said counter CN on Zero. Said counter CR also sends a signal X4 that it the unit mentioned BM enables everything to be read and stored up to this moment was transmitted with the signal 6 from the counter CN, that is the data of the reduced matrix or the number of black in the included area of the binary matrix (e.g. 16x16 micro-elements).

Die genannte Speichereinheit BM speichert alle von dem Zählwerk CN gelieferten Daten nach dem fortschreitenden Abtasten des Bildes, indem sie die genannte reduzierte Matrize bildet (Abb. 3), vergleicht dieselben mit den festgelegten Auflösungsgrenzen des Bildes, wobei im Falle von Nichtentsprechen der genannten Grenzen das genannte Signal P verändert wird, das dann einen neuen Schwellenwert für die genannte Einheit S präsentiert, und wobei dem Aussenden der genannten Daten zugestimmt wird, wenn diese den vorgenannten Grenzen entsprechen, und zwar durch ein paralleles Digitalsignal 7.The aforementioned storage unit BM stores all of the counter CN supplied data after the progressive scanning of the image by using the said reduced matrix forms (Fig. 3), compare the same with the specified resolution limits of the image, in the case of non-compliance with the stated limits the stated Signal P is changed, which then sets a new threshold value for said unit S is presented, and the sending of said data is consented to if these correspond to the aforementioned limits by means of a parallel digital signal 7th

Die genannte reduzierte Matrize, die von dem parallelen Digitalsignal 7 getragen wird, enthält eine Anzahl von noch aussergewöhnlich zahlreichen Daten für eine leichte Verarbeitung, weshalb es notwendig ist, zur Identifizierung jener Daten überzugehen, die Bildbereichen entsprechen, welche zur Verarbeitung auf Grund bestimmter Spezifikationen unbedeutend sind. Praktisch müssen jene Bildbereiche identifiziert werden, in denen die Möglichkeit, den Gegenstand oder besser den hervorstechenden Punkt desselben zu finden, gleich Null ist.The said reduced matrix, that of the parallel digital signal 7 contains a number of dates that are still extraordinarily large for easy processing, which is why it is necessary to identify those Transferring data that correspond to image areas that are due to be processed certain specifications are insignificant. In practice, those areas of the image must identified be in which the possibility of the subject or rather to find the salient point of the same, is equal to zero.

Zu diesem Zweck ist die Filtereinheit F bestimmt, die im Eingang das genannte Signal 7 empfängt und über anschliessende Iterationen die Identifizierung der Daten durchführt, die bestimmten Eigenschaften entsprechen. Dieses Verfahren ist allgemein unter der Bezeichnung "Entspannung" bekannt.For this purpose the filter unit F is intended, which in the input the receives said signal 7 and, via subsequent iterations, the identification which performs data corresponding to certain properties. This method is commonly known as "relaxation".

Ist der Gegenstand, seine möglichen Positionen und die Umgebunf bekannt, können während der Programmierung die Voraussetzungen festgelegt werden, unter denen alle die Daten als unbedeutend erklärt werden, die zum Beispiel über einem gewissen Wert liegen und besondere Bildbereiche betreffen (z.B. den Rand). Anschliessend kann bestimmt werden, dass die Daten, die bestimmte Werte aufweisen und in der Nähe von schon als unbedeutend gespeicherten Daten liegen, ebenfalls übergangen werden können.If the object, its possible positions and the surroundings are known, the conditions under which all the data can be declared as insignificant, for example above a certain Value and concern special areas of the image (e.g. the edge). Afterward can be determined that the data that have certain values and are close of data already stored as insignificant can also be ignored can.

Die anschliessenden Iterationen zur Identifizierung dieser Angrenzungen ermöglichen die Bestimmung einer gewissen Zahl von unbedeutenden Daten und folglich eine geringere Menge von Daten, die bei den anschliessenden Verarbeitungen zu berücksichtigen sind, und zwar mit einer erheblich schnelleren Filtrierung als dies auf dem gesamten Bild möglich wäre.The subsequent iterations to identify these boundaries allow a certain number of insignificant dates to be determined and consequently a smaller amount of data to be taken into account in the subsequent processing with filtration much faster than this on the whole Image would be possible.

Bis zu diesem Punkt wurden aufeinanderfolgende Umwandlungen des von der Fernsehkamera TLC gelieferten Bildes durchge- führt, um die zur Verfügung stehenden Informationen auf ein Minimum von nützlichen, zu verwaltenden Daten zu reduzieren, die zur Berechnung der Position des Gegenstandes dienen, wobei der grösste Teil der möglichen Fehler oder Unsicherheiten bei der Aufnahme des Bildes vermieden werden, sowie die grösstmögliche Zahl von Daten, die sich auf Bildbereiche beziehen, die für die weiteren Berechnungen mit Bestimmtheit unbedeutend sind.Up to this point, successive conversions of the from the image supplied by the television camera TLC leads to the available information to a minimum of useful, manageable Reduce data used to calculate the position of the object, with most of the possible errors or uncertainties in capturing the image Avoided, as well as the greatest possible amount of data, which is on image areas which are definitely insignificant for further calculations.

Im Ausgang aus der Filtereinheit F ergibt sich ein paralleles Digitalsignal 8, adressiert an eine Komparatoreinheit COM, die für die genannte reduzierte Matrize eine Determinante ist, aus der alle unbedeutenden Daten auf Grund der Eigenschaften in Bezug auf die Form des Gegenstandes und auf die Spezifikationen der Bildaufnahme herausgefiltert sind, Datengruppen, die ebenso vielen Bildbereichen entsprechen und mit einer oder mehreren der vorher in COM gespeicherten Datengruppen in Verbindung gebracht werden können.At the output from the filter unit F there is a parallel digital signal 8, addressed to a comparator unit COM for the said reduced matrix is a determinant from which all insignificant data due to the properties in terms of the shape of the object and the specifications of the image capture are filtered out, data groups that correspond to just as many image areas and associated with one or more of the data groups previously stored in COM can be brought.

Diese gespeicherten Datengruppen stellen mögliche Vorausstezungen zur Sichtung des gesuchten Gegenstandes oder von den hervorstechenden Punkten desselben in den von diesem selbst eingenommenen möglichen Positionen dar.These stored data groups represent possible prerequisites for the sighting of the searched object or of the salient points of the same in the possible positions taken by himself.

Praktisch wird auf Grund der Eigenschaften des gesuchten Gegenstandes und der Position des Bildes, in dem dieser gesucht wird, festgelegt, welche die mögliche Darstellung des untersuchten Bildbereiches ist, wenn dieser den Gegenstand enthalten sollte. Wird zum Beispiel als hervorstechender Punkt eine Bohrung auf einer hellen Scheibe mit einer dunklen Mitte und einem dunklen Hintergrund gesucht (zum Beispiel eine der vier Bohrungen der angenommenen Nabe A), würde möglicherweise das Aussehen dieses Bereichs, wenn er die Bohrung enthalten sollte, dem in Abbildung 5 gezeigten Schema entsprechen, bei dem sich in "a" die der reduzierten Matrize entsprechende Datengruppe befindet, und bei dem in "b" der einfacheren Darstellung halber diese Datengruppe über dem betreffenden Bildbereich angeordnet hat. Dieser Bildbereich überdeckt das tatsächliche Bild beziehungsweise die aus der Einheit F kommenden Datengruppen, und es wird eine Verbindung zwischen diesen durchgeführt, indem zum Beispiel die entsprechenden Daten paarweise multipliziert und die Resultate summiert werden. Wenn diese Resultate den als akzeptabel festgelegten Daten entsprechen, aber auch auf Anfrage der anschliessenden Einheiten programmierbar sind, wird im Ausgang mit einem parallelen Digitalsignal 9 ein Koordinatenpaar geliefert, das sich auf die ursprüngliche Binärmatrize bezieht und dem untersuchten Bereich entspricht. Nach Beendigung der Verbindung von mehreren Datengruppen trägt das Signal 9 schliesslich eine Liste mit Koordinatenpaaren, unter denen möglicherweise der Gegenstand oder die hervorstechenden Punkte zu finden sind.It becomes practical on the basis of the properties of the object sought and the position of the image in which it is searched, determined which the possible representation of the examined image area is when this the object contain should. For example, if the prominent point is a hole on a bright Looking for a disc with a dark center and a dark background (for example one of the four holes of the assumed hub A), would possibly change the appearance this area, if it should contain the hole, is that shown in Figure 5 Correspond to the scheme in which in "a" the corresponding to the reduced template Data group is located, and in the case of the one in "b" for the sake of simplicity this is Has arranged the data group over the relevant image area. This area of the image covers the actual image or that coming from the unit F. Data groups, and a connection is made between them by going to the Example, the corresponding data are multiplied in pairs and the results are summed up will. If these results correspond to the data determined to be acceptable, but are also programmable on request of the subsequent units, is included in the Output supplied with a parallel digital signal 9 a pair of coordinates that refers to the original binary matrix and corresponds to the examined area. After the connection of several data groups has ended, the signal 9 finally carries a list of coordinate pairs, under which possibly the object or the salient points can be found.

Natürlich erscheinen in dieser Liste die Koordinaten der möglichen Punkte in grösserer Anzahl oder in gleicher Anzahl wie die gesuchten hervorstechenden Punkte (die vier Bohrungen der Nabe), wie als Beispiel mit den in Kreise eingetragenen Bezugspunkten "n" auf der reduzierten Matrize in Abbildung 3 gezeigt wird.Of course, the coordinates of the possible ones appear in this list Points in greater numbers or in the same number like the ones you are looking for salient points (the four bores of the hub), as for example with the Reference points "n" entered in circles on the reduced die in the figure 3 is shown.

Das genannte Signal 9 wird folglich an eine geometrische Kontrolleinheit GEO übermittelt, die dazu bestimmt ist, in der genannten Liste jene Koordinaten festzustellen, die festgelegten und von der Form des gesuchten Gegenstandes oder der gegenseitigen Anordnung der genannten hervorstechenden Punkte desselben beschriebenen geometrischen Zuordnungen entsprechen. Es ist in der Tat möglich, dass die bisher durchgeführte Analyse durch uassergewöhnliche Schatten oder Verbindungen des beobachteten Gegenstandes hervorstechende Punkte ergibt, die in Wirklichkeit garkeine sind.Said signal 9 is consequently sent to a geometric control unit GEO transmitted, which is intended to include those coordinates in the above list determine the specified and on the shape of the object or sought the mutual arrangement of the mentioned salient points of the same described correspond to geometrical assignments. It is indeed possible that so far analysis carried out by unusual shadows or connections of the observed The object results in salient points that are in reality none at all.

Es muss also die grösstmögliche Zahl dieser falschen Hinweise ausgeschaltet werden, indem man sich auf geometrische Betrachtungen und Verbindungen stützt, die vorher auf Grund der Kenntnis von dem beobachteten Gegenstand festgelegt sind.The greatest possible number of these false indications must therefore be eliminated by relying on geometrical considerations and connections that are determined beforehand on the basis of knowledge of the observed object.

Wenn sich zum Beispiel die tatsächlichen hervorstechenden Punkten an den Spitzen eines Quadrates befinden und der Gegenstand ausreichend von der Fernsehkamera entfernt ist, müssen sich die tatsächlichen hervorstechenden Punkte mit ziemlicher Gewissheit in einem Parallelogramm zeigen, das in eine Ellipse eingeschrieben ist, deren grössere Achse allein von dem Abstand des beobachteten Gegenstandes abhängt.For example, if the actual salient points are at the tips of a square and the object is sufficiently visible from the television camera removed, the actual salient points need to be related to quite a bit Show certainty in a parallelogram inscribed in an ellipse, whose major axis depends solely on the distance from the observed object.

Zwecks darstellerischer Vereinfachung wurden in Abbildung 3 vier der möglichen Punkte "n" durch eine Strichlinie vereint, die einer Eigenschaft dieser Art entsprechen.In order to simplify the presentation, Figure 3 four the possible points "n" united by a dashed line, which is a property of this Type correspond.

An diesem Punkt erhalten wir eine reduzierte Liste von Koordinaten jener Bildbereiche, in denen eine sehr grosse Möglichkeit besteht, dass sie die gesuchten hervorstechenden Punkte enthalten.At this point we get a reduced list of coordinates those areas of the image in which there is a very great possibility that they will Contain prominent points searched for.

Von der genannten Einheit GEO wird folglich ein paralleles Digitalsignal 10 ausgesandt, das diese reduzierte Liste enthält, und zwar an eine Einheit zum"Herausziehen von Ausschnitten" EF.The above-mentioned unit GEO consequently produces a parallel digital signal 10 containing this collapsed list to an "extraction" unit from excerpts "EF.

Diese Einheit EF hat die Aufgabe, Bereiche aus dem Originalbild herauszuziehen, das durch die genannte Binärmatrize dargestellt und durch das aus der Schwelleneinheit S kommende Signal 2 direkt an die Einheit selbst übermittelt wird, Bereiche, die sich auf die genannten Datengruppen beziehen, die von den von der Einheit GEO empfangenen Koordinaten festgestellt wurden. Der Zweck der Einheit EF ist der, einen Ausschnitt oder Bildbereich von begrenzten Dimensionen in der Umgebung von einem der von den vorangegangenen Einheiten erfassten Koordinatenpaaren in einem Speicher aufzunehmen und ihn dann auf Anfrage den nachfolgenden Einheiten zur Verfügung zu stellen. Zum Beispiel kann ein möglicher Ausschnitt einen Bereich von 64x64 Mikroelementen der ursprünglichen Binärmatrize von 400x500 betreffen.This unit EF has the task of extracting areas from the original image, that is represented by said binary matrix and by that from the threshold unit S incoming signal 2 is transmitted directly to the unit itself, areas that refer to the named data groups received from the GEO unit Coordinates have been established. The purpose of the unit EF is to provide a section or image area of limited dimensions in the vicinity of one of the previous units recorded coordinate pairs in a memory and then make it available to the following units on request. To the For example, a possible section can cover an area of 64x64 micro-elements concern original binary matrix of 400x500.

Diese Ausschnitte, die in der Einheit EF gespeichert sind, oder besser alle Mikroelemente der Binärmatrize, die sich auf einen jeden Ausschnitt beziehen, werden durch ein paralleles Digitalsignal 11 an eine Rechnungseinheit CC für die Koordinaten weitergeleitet.These excerpts that are stored in the unit EF, or better all micro-elements of the binary matrix that are on every section refer, are by a parallel digital signal 11 to a billing unit CC forwarded for the coordinates.

Die genannte Einheit CC nimmt an einem jeden herausgezogenen Ausschnitt Berechnungen vor, die im Verhältnis zu den Eigenschaften der gesuchten hervorstechenden Punkte programmiert sind, und zwar zur genauen Bestimmung der Koordinatenpaare der Position auf der Fläche, wobei im Ausgang diese genauen Koordinaten mit einem parallelen Digitalsignal 12 geliefert werden.Said unit CC takes on each extracted cutout Calculations that stand out in relation to the properties of the sought Points are programmed to precisely determine the coordinate pairs of the Position on the surface, with the output of these exact coordinates with a parallel Digital signal 12 can be supplied.

In einem beliebigen Ausschnitt der Binärmatrize ist mit der gesamten möglichen Auflösung der gesuchte hervorstechende Punkt verfügbar, und zwar mit Annäherung an die reduzierte Matrize, weshalb die Berechnungen zur Bestimmung der Positionskoordinaten mit der gebührenden Präzision durchgeführt werden können. In dem dargestellten Beispiel ist der gesuchte hervorstechende Punkt eine Bohrung, und folglich kann dessen Position durch den Schwerpunkt der zu der Bohrung gehörenden schwarzen Mikroelemente identifiziert werden. Wir dürfen allerdings nicht das schwarze Mikroelement suchen, das die Mitte der Bohrung enthält, da wir durch die eventuellen Ungewissheiten in der Auflösung oder der Trennung der Fernsehkamera oder der Binärmatrize leicht zu Fehlern verleitet werden können, sondern wir müssen die Koordinaten auf Grund der Informationen extrapolieren, die sich auf ungefähr alle schwarzen Mikroelemente beziehen, welche wenig- stens 50S des zu der Bohrung gehörenden schwarz enthalten.In any section of the binary matrix is with the entire possible resolution of the prominent point sought available, with approximation to the reduced die, which is why the calculations to determine the position coordinates can be carried out with due precision. In the example shown the salient point you are looking for is a hole, and consequently its position identified by the center of gravity of the black micro-elements belonging to the hole will. However, we must not look for the black micro-element that is the center the hole contains as we go through any uncertainties in the resolution or the separation of the television camera or the binary matrix easily leads to errors but we have to extrapolate the coordinates based on the information which relate to roughly all black micro-elements that have little- at least 50S of the black belonging to the hole.

Auf diese Weise ist es möglich, eine grössere Endgenauigkeit des einzelnen Mikroelementes zu erhalten, beziehungsweise nicht angreifbar durch Diskretisationsfehler wie bei dem einzelnen Mikroelement der Binärmatrize.In this way it is possible to achieve a greater final accuracy of the individual Micro-element or not vulnerable to discretization errors as with the single micro-element of the binary matrix.

Da es sich um eine Bohrung handelt, besteht eine mögliche Extrapolation, die das gesamte Bild bezüglich des berücksichtigten Ausschnittes betrifft, darin, die Koordinaten X8 und Y8 des Schwerpunktes der Bohrung durch folgende Beziehung zu berechnen: wobei Ni die Anzahl der schwarzen Elemente ist, die zu der Darstellung der Bohrung gehören, und Xi, Yi die Koordinaten des allgemeinen schwarzen Elementes sind.Since it is a drilling, one possible extrapolation that affects the entire image with regard to the section considered is to calculate the coordinates X8 and Y8 of the center of gravity of the drilling using the following relationship: where Ni is the number of black elements belonging to the representation of the hole and Xi, Yi are the coordinates of the general black element.

Die Aufeinanderfolge der oben beschriebenen Verarbeitungsphasen bringt für jede Einheit die Notwendigkeit mit sich, nach Abschluss der von der vorangegangenen Einheit durchgeführten Arbeiten die eigenen Verarbeitungen vorzunehmen, wobei sie die entsprechenden Instruktionen und Daten ausschliesslich dann empfängt, wenn sie in der Lage ist, diese zu speichern und zu verarbeiten. Gleichzeitig verfügt eine jede Einheit über programmierte Kontrollspezifikationen, die dazu dienen, die durchgeführte Verarbeitung mit Mindestwerten der akzeptablen Bildauflösung zu vergleichen und im negativen Falle von der vorangegangenen Einheit die Wiederholung der Verarbeitung abzufragen, und zwar geändert im Sinne einer besseren Auflösung.The sequence of the processing phases described above brings for each unit the need with it, upon completion of the previous one Unit carried out work to carry out its own processing, taking them receives the corresponding instructions and data only if she is able to store and process them. At the same time has a each unit has programmed control specifications that are used to perform the Compare processing with minimum values of acceptable image resolution and in the negative case from the previous unit the repetition of the processing to query, changed in the sense of a better resolution.

Wenn die genannte Komparatoreinheit COM zum Beispiel nicht in der Lage ist, eine Anzahl von Datengruppen der gefilterten, reduzierten Matrize zu bestimmen, die der Anzahl der gesuchten hervorstechenden Punkte entspricht, beziehungsweise diese sogar eine geringere Anzahl ergeben als die tatsächlich vorhandene, wird die Verarbeitung unterbrochen und von den vorangegangenen Einheiten die Änderung der Spezifikationen und die Wiederholung der Verarbeitungen auf einer neuen Grundlage abgefragt.For example, if the said comparator unit COM is not in the Is able to determine a number of data groups of the filtered, reduced matrix, which corresponds to the number of salient points searched for, or if these even result in a smaller number than the actually available, the Processing interrupted and the change of the previous units Specifications and repetition of the processing on a new basis queried.

Dieses Signal zur Zustimmung oder dem Start der Verarbeitung oder der Wiederholung derselben wird in Abbildung 1 durch ein Signal V dargestellt, und zwar im Ausgang einer jeden Einheit und im Eingang einer jeden vorangehenden Einheit, ausser dem Signal im Ausgang aus der Einheit RID und im Eingang in die Schwelleneinheit S, das mit P bezeichnet ist und die Aufgabe hat, der Schwelleneinheit ausser den genannten Instruktionen auch einen neuen Schwellenwert zu übermitteln, der von der Einheit RID selbst entsprechend der mehr oder weniger geeigneten Auflösung programmiert ist, die bei der Bildung dre reduzierten Matrize erreicht wurde.This signal for consent or the start of processing or the repetition of the same is represented in Figure 1 by a signal V, and in the exit of each unit and in the entrance of each preceding unit, except for the signal in the output from the RID unit and in the input to the threshold unit S, which is denoted by P and has the task of the threshold unit besides the to transmit a new threshold value that is determined by the Unit RID itself programmed according to the more or less suitable resolution that was achieved in the formation of the three reduced template.

Bis zu diesem Punkt wurde ein von nur einer Fernsehkamera übertragenes Bild verarbeitet und dabei mit dem Signal 12 im Ausgang aus dem Gerät eine Liste von zweidimensionalen Koordinaten festgelegt, welche die Position des Gegenstandes oder dessen hervorstechende Punkte auf einer Aufnahmefläche des Bildes selbst feststellen. Die dreidimensionale Analyse, beziehungsweise das Feststellen der Position im Raum kann nun durchgeführt werden, indem das bis hier beschriebene Gerät verdoppelt und der Gegenstand A mit zwei Fernsehkameras TLC und TLC' aufgenommen wird, die entsprechend gewinkelt zueinander angeordnet sind.Up to this point, one was broadcast by only one television camera Image processed and a list with the signal 12 in the output from the device of two-dimensional Coordinates set showing the position of the object or its salient points on a receiving surface of the Determine the image yourself. The three-dimensional analysis or determination The position in space can now be done by doing what has been described so far Device doubled and object A was recorded with two television cameras TLC and TLC ' which are arranged at an angle to each other.

Wir erhalten somit zwei Signale 12 und 12', die ebenso viele Listen mit Koordinatenpaaren tragen, welche an eine dreidimensionale Analyseneinheit AT adressiert werden, die die Aufgabe hat, die Bilder nach dem genannten Prinzip der binokular-stereoskopischen Sichtung zu verarbeiten. Die genannte Einheit AT in geordneter Reihenfolge und nach den fortschreitenden Verarbeitungsphasen zunächst eine Untereinheit zur Berechnung der homologen Punkte CPO, die im Eingang die genannten Signale 12 und 12' empfängt und die Projektionen der auf einem jeden Bild (von jeder Fernsehkamera) festgestellten Punkte an einem, beiden Bildern gemeinsamen Bezugspunkt verbindet.We thus get two signals 12 and 12 'which lists just as many with coordinate pairs, which are sent to a three-dimensional analysis unit AT be addressed, which has the task of creating the images according to the above-mentioned principle of process binocular stereoscopic sighting. The said unit AT in orderly Sequence and, after the progressive processing phases, first a sub-unit for calculating the homologous points CPO, which input the aforementioned signals 12 and 12 'receives and the projections of the on each picture (from each television camera) points established at a reference point common to both images.

Tatsächlich erweisen sich die Projektionen der gesuchten, hervorstechenden Punkte auf einem jeden Bild oft nicht einer von dem anderen unterscheidbar (zum Beispiel wegen der Form, vier gleiche Bohrungen), weshalb es notwendig ist, eine Verbindung der Projektionen eines jeden Punktes auf den beiden Fernsehkameras vorzunehmen,was natürlich leichter durchgeführt werden kann, wenn die beiden Fernsehkameras verhältnismässig gering konvergent sind, beziehungsweise wenn der Abstand des beobachteten Gegenstandes grösser ist als der zwischen den beiden Fernsehkameras. Diese Anordnung macht die beiden Bilder ähnlicher und verringert die Möglichkeit, dass einige hervorstechende Punkte nur durch eine der beiden Fernsehkameras sichtbar sind. Ein möglicher gemeinsamer Bezugspunkt für beide Bilder kann die Fläche sein, die von den optischen Achsen der beiden Fernsehkameras beschrieben wird, beiden gemeinsam und immer vorhanden ist, es sei denn, es ist ein eventueller Strabismus vorhanden, der aber auf jeden Fall am Anfang korrigiert werden muss. Diese Fläche wird ideell auf die Bilder projektiert, und zwar mit einer Geraden, die auch die Projektion des optischen Zentrums enthält. Alle Punkte der Geraden eines Bildes liegen auf der entsprechenden Geraden des anderen Bildes. Es ist also ausgesprochen einfach, die Projektionspaare zu rekonstruieren, die sich auf einen jeden hervorstechenden Punkt beziehen.Indeed, the projections turn out to be the sought-after, salient ones Points on each picture often not one distinguishable from the other (for Example because of the shape, four identical holes), which is why it is necessary to have a Connect the projections of each point on the two television cameras to make what of course easier can be done when the two television cameras are relatively little convergent, or if the distance of the observed Object is larger than the one between the two television cameras. This arrangement makes the two images more similar and reduces the chance that some are salient Points are only visible through one of the two television cameras. A possible common The reference point for both images can be the area that is covered by the optical axes of the two television cameras is described, both in common and always present unless there is a possible strabismus, but it affects everyone Case needs to be corrected at the beginning. This area is ideally projected onto the images, with a straight line that also contains the projection of the optical center. All points of the straight line of one image lie on the corresponding straight line of the other Image. So it is extremely easy to reconstruct the projection pairs, which relate to each salient point.

Diese Projektionspaare werden an eine weitere Untereinheit zur Berechnung der Koordinaten im Raum CCS weitergeleitet, welche dieselben den bekannten Spezifikationen zuordnet, und zwar je nach den eigenen und der Anordnung der Fernsehkameras entsprechenden Eigenschaften.These projection pairs are sent to a further subunit for calculation of the coordinates in the CCS space, which are the same as the known specifications according to your own and the arrangement of the television cameras Properties.

Sind zum Beispiel die Brennmitten der Fernsehkameras bekannt (die Fokusse der beiden Objektive) sowie die Orien- tierung derselben, so ist es leicht, die Position des hervorstechenden Punktes im Raum zu finden.For example, are the focal centers of the television cameras known (the Foci of the two lenses) as well as the orientation the same, so it is easy to find the position of the salient point in space.

Es ist jedoch möglich, dass durch Fehler beim Erfassen oder bei der in den vorangegangenen Verarbeitungen erfolgten Berechnung die von den beiden Projektionen der Brennmitten beschriebenen Geraden sich als windschief erweisen.However, it is possible that due to errors in the acquisition or in the in the previous processings, those of the two projections were calculated the straight lines described in the focal centers turn out to be skewed.

In diesem Falle kann der mittlere Punkt des kleinsten Segmentes als gültig angenommen werden, das die beiden Geraden vereint.In this case the middle point of the smallest segment can be used as validly assumed that the two straight lines are united.

Schliesslich wird die Liste der Koordinaten im Raum an eine letzte Untereinheit zur dreidimensionalen Kontrolle VT weitergeleitet, welche die in der vorangegangenen Untereinheit berechneten Koordinaten mit den tatsächlichen Positionskoordinaten vergleicht, die anfangs auf Grund der Form des Gegenstandes und der realen geometrischen Bindungen der gewählten hervorstechenden Punkte nach allen möglichen, von dem Gegenstand selbst einnehmbaren Positionen gespeichert wurden.Finally, the list of coordinates in space is attached to a last one Subunit forwarded to the three-dimensional control VT, which contains the in the previous sub-unit calculated coordinates with the actual position coordinates compares the ones initially based on the shape of the object and the real geometric Ties of the selected salient points to all possible, of the subject positions that you can occupy yourself have been saved.

Der Zweck ist praktisch, wenigstens in Bezug auf die hervorstechenden Punkte, die tatsächliche Position des im Raum beobachteten Gegenstandes unverwechselbar festzustellen.The purpose is practical, at least in terms of the salient ones Points, unmistakable the actual position of the object observed in space ascertain.

Es kann jedoch passieren, dass die berechneten Positionen keiner der tatsächlich möglichen Position entsprechen. Wenn zum Beispiel die tatsächlichen hervorstechenden Punkte an den Spitzen eines Quadrates liegen, jedoch nicht unbedingt, findet man im Anschluss an den beschriebenen Prozess die be- rechneten Positionen entsprechend an den Spitzen eines Quadrates.However, it can happen that the calculated positions are not in any of the actually correspond to possible position. For example, if the actual salient points are at the tips of a square, but not necessarily after the process described, you will find the calculated Corresponding positions at the tips of a square.

Es kann sich dagegen auch ein sehr ähnliches Viereck ergeben, aber nicht genau wie ein perfektes Quadrat. Diese Untereinheit VT bestimmt also die Position des Gegenstandes, indem sie den Abstand zwischen den tatsächlichen hervorstechenden Punkten und den beobachteten (nach dem Prinzip der minimalen Quadrate) minimiert oder annulliert und schliesslich zu der besten Einschätzung der tatsächlichen Position des Gegenstandes gelangt, dessen Koordinaten im Raum nun durch ein Signal 13 an einen Benutzer U übertragen werden.On the other hand, a very similar square can result, but not exactly like a perfect square. This subunit VT thus determines the position of the object by making the distance between the actual salient Points and the observed (according to the principle of minimum squares) minimized or canceled and finally to the best possible judgment of the actual position of the object arrives whose coordinates in space are now indicated by a signal 13 a user U can be transferred.

Unter Berücksichtigung der Verarbeitungsphasen und deren oben beschriebenen Reihenfolge können natürlich verschiedene Berechnungsmethoden angewandt werden, besonders bei den Einheiten CC und AT, die für die Form des gesuchten Gegenstandes und die geometrischen Eigenschaften von dessen hervorstechenden Punkten geeignet sind, die jedoch alle innerhalb des beanspruchten Schutzbereiches liegen.Taking into account the processing phases and those described above Different calculation methods can of course be used in the order especially with the units CC and AT, which are for the shape of the object sought and the geometric properties of its salient points are appropriate which, however, are all within the claimed scope of protection.

Claims

PATENT CLAIMS 1.) Method for determining the position of objects in space by capturing images with a maximum reduction in those to be managed Data, characterized in that it includes the following phases: a) Acquisition of at least one transmitted by an analog signal from at least one television camera Image and conversion of said analog signal into a digital signal, consisting of from a binary matrix, the micro-elements of which correspond to as many pixels, and its value "zero" or "one" according to the overcoming or not one certain threshold value is determined; b) Conversion of the mentioned binary matrix into a reduced matrix, which consists of a series of data or macro elements, each determined by a corresponding ratio between the number and the logical Value of the micro-elements contained in the macro-element under consideration expressed will; c) Identification and elimination of data or macro elements of the above reduced matrix, which correspond to image areas, which in the subsequent Processing are insignificant due to certain specifications and Determination of the position coordinates of the searched object.

2.) Method according to claim 1, characterized in that said process c) is identified in the following phases: cl) determination on of the said reduced die, due to the properties related to the Form of the object and the recording specifications of the image, of several data groups, which correspond to as many image areas, each with one or more the stored data, which the possible conditions for viewing the searched The object or the particular prominent points selected on it, is to be connected, c2) recording of the data groups determined by the previous phase, which are determined by the shape of the object being sought or by the arrangement to each other the mentioned salient points certain geometric assignments correspond; c3) Removal of areas from the original image, represented by of the named and from the named microelements standing Binary matrix depending on the data groups mentioned, which are defined by the geometrical and based on data or macro-elements of said reduced template Assignments were recorded; c4) Determination of the position coordinates of the object or from one or more of the mentioned salient points by mathematical Equations based on all ge micro-elements of the mentioned binary matrix, which are contained in the image area removed in the previous phase are.

3.) Method for determining the position of an object in space on the basis of the phases, as in patent claims 1 and 2, and the coordinate pairs the position of the object or of several of the prominent points mentioned, determined by a stereoscopic binocular viewing over two images taken by two different and at a certain angle under certain conditions mutually arranged television cameras come, characterized in that there are the following Phases include: d) Linking the projections of the position coordinates of the object after the said phase c), which is based on the corresponding and of two different TV cameras transmitted images are determined, with a common Reference point in relation to the image planes of said television cameras; e) Determination the position coordinates of what is being searched for in space Subject or of the salient points mentioned in relation to the projections mentioned, in conjunction with the well-known specifications showing the characteristics of the television cameras themselves grasp their positioning and mutual arrangement; f) control and Correction of the position coordinates in space by minimizing the differences between the calculated and the actual coordinates, based on the Shape of the object and the actual mutual geometric arrangements of the selected salient points mentioned, initially after all possible acceptable Positions of the object itself saved.

4.) Device for determining the position of objects in space Acquisition of images with maximum reduction of the data to be managed, thereby characterized in that it contains: - At least one television camera TLC, which transmits the image of the object A through an analog signal 1; - a threshold unit S, intended to convert said analog signal 1 into a digital signal 2 with a logical Convert value "zero" or "one" depending on the case in which the said signal is below or above a signal 4 which has a programmed threshold value describes that the image of the television camera only shows white and black and it shows in converts a binary matrix in which each micro-element corresponds to an elementary point of the image corresponds; - a reducing unit RID, which the said Converts binary matrix into a reduced matrix in which each macro element represents a definition whose value in relation to the value of the numbers "one" or black stands in a certain number of micro-elements of the binary matrix are present and together form said macro-element; a filter unit F, determined by successive iterations, the data of the said to capture reduced matrix, which correspond to certain values, which by Positioning on the image plane or based on others the saved Data corresponding to limit values in the subsequent processing turns out to be insignificant prove.

5.) Device according to claim 4, characterized in that the called threshold unit S as follows: - An input amplifier AI, the in the input the said analog signal transmitted by the television camera TLC 1 receives and supplies an analog signal 3 at the output; - a comparator circuit CM, which receives the said analog signal 3 and an analog signal 4 in the input, the describes the mentioned threshold value, compares the mentioned signal and in the output said digital signal 2, which is in relation to said threshold value distinguishes, delivers; - a digital-to-analog conversion circuit CDA, which is in the input a Receives digital signal P transmitted by said unit RID and carries the mentioned threshold, which is based on the solution capacity of the mentioned Signal 2 was programmed, and which supplies the said analog signal 4 in the output.

6.) Device according to claim 4, characterized in that the called reducing unit RID as follows: - a column counter COL, which is in the Input from the television camera TLC receives a vertical synchronous signal SV, which consecutively the column order of a previously programmed number of progressive scanned, reduced matrix determined and in the output a signal Xl to the address which gradually sends out scanned columns; - a counter RIG, which is in the entrance a synchronous signal of the video elements SE receives from the television camera TLC, as well as said address signal of column Xl, starting with the value of said Address counts down the elements of the horizontal line of the binary matrix that Line section according to the column mentioned and recorded after the end of the Counting process sends a signal X2 in the output; - a unit AND, which is in the input receives said signal 2 and said signal X2 which make the transition of the signal 2 allows itself into an output signal 5, said unit AND also in the input a signal X5 to block the transition of the previous one by said signal X2 enabled signal 2; Counter for the data size CD, the input apart from the mentioned synchronous signal of the video elements SE receives the same signal X2 from said unit RIG, it being the programmed one Counts the number of microelements that correspond to the horizontal row of the binary matrix belong to the column searched and which supplies the said signal X5 at the output; - A counter CN, which receives at the input the said signal 5, which the part of said signal 2, which relates to the section of the horizontal line the binary matrix in the desired column refers, it being in the said signal 2 counts in the number of values "one" or the values "zero" according to programmed selections and then said number via a parallel digital signal 6 to a subsequent one Memory unit BM forwards; - a line counter CR, which is in the input of the TV camera TLC receives a horizontal synchronous signal SO, whereby it is in the subsequent Scanning the image converted into said binary matrix that programmed in advance Counts the number of horizontal line segments corresponding to the column searched, which form the area of the binary matrix and thus the image in connection with the data of the reduced matrix that is being formed, and a signal at the output X3 for resetting the said counter CN and a signal X4 supplies which to the mentioned subsequent Memory unit BM is transferred, - A memory unit BM, which receives the said signal X4, which it this allows receiving said signal 6 transmitted by said CN and to save the subsequent named and gradually said reduced To store matrix-forming signals 6, the same with programmed resolution limits of the image and, if these limits are not met, the specified signal P to send out that another addressed to the previous unit S mentioned Threshold value, as well as a parallel digital signal when these limits are met 7, which carries the data or macro elements of the said reduced matrix.

7.) Device according to claim 6, characterized in that the said reducing unit RID in the output from said unit BM a signal P, which is addressed to said threshold unit S and to this the Start and repeat commands processing in relation to a threshold that is different from the one programmed in the previous processing.

8.) Device for determining the position of an object on a Level in accordance with claim 4, characterized in that it is im Connection to said filter unit F includes as follows: a comparison unit COM, which is intended to be groups the mentioned data of the reduced Matrix, which it receives through a parallel digital signal 8 from said filter unit F has received to compare with data groups that are in the unit C0M itself are stored, namely according to values according to the maximum display possibility in the mentioned reduced matrix of the searched object or the particular selected, salient points of the same by multiplying the corresponding Pairs of data, the sum of the results and the determination of whether the resulting values above the specified values or not, with the specified unit in the output supplies a parallel digital signal 9 which contains a list of the coordinate pairs, which indicate the micro-elements of said binary matrix in which possibly the item or its selected salient points are located; - a geometric one Control unit GEO, which in the input the named list of coordinates with the signal 9 receives and assigns these stored, geometric ties, which correspond to the shape of the object sought, the arrangement of its salient points to each other and the recording specifications of the image are set, and the one Another, smaller list of coordinate pairs forms which the positions of the maximum possibility, and which they output with a parallel digital signal 10 forwards; - a unit for pulling out sections EF, which at the input said signal 2; from said threshold unit S and receives said signal 10 from said geometric control unit GEO and extracts image areas from said binary matrix which each pair of the coordinates mentioned and transmitted with the signal 10, and the im Output provides a parallel digital signal 11 that contains all micro-elements of the binary matrix including the removed sections; - a unit of account CC for the coordinates that the said signal 11 receives at the input, and the delimiting a part of the binary matrix - in each one removed Extract calculations for the exact determination of the coordinate pairs of the position the searched object or its selected, prominent points, and which supplies a signal 12 at the output which contains said calculated coordinates transmitted.

9.) Device according to claim 8, characterized in that each of the units mentioned for calculation CC, for geometric control GEO, for Comparison C0M and for filtering F has a signal V at the output, which is sent to the directly previous unit is addressed, and the start and repeat commands of the received Processing transmitted where no results are possible.

10.) Device for determining the position of an object in the Space on the basis of two lists of coordinate pairs associated with the signals 12 and 12 'were transmitted by two different devices of the same type with two different television cameras TLC and TLC ', which according to specified recording conditions are arranged angularly to one another, characterized in that it is three-dimensional Contains analysis unit AT, which in turn comprises in orderly sequence as follows: - A sub-unit for the computation of the homologous points CPO, which in the input the said signals 12 and 12 'receives the projections of the coordinates captured points connects on the basis of each two-dimensional image are calculated by each television camera by one of the two images common reference point have been obtained; - a sub-unit for calculating the Coordinates in space CCS, which are combined with those in the previous subunit Projections, with specific references to the properties of the Television cameras themselves, their positioning and mutual arrangement, and which determines the three coordinates in space for each determined point, which one describe the position; - a subunit for three-dimensional control VT the coordinates in space that were calculated in the previous sub-unit, which same with actual Compares position coordinates, those based on the shape of the object and the actual mutual, geometric Ties of said selected salient points are stored, and according to all possible positions that can be assumed by the object itself, and which minimizes the differences and a parallel digital signal at the output 13 sends out a list of the coordinates in space calculated in this way to a user U transmits.

11.) Method and device for determining the position of objects in space by capturing images with a maximum reduction in those to be managed Data according to the preceding claims and according to what is described and shown became.