Robottinäkö- ja kamerapiirilevy MIPI:lle, tekoälyprosessoinnille ja monikamerajärjestelmille

Robotin näkö- ja kamerapiirilevyt kuljettavat joitakin robotin suurimmista kaistanleveyksistä signaaleista. Nykyaikainen havaintomoduuli voi sisältää useita kuvasensoreita, MIPI CSI-2 -linkkejä, kuvasignaalinkäsittelyn, tekoälykiihdytyksen, valaistuksen ohjauksen ja tarkan mekaanisen linjauksen optiikan kanssa. Pieni asettelu- tai lämpövirhe voi heikentää kuvan luotettavuutta, kuvanlaatua, synkronoinnin tarkkuutta tai moduulin pitkäaikaista vakautta.

Tämä opas selittää robottinäköpiirilevyjen taustalla olevat suunnittelu- ja valmistuspäätökset: kamerasensorien valinta, nopea reititys, usean kameran ajoitus, kuvankäsittelyn integrointi, optiset mekaaniset rajoitteet, lämmönpoisto ja testien kattavuus. Se on kirjoitettu tiimeille, jotka rakentavat kameramoduuleja, syvyysantureita, havaintopiirejä ja robottinäköalijärjestelmiä.

Mitä robottinäkö- ja kamerapiirilevyt todellisuudessa tekevät

Rooli robottijärjestelmässä

Robottinäkö- ja kamerapiirilevyt käsittelevät robotin suurimman kaistanleveyden dataa. Nykyaikaiset kamerasensorit tuottavat sadoista megabiteistä gigabitteihin sekunnissa; useat kamerat havaintojärjestelmässä moninkertaistavat tämän kaistanleveyden; kuvankäsittelyn kiihdyttimet tarvitsevat kontrolloidun impedanssin omaavia nopeita liitäntöjä jokaisessa vaiheessa. Mikä tekee näköpiireistä ainutlaatuisia:

• Suurnopeusanturiliitännät: MIPI CSI-2 usean gigabitin nopeuksilla kaistaa kohden. Kontrolloitu impedanssi ja pituuden sovitus ovat välttämättömiä.
• Monikamera-aggregaatio: synkronoidut monikamerajärjestelmät stereo-, panoraama- tai peittokriittisiin sovelluksiin. Aikasynkronointi on tärkeää.
• Laskennan integrointi: kuvasignaaliprosessori (ISP), tekoälykiihdytin tai järjestelmäpiiri samalla piirilevyllä tai läheisesti kytkettynä. Sekä laskentateho että lämpökuorma ovat huomattavia.
• Valaistuksen säätö: LED- tai laservalaistus synkronoituna anturin valotuksen kanssa. Yleinen strukturoidun valon tai lentoajan mittaavissa laitteissa.
• Optinen mekaaninen integrointi: objektiivin kiinnitys, tarkennuksen säätö ja IR-suodattimen integrointi. Mekaaninen toleranssi vaikuttaa kuvanlaatuun.

Suunnittelun riskit hallittavaksi

Näkökorttien arkkitehtuuri kehittyy jatkuvasti nopeasti kamerasensoreiden, prosessointilaitteiston ja tekoälymallien kehittyessä. Ohjelmat, jotka aloitettiin tietyllä arkkitehtuurilla kaksi tai kolme vuotta sitten, saattavat osoittautua nykyisen sukupolven vaihtoehdoista huomattavasti erilaisiksi – korkeamman resoluution sensoreiksi, tehokkaammiksi tekoälykiihdytyksiksi ja edullisemmiksi integroiduiksi internet-palveluntarjoajiksi. Näköarkkitehtuurin tarkastelu tuotepäivityksen yhteydessä tunnistaa usein merkittäviä parannusmahdollisuuksia.

Kamerakortin integrointimenetelmän valinta – SoM vs. diskreetti SoC, emolevylle integroitu vs. erillinen laskenta – vaikuttaa sekä kustannuksiin että iteraation joustavuuteen. SoM-integraatio nopeuttaa kehitystä korkeammilla yksikkökustannuksilla; diskreetti integraatio alentaa yksikkökustannuksia korkeammilla NRE-arvoilla. Ohjelmat valitsevat lähestymistavan, joka sopii niiden volyymialueeseen ja kehitysaikatauluun.

Järjestelmätasolla piirilevy tulisi määrittää toiminnon, ympäristön, käyttöiän ja testien kattavuuden perusteella pelkän kytkentäkaavion sijaan. Tämä estää yleisen virheen, jossa rakennetaan teknisesti oikea piirilevy, jota on vaikea kiinnittää, jota on vaikea huoltaa tai joka ei ole riittävän kestävä robottiin asennettuna.

Kamerakennon valinta: Globaali suljin, liikkuva, ToF, strukturoitu valo, lämpö

Kamerakennon valintakriteerit

Kamerakennon valinta ohjaa suurinta osaa elektroniikan suunnittelusta. Pääanturikategoriat ovat:

• CMOS-globaali suljin: tallentaa koko kuvan samanaikaisesti. Konenäön ja liikkuvien kohteiden tallennuksen standardi.
• CMOS-rullaussuljin: rivi riviltä valotus. Halvempi kuin globaali suljin; riittävä staattisiin tai hitaasti liikkuviin kohtauksiin.
• Lentoaika (ToF): syvyysmittaus pikseliä kohden. Yleinen syvyyskameroissa ja 3D-havainnoinnissa.
• Rakenteinen valo: Heijastettu kuvio ja 2D-anturi. Erittäin tarkka syvyysmittaus lähietäisyyden sovelluksiin.
• Tapahtumapohjainen (neuromorfinen): Asynkroninen tapahtumalähtö kehysten sijaan. Nouseva kehitys matalan latenssin havainnointia varten.
• Terminen (LWIR): pitkäaaltoinen infrapunakuvaus. Erikoissovellukset, joissa lämpökuvauksella on merkitystä.

Miten kamerakennon valinta vaikuttaa kustannuksiin ja luotettavuuteen

Kamerakennojen valmistajat tarjoavat osia laajalla pikselimäärän, kuvataajuuden, dynaamisen alueen ja valoherkkyyden alueella. Kennojen sovittaminen sovelluksen vaatimuksiin (sen sijaan, että oletuksena käytettäisiin parhaita saatavilla olevia spesifikaatioita) säästää kustannuksia; sovelluksen mukauttaminen sovittaa myös kaistanleveyden ja prosessointivaatimukset loppupäässä.

Useiden anturityyppien käyttö yhdessä robotissa on yhä yleisempää. Nykyaikainen autonominen mobiilirobotti voi yhdistää CMOS-värikamerat lentoaika- ja syvyysmittauksiin, infrapunaan hämärässä navigointia varten ja lämpökameraan ihmisten havaitsemista varten. Monianturijärjestelmän hallinta tietokoneella tai useilla tietokoneilla on erityinen integrointihaaste.

Käytännön sääntönä on valita yksinkertaisin rakenne, joka silti täyttää signaali-, turvallisuus-, lämpö- ja mekaaniset vaatimukset. Ylispesifikaatiot nostavat kustannuksia, kun taas alispesifikaatiot aiheuttavat uudelleentyöstöä testin tai kenttäkäyttöönoton aikana.

MIPI-reititystä tarkistetaan yhdessä HDI-piirilevyn pinoamisvaihtoehdon ja robotin tietoliikennerungon kanssa , koska kameran ajoitus ja tiedonsiirto yleensä debugataan yhtenä järjestelmänä.

Nopea asettelu: MIPI CSI-2, impedanssi, pituuden sovitus

Käyttöliittymä- ja asetteluvaatimukset

Kameraliitäntöjen nopea suunnittelu vaatii erityistä suunnittelutaitoa. MIPI CSI-2 2.5 Gbps:n kaistanopeudella vaatii hallittua impedanssia ja pituuden sovitusta; suuremmat 6 Gbps:n tai sitä suuremmat liitännät lisäävät marginaalirajoituksia. Tärkeimmät suunnittelunäkökohdat ovat:

• Impedanssin ohjaus: 100 Ω differentiaali MIPI:lle; 100 Ω differentiaali muille usean gigabitin rajapinnoille. Toleranssi ±10 %.
• Pituuden sovitus: parin sisäinen sovitus pikosekunneissa; parien välinen sovitus nanosekunneissa rinnakkaisväylillä.
• Vertailutason jatkuvuus: jatkuva maareferenssi suurnopeussignaalien alla. Referenssitason halkeamat heikentävät signaalin eheyttä.
• Kerrossiirtymät: Minimoi läpivientien määrä suurnopeusverkoissa; käytä paluutien läpivientejä referenssin jatkuvuuden säilyttämiseksi.
• Irtisanominen: asianmukainen päättäminen siirtolinjojen molemmissa päissä. Heijastukset heikentävät silmän reunaa.
• Testikuponki: Impedanssitesti kupongit varmennusta varten. TDR-tiedot toimitetaan valmistustietojen mukana.

EMC:n, ajoituksen ja testauksen huomioon ottamista

Anturitoimittajan ja prosessoritoimittajan MIPI CSI-2 -asetteluohjeita on yleensä noudatettava huolellisesti. Toimittajan ohjeista poikkeava asettelu voi toimia joillakin tiedonsiirtonopeuksilla ja epäonnistua toisilla; ohjeita noudattava asettelu toimii luotettavasti määritellyllä nopeusalueella. Ohjeiden noudattaminen säästää prototyypin virheenkorjausaikaa.

Signaalin eheyden simulointi suurnopeuskameroiden rajapinnoissa havaitsee marginaalisia malleja ennen prototyypin luomista. Jälkiasettelusimulointi toimittajan IBIS- tai S-parametrimallien avulla ennustaa silmän marginaalin jokaisella prosessorin syötteellä; mallit, joilla on riittävä marginaali simulaatiossa, toimivat tyypillisesti prototyypissä ilman signaalin eheyden ongelmia.

Kuvankäsittely: ISP, tekoälykiihdytin, FPGA, SoC

Kuvankäsittelyn keskeiset suunnitteluvalinnat

Kuvankäsittelylaitteisto integroituu kameralevylle tai sen lähelle. Tärkeimmät käsittelyvaihtoehdot ovat:

• ISP: erillinen kuvasignaaliprosessori. Hoitaa Bayer-muunnoksen, valkotasapainon, kohinanvaimennuksen ja muut pikselitason käsittelytoiminnot.
• Tekoälykiihdytin: GPU tai NPU suorittavat havaintomalleja. Vakiovaruste autonomisissa roboteissa ja näköpohjaisissa sovelluksissa.
• FPGA: räätälöity prosessi erikoisnäön suunnitteluun. Yleinen ominaisuus korkean suorituskyvyn konenäössä.
• SoC: integroitu CPU ja GPU tai NPU. Yleinen yleiskäyttöisissä konenäkösovelluksissa.
• Ulkoinen käsittely: Kuvadata suoratoistetaan tietokoneelle Ethernetin, USB:n tai MIPI:n kautta. Säilyttää joustavuuden kaistanleveyden kustannuksella.

Valmistus- ja luotettavuusnäkökohdat

Myös tekoälykiihdyttimen valinta vaikuttaa ohjelmistokehityksen lähestymistapaan. Jotkut kiihdyttimet tukevat yleisiä koneoppimiskehyksiä suoraan toimittajan työkaluketjuilla; toiset vaativat mukautettua mallimuunnosta tai erityisiä kehitysympäristöjä. Ohjelmat, jotka yhdenmukaistavat kiihdyttimen valinnan ohjelmistotiimin kyvykkyyden ja mieltymysten kanssa, kehittyvät nopeammin kuin ohjelmat, jotka valitsevat kiihdyttimen pelkästään laitteistospesifikaatioiden perusteella.

Tekoälykiihdyttimien näkökorttien lämmönhallinta on usein hallitseva suunnittelurajoite. Kymmeniä watteja jatkuvasti kuluttavat tekoälykiihdyttimet tarvitsevat huomattavaa jäähdytystä; robotin mekaaninen vaippa voi rajoittaa käytettävissä olevan jäähdytyksen määrää. Ohjelmat, jotka suunnittelevat lämpöratkaisun varhaisessa vaiheessa – joskus kiihdyttimien valinnan yhdessä jäähdytyskyvyn kanssa – välttävät lämpöohjattuja myöhäisvaiheen uudelleenpyörityksiä.

Monikamerasynkronointi

Keskeiset suunnitteluvalinnat monikamerasynkronointiin

Monikamerasynkronointi on tärkeää, kun havaintoalgoritmi on riippuvainen ajallisesta kohdistuksesta. Stereosyvyys, liikkeestä saatu rakenne ja koordinoitu monikameravalvonta tarvitsevat kaikki millisekuntia paremman synkronoinnin. Tärkeimmät synkronointimenetelmät ovat:

• Laitteiston liipaisin: Yhteinen laukaisusignaali kaikille kameroille. Mikrosekunnin synkronointi saavutettavissa.
• PTP: Tarkkuusaikaprotokolla Ethernetin kautta. Mikrosekunnin synkronointi verkon yli.
• Ohjelmiston aikaleima: isännän kello sieppauksen aikana. Parhaimmillaan millisekunnin tarkkuus; riittävä joihinkin sovelluksiin.
• Genlock-lukko: videon ajoituksen synkronointi lähetystyyppisissä sovelluksissa.

Valmistus- ja luotettavuusnäkökohdat

Stereojärjestelmien usean kameran synkronointi vaikuttaa suoraan syvyystarkkuuteen. Kamerat, jotka laukaisevat jopa millisekunnin välein robotin liikkuessa, tuottavat virheellisesti rekisteröityjä kuvia ja vastaavia syvyysvirheitä. Ohjelmilla, jotka tekevät synkronoinnin heti laitteistosuunnittelussa, on puhdas stereoääni; ohjelmilla, jotka luottavat jälkikäteen tapahtuvaan ohjelmistosynkronointiin, on tyypillisesti kohinaisempi syvyys.

Rakenteisen valon ja ToF-syvyyskameroiden valaistuksen säätö integroituu näyttötaululle tai sen lähelle. Näiden syvyysteknologioiden toimivuus perustuu siihen, että valaistuksen ajoitus on koordinoitu tarkasti anturin valotuksen kanssa; tarkkaa ajoitusta tukeva asettelu on erityinen suunnitteluongelma.

Lämpö- ja tehorajoituksia tulisi myös tarkastella robotin virranjakolevyn ja alustatason robottipiirilevyn suunnittelusuunnitelmaa vasten.

Lämpöhallinta visiotauluille

Sähkö- ja lämpövaatimukset

Näkökorttien lämmönhallinta käsittelee kahta lämmönhukkalähdettä: itse kuvakennoa ja prosessointielektroniikkaa. Tärkeimmät tekniikat ovat:

• Anturin lämpöeristys: joskus tarvitaan estämään prosessointilämmön nostamasta anturin lämpötilaa. Pimeävirta kasvaa lämpötilan mukana.
• Laske jäähdytys: ISP-, GPU- tai NPU-jäähdytys on samanlainen kuin tietokonekorttien käytännöt. Jäähdytyselementti tai ilmavirtaus on mitoitettu haihdutusta varten.
• Ilmavirran hallinta: integroitu ilmankierto kamerakotelon läpi tai järjestelmätason jäähdytys.
• Lämpöhallinta kalibrointia varten: Anturin kalibrointiparametrit vaihtelevat lämpötilan mukaan. Jotkin sovellukset säätelevät lämpötilaa kalibroinnin säilyttämiseksi.

Tuotantotestaus ja vikatilat

Kameran linssin ja kiinnityksen kohdistustoleranssi vaikuttaa kuvanlaatuun koko kennolla. Valmistustoleranssi linssin asennossa (tyypillisesti ±100 µm) vaikuttaa suoraan kuvanlaadun vaihteluun. Ohjelmat, jotka määrittävät linssin kiinnitystoleranssin asianmukaisesti, ja valmistajat, jotka ylläpitävät sitä, tuottavat yhdenmukaisen kuvanlaadun; ohjelmat, jotka jättävät toleranssin implisiittiseksi, näkevät joskus laadun vaihtelua yksiköiden välillä.

Anturin lämpötila kuvantamisen aikana vaikuttaa pimeävirtaan ja kohinaan. Ohjelmat, jotka suunnittelevat näkötauluja vakaan anturin lämpötilan saavuttamiseksi – lämpöeristyksen avulla prosessointilämmöltä, aktiivisen lämmönsäädön tai suunnittelumarginaalin avulla – säilyttävät kuvanlaadun kaikissa käyttöolosuhteissa.

Katso vierekkäiset suunnittelupäätökset robotin anturin piirilevyn kokoonpano-oppaasta ja robotin tietoliikennepiirilevystä suurnopeusliitäntöjä varten.

Näkö- ja kamerapiirilevyjen valmistus Highleapissa

DFM-tarkistus ennen tuotantoa

Highleap valmistaa konenäkö- ja kameralevyjä prosessilla, joka vastaa suurnopeuskonenäön tarpeisiin. Niillä on kontrolloitu impedanssi, HDI-rakenne ja mekaaninen integraatiotuki. Erityisominaisuuksiin kuuluvat:

• Kontrolloidun impedanssin monikerros: usean gigabitin liitännät, joissa impedanssin varmennus eräkohtaisesti.
• HDI-rakenne: BGA-ulostuloa varten nykyaikaisissa internet-palveluntarjoaja- ja tekoälykiihdytyspaketeissa.
• Hienojakoinen SMT: 0.4 mm:n BGA-ominaisuus tiheälle konenäkölaskentaan.
• Optinen mekaaninen integrointi: Objektiivin kiinnitys, tarkennuksen säätö, IR-suodattimen asennus osana kokoonpanoa.
• Valaistusintegraatio: Kamerakorttiin integroitu LED- tai laservalaistuskokoonpano.
• Testi kuvantamisen avulla: toiminnallinen testi referenssikohteilla tai asiakkaan toimittama kuvantamistesti.

Testaus, jäljitettävyys ja koontiversion luovutus

Highleapin konenäkökorttien valmistus on tuottanut kortteja aina yhden kameran peruskonenäöstä monikamerastereosyvyyskameroihin ja tekoälypainotteisiin havaintojärjestelmiin. Valmistuskapasiteetti kattaa MIPI-nopeuksiset suurnopeusasettelut, HDI-rakenteen BGA-tuulettimille kiihdyttimissä, lämpöratkaisujen integroinnin ja optisen mekaanisen kokoonpanon linssikiinnityksellä.

Konenäkölaitteiden valmistuksen erityinen etu toimittajalla, jolla on kokemusta konenäköalasta, on kertynyt ymmärrys siitä, mikä saa konenäkölaitteet toimimaan tuotannossa verrattuna siihen, mikä näyttää hyvältä prototyypissä. Signaalin eheysmarginaalit, jotka vaikuttavat riittäviltä prototyypissä, mutta epäonnistuvat äärilämpötiloissa; valaistuksen ajoitus, joka toimii ympäristön lämpötilassa, mutta vaihtelee suurella kuormituksella; lämpöratkaisut, jotka toimivat penkillä, mutta epäonnistuvat suljetussa robottirungossa. Tällainen kertynyt ymmärrys säilyttää luotettavuuden koko tuotannon ajan.

Robot Vision -piirilevyn usein kysytyt kysymykset

Mikä on robottinäköpiirilevy?

Robottinäköpiirilevy on kamera- tai havainnointikortti, joka yhdistää kuvasensorit prosessointielektroniikkaan. Se voi sisältää MIPI CSI-2 -reitityksen, kuvasignaalin käsittelyn, tekoälykiihdytyksen, tehonsäädön, valaistuksen ohjauksen, synkronointipiirit ja liittimet robotin pääohjaimeen. Sen suunnittelu vaikuttaa kuvanlaatuun, kaistanleveyteen, latenssiin ja luotettavuuteen.

Miksi MIPI CSI-2 -asettelu on vaikeaa robottikameralevyillä?

MIPI CSI-2 käyttää suurnopeuksisia differentiaalikaistoja, jotka vaativat hallittua impedanssia, lyhyitä paluupolkuja, huolellista pituussovitusta, vähähäviöistä pinoamissuunnittelua ja liittimien kurinalaisuutta. Robotit lisäävät mekaanisia rajoituksia ja kaapelien paljastumista, joten signaalin eheyden on kestettävä tärinää, taipumista, lämpötilan vaihteluita ja moottoreiden ja tehoelektroniikan sähkömagneettista kohinaa.

Pitäisikö robotin käyttää globaalia suljinkameraa vai rullaavaa suljinkameraa?

Globaalia suljinanturia käytetään usein liikkuvien robottien, nopeiden kohteiden, konenäön ja stereosyvyyskuvauksen kuvaamiseen, koska koko kuva tallennetaan samanaikaisesti. Rullaavan sulkimen anturit ovat edullisempia ja sopivat hitaammille tai staattisille kohtauksille. Oikea valinta riippuu liikkeen nopeudesta, valaistuksesta, kuvankäsittelymenetelmästä ja tarkkuusvaatimuksista.

Miten useat robottikamerat synkronoidaan?

Monikamerajärjestelmät käyttävät liipaisulinjoja, ruudun synkronointisignaaleja, aikaleimausta, yhteistä kellojakaumaa tai protokollatason synkronointia. Stereo- ja syvyysjärjestelmät vaativat erityisen tarkkaa ajoituksen yhdenmukaistamista. Piirilevyn on reititettävä synkronointisignaalit pienellä vinoumalla, hallittava ajoituslinjojen kohinaa ja otettava liittimien/kaapelien toiminta huomioon ajoitusbudjetissa.

Mikä erottaa valoaikapiirilevyt ja strukturoidun valon piirilevyt toisistaan?

Valoaika- ja strukturoitua valoa hyödyntävät piirilevyt yhdistävät kuvantunnistuksen aktiiviseen valaistukseen. Piirilevyn on ohjattava LED- tai laserohjainta, valotuksen ajoitusta, lämpökuormitusta, optista kohdistusta ja turvallisuusrajoituksia. Näiden piirilevyjen virransyötön eheyden ja lämmön leviämisen suhteen on kiinnitettävä enemmän huomiota kuin pelkästään ympäröivää valoa käyttävien passiivisten kamerakorttien.

Miten robottien näkötaulujen lämpöä tulisi hallita?

Lämpöä tulisi hallita komponenttivalinnoilla, kuparilevyillä, lämpöä johtavilla läpivienneillä, jäähdytysripoilla, mekaanisilla johtumisreiteillä sekä ilmavirran tai kotelon suunnittelulla. Tekoälykiihdyttimet ja kuvaprosessorit voivat haihduttaa huomattavaa tehoa kompakteissa moduuleissa. Lämpösuunnittelun on suojattava sekä elektroniikan luotettavuus että kuvanlaatu, koska anturin kohina voi kasvaa lämpötilan noustessa.

Mitkä tuotantotestit ovat tärkeitä robottikamerapiirilevyille?

Hyödyllisiä testejä ovat virtakiskon varmennus, kuvakennon käynnistys, linkkimarginaalin tai kuvan vakauden testaus, toiminnallinen kuvanotto, valaistuksen ajoitus, virrankulutus, laiteohjelmiston ohjelmointi sekä liittimien ja objektiivien rajapintojen mekaaninen tarkastus. Monikamerajärjestelmien tulisi myös varmistaa synkronointi ja kanavan identiteetti ennen toimitusta.

Mitä tiedostoja tarvitaan robottinäköpiirilevyjen valmistukseen?

Valmistuspaketin tulee sisältää piirilevyjen valmistustiedostot, kontrolloidun impedanssin vaatimukset, osaluettelon, sijoittelutiedostot, kokoonpanopiirustukset, linssin tai optisen liitännän tiedot, testausmenettely, laiteohjelmisto- tai ohjelmointiohjeet, hyväksyttävät kuvatestausrajat ja mahdolliset kalibrointitietorakenteet. Monikamerajärjestelmissä synkronointi ja liittimien kartoitus on dokumentoitava selkeästi.

Lähetä robottikameran piirilevytiedostot MIPI- ja kokoonpanotarkastusta varten