Umělá inteligence míří do snímačů: Sony uvádí IMX500 s AI procesorem
14.5.2020, Milan Šurkala, aktualita
Systémy umělé inteligence míří do stále více oblastí a jednou z nich je i fotografie a video. Sony proto vyvinulo nové snímače IMX500 a IMX501, které mají přímo zabudovaný procesor pro vyhodnocování videa pomocí systémů AI.
Společnost Sony přichází na trh s novými snímači IMX500 a IMX501, které přináší jeden nezvyklý prvek. Přímo u snímače totiž bude nejen tradiční čip ISP (Image Signal Processor) pro zpracování obrazu, ale také speciální DSP (Digital Signal Processor) dedikovaný pro výpočty systémů umělé inteligence. Nejde však o to, že by AI měla "kecat" do toho, jak upravit fotografii. Tyto snímače budou zaměřeny do průmyslového nasazení a umělá inteligence se tu má starat o rozpoznávání obrazu na základě vložených algoritmů a konkrétního natrénování. Cílem je lokální zpracování přímo na snímači, což má rovněž zvýšit bezpečnost a soukromí.
Jistě se ptáte, jak je možné zvýšit soukromí tím, že použijeme další snímací čip natáčející své okolí a umělou inteligenci k tomu. Podstatou je zde to, že se natáčený obraz neposílá dál, kde by mohl ohrozit soukromí, ale vše se zpracuje lokálně na snímači a ven už mohou jít jen výsledky rozpoznání. Zpracování je navíc bleskurychlé v řádu milisekund pomocí modelu MobileNet V1 pro rozpoznání obrazu, nicméně je nutno počítat, že zde nemohou běžet až příliš komplikované algoritmy umělé inteligence. Tyto algoritmy (resp. jejich natrénování) lze pochopitelně měnit dle potřeb.
Samo Sony tak zmiňuje např. počítání zákazníků vstupujících do areálu, monitorování stavu skladu, detekce míst, kde se shlukují lidé, a mnoho dalšího bez toho, aniž by obraz musel opustit snímač. Ven mohou jít už jen zpracovaná data, která nemusí na základě zaslaného obrazu zpracovávat jiný externí systém. Pochopitelně, čip umí poslat na výstup nejen tato metadata, ale zůstává mu i možnost klasického obrazového RAW a YUV/RGB výstupu.
Sony IMX500 je samotným čipem pro vlastní implementaci, IMX501 je pak celým připraveným systémem (package). Jde o 1/2,3" CMOS BSI čip s rozlišením 12,3 MPx a 1,55µum pixely. Čipy takových vlastností se obvykle používají v malých kompaktech a ultrazoomech, dnes je ale často najdeme i v dronech. Jak ale již bylo řečeno, tyto modely s AI systémy jsou určeny do průmyslových kamer. IMX500 zvládne dosáhnout sekvenčního snímání s rychlostí 60 fps v plném 12MPx rozlišení i v režimu více než 4K videa (4058×2288 pixelů). Full HD (1920×1080 pixelů) zvládá dokonce při 240 fps. Pokud ale využijete zpracování obrazu pomocí AI, snímkovací frekvenci spadne na 30 fps. IMX500 je už k dispozici za 10000 japonských jenů (cca 2400 Kč), IMX501 přijde v červnu za 20 tisíc jenů (cca 4800 Kč).
