Adobe uchvátilo svět. Opravdu lék na rozmazané fotografie?
22.10.2011, Michal Srna, aktualita
V posledních dnech oblétla svět informace o zázračné technologii od Adobe na opravu rozmazaných fotografií. Podívejme se, co od ní můžeme čekat, jaká jsou její úskalí a zdali se bude jednat o zatím neobjevený univerzální lék pro rozmazané fotografie.
Rozmazané fotografie - ztracené zážitky a mnohdy i jedinečné snímky, které někdy již nelze pořídit podruhé. Každý fotograf zajisté zaplatil touto formou daň za dlouhé ohnisko, rozklepané ruce, absenci stativu při snímání a špatné světelné podmínky.
Blíží se však doba, kdy tyto snímky možná nebude nutné ihned přesouvat do koše a se slzou v oku se prostě smířit se skutečností, že na rozmazanou fotografii neexistuje univerzální a úspěšný lék. Tento fakt se snaží změnit firma Adobe a její vyvíjená technologie na opravu rozmazaných snímků.
Jue Wang z Adobe představuje světu vyvíjený algoritmus
Přesuňme se nyní o několik dní zpět na konferenci Adobe MAX 2011, která se konala počátkem října v Los Angeles. Na ní byla demonstrována nová funkce pro budoucí Photoshop sloužící k automatické opravě rozmazaných fotografií. Technologie je stále ve vývoji a může, ale i nemusí, být implementována v nadcházející verzi Adobe Photoshop CS6. Je možné, že se jí dočkáme dokonce i později. V čem je tak unikátní, že zaujala celý svět?
Ukázka, jež vyvolala vlnu nadšení - vlevo rozmazaná fotografie, vpravo po rekonstrukci algoritmem
Pochopit problematiku opravy či rekonstrukce rozmazaných fotografií není zase tak jednoduché. Většina vědeckých pracovišť zabývajících se zpracováním obrazu se snaží vyvíjet algoritmy, které by byly schopné například zrekonstruovat rozmazané a nečitelné poznávací značky automobilů pro účely forenzní vědy atd.
Bylo vyvinuto již mnoho různých metod, které mohou za určitých podmínek spolehlivě fungovat a ze kterých vychází i práce autorů tohoto algoritmu (pro zvídavé a v oblasti zpracování obrazu zběhlé čtenáře více info zde: 1, 2, 3).
Ve většině běžných SW pro zpracování fotografií je však nenajdeme. Zde se každý snaží pouze fotografie doostřit (například nástroj Smart Sharpen v současné verzi Photoshopu), ne však zrekonstruovat. Výsledek znáte sami - fotografii sice doostříte, ale globálního rozmazání se stejně nezbavíte a navíc se vám značně zviditelní šum.
V Adobe si toho jsou velice dobře vědomi a již delší dobu se snaží přijít na plně automatizované řešení rekonstrukce rozmazaných fotografií. Zde diskutovaný algoritmus pracuje na zcela odlišné metodě než pouhé doostření rozmazané fotografie.
Cílem je detekovat chybu, která vedla k rozmazání fotografie a tuto chybu zaznamenat jako tzv. "blur kernel". Vypočtený "blur kernel" je pro každou rozmazanou fotografii zcela unikátní. Nese v sobě informaci o trajektorii pohybu fotoaparátu při snímání. Tuto trajektorii vám algoritmus dokonce zobrazí, jak můžete vidět na přiložených obrázcích z prezentace na Adobe MAX.
Algoritmus v akci - bílá trajektorie na černém představuje vypočítaný směr pohybu fotoaparátu
Jakmile algoritmus ví, co vedlo k rozmazání fotografie, provede výpočtem korekci, která na základě znalosti dané chyby obnoví původní snímek, jako by nedošlo k žádnému rozmazání. Zní to geniálně, že? Má to ovšem i své chyby.
Animace před/po rekonstrukci vyvíjeným algoritmem
Jelikož je výpočet chyby závislý na hledání směru pohybu, který vedl k rozmazání, může selhat v případě, že zdrojů rozmazání je více. Představte si například snímek běžce, který se na fotografii rozmaže kvůli tomu, že se pohybuje rychle a zároveň dojde i k rozmazání celého snímku pohybem fotoaparátu ve vaší ruce.
Technologie od Adobe selhává též v případech, že na snímku není dostatečné množství silných (výrazných) kontur či hran. Autoři též přiznávají, že velikou roli může hrát šum, případně i snímání fotografie za špatných světelných podmínek.
Animace před/po rekonstrukci - rozmazaný text, zde algoritmus funguje výborně
Dalším oříškem jsou rozmazané fotografie z důvodu nesprávného zaostření, s nimi si též žádný algoritmus zatím neporadí. V tomto směru je možným řešením nedávno představený light field fotoaparát od Lytro.
Jak sami vidíte, nalézt opravdu univerzální a zcela funkční lék na opravu rozmazaných fotografií je veliká výzva i pro lidi z Adobe. To je jeden z důvodů, proč je daný algoritmus stále ve stádiu prototypu a ne již ve stádiu vypuštění jako reálného produktu.
Minimum výrazných hran - zde algoritmus selhává (vlevo před, vpravo po rekonstrukci)
Rozhodně se tedy nejedná o zázračný lék na rozmazané fotografie a vývojáři mají zatím před sebou dlouhou cestu. Ano, v případech, že k rozmazání snímku vedl jednoduchý pohyb fotoaparátu a na snímku je dostatečné množství hran, může tato technologie provádět opravdu zázraky, což bylo také předmětem demonstrace na Adobe MAX.
Možná se ptáte, zdali snímky, na kterých byl algoritmus prezentován, nebyly nějak předem uměle rozmazány a celé to není tak trochu divadlo. I na to známe odpověď. První z dvojice prezentovaných snímků (obchodní dům a plakát) byly údajně opravdu reálně rozmazané snímky, kde rozmazání vzniklo pohybem fotoaparátu při expozici. Poslední snímek, na kterém byl algoritmus demonstrován, byl dle slov Adobe rozmazán pouze synteticky.
Autorům tedy můžeme držet pěsti, ať svůj algoritmus doladí do stavu, s jakým budou spokojeni pro finální vypuštění do Photoshopu a poté se uvidí, zdali byl nalezen opravdu univerzální lék na rozmazané fotografie. Osobně jsem v tomto směru spíše skeptický.
Na druhou stranu, pokud bude technologie schopna opravit alespoň nějaké snímky, může tak zachránit zážitky a neopakovatelné momenty mnoha fotografům, kteří si nyní pouze povzdechnou "další rozmazaná fotografie...".
Videozáznam prezentace této technologie na Adobe MAX můžete shlédnout zde:
Zdroje: blogs.adobe.com, prodesigntools.com
Blíží se však doba, kdy tyto snímky možná nebude nutné ihned přesouvat do koše a se slzou v oku se prostě smířit se skutečností, že na rozmazanou fotografii neexistuje univerzální a úspěšný lék. Tento fakt se snaží změnit firma Adobe a její vyvíjená technologie na opravu rozmazaných snímků.
Jue Wang z Adobe představuje světu vyvíjený algoritmus
Přesuňme se nyní o několik dní zpět na konferenci Adobe MAX 2011, která se konala počátkem října v Los Angeles. Na ní byla demonstrována nová funkce pro budoucí Photoshop sloužící k automatické opravě rozmazaných fotografií. Technologie je stále ve vývoji a může, ale i nemusí, být implementována v nadcházející verzi Adobe Photoshop CS6. Je možné, že se jí dočkáme dokonce i později. V čem je tak unikátní, že zaujala celý svět?
Ukázka, jež vyvolala vlnu nadšení - vlevo rozmazaná fotografie, vpravo po rekonstrukci algoritmem
Pochopit problematiku opravy či rekonstrukce rozmazaných fotografií není zase tak jednoduché. Většina vědeckých pracovišť zabývajících se zpracováním obrazu se snaží vyvíjet algoritmy, které by byly schopné například zrekonstruovat rozmazané a nečitelné poznávací značky automobilů pro účely forenzní vědy atd.
Bylo vyvinuto již mnoho různých metod, které mohou za určitých podmínek spolehlivě fungovat a ze kterých vychází i práce autorů tohoto algoritmu (pro zvídavé a v oblasti zpracování obrazu zběhlé čtenáře více info zde: 1, 2, 3).
Ve většině běžných SW pro zpracování fotografií je však nenajdeme. Zde se každý snaží pouze fotografie doostřit (například nástroj Smart Sharpen v současné verzi Photoshopu), ne však zrekonstruovat. Výsledek znáte sami - fotografii sice doostříte, ale globálního rozmazání se stejně nezbavíte a navíc se vám značně zviditelní šum.
V Adobe si toho jsou velice dobře vědomi a již delší dobu se snaží přijít na plně automatizované řešení rekonstrukce rozmazaných fotografií. Zde diskutovaný algoritmus pracuje na zcela odlišné metodě než pouhé doostření rozmazané fotografie.
Cílem je detekovat chybu, která vedla k rozmazání fotografie a tuto chybu zaznamenat jako tzv. "blur kernel". Vypočtený "blur kernel" je pro každou rozmazanou fotografii zcela unikátní. Nese v sobě informaci o trajektorii pohybu fotoaparátu při snímání. Tuto trajektorii vám algoritmus dokonce zobrazí, jak můžete vidět na přiložených obrázcích z prezentace na Adobe MAX.
Algoritmus v akci - bílá trajektorie na černém představuje vypočítaný směr pohybu fotoaparátu
Jakmile algoritmus ví, co vedlo k rozmazání fotografie, provede výpočtem korekci, která na základě znalosti dané chyby obnoví původní snímek, jako by nedošlo k žádnému rozmazání. Zní to geniálně, že? Má to ovšem i své chyby.
Animace před/po rekonstrukci vyvíjeným algoritmem
Jelikož je výpočet chyby závislý na hledání směru pohybu, který vedl k rozmazání, může selhat v případě, že zdrojů rozmazání je více. Představte si například snímek běžce, který se na fotografii rozmaže kvůli tomu, že se pohybuje rychle a zároveň dojde i k rozmazání celého snímku pohybem fotoaparátu ve vaší ruce.
Technologie od Adobe selhává též v případech, že na snímku není dostatečné množství silných (výrazných) kontur či hran. Autoři též přiznávají, že velikou roli může hrát šum, případně i snímání fotografie za špatných světelných podmínek.
Animace před/po rekonstrukci - rozmazaný text, zde algoritmus funguje výborně
Dalším oříškem jsou rozmazané fotografie z důvodu nesprávného zaostření, s nimi si též žádný algoritmus zatím neporadí. V tomto směru je možným řešením nedávno představený light field fotoaparát od Lytro.
Jak sami vidíte, nalézt opravdu univerzální a zcela funkční lék na opravu rozmazaných fotografií je veliká výzva i pro lidi z Adobe. To je jeden z důvodů, proč je daný algoritmus stále ve stádiu prototypu a ne již ve stádiu vypuštění jako reálného produktu.
Minimum výrazných hran - zde algoritmus selhává (vlevo před, vpravo po rekonstrukci)
Rozhodně se tedy nejedná o zázračný lék na rozmazané fotografie a vývojáři mají zatím před sebou dlouhou cestu. Ano, v případech, že k rozmazání snímku vedl jednoduchý pohyb fotoaparátu a na snímku je dostatečné množství hran, může tato technologie provádět opravdu zázraky, což bylo také předmětem demonstrace na Adobe MAX.
Možná se ptáte, zdali snímky, na kterých byl algoritmus prezentován, nebyly nějak předem uměle rozmazány a celé to není tak trochu divadlo. I na to známe odpověď. První z dvojice prezentovaných snímků (obchodní dům a plakát) byly údajně opravdu reálně rozmazané snímky, kde rozmazání vzniklo pohybem fotoaparátu při expozici. Poslední snímek, na kterém byl algoritmus demonstrován, byl dle slov Adobe rozmazán pouze synteticky.
Autorům tedy můžeme držet pěsti, ať svůj algoritmus doladí do stavu, s jakým budou spokojeni pro finální vypuštění do Photoshopu a poté se uvidí, zdali byl nalezen opravdu univerzální lék na rozmazané fotografie. Osobně jsem v tomto směru spíše skeptický.
Na druhou stranu, pokud bude technologie schopna opravit alespoň nějaké snímky, může tak zachránit zážitky a neopakovatelné momenty mnoha fotografům, kteří si nyní pouze povzdechnou "další rozmazaná fotografie...".
Videozáznam prezentace této technologie na Adobe MAX můžete shlédnout zde:
Ukázka algoritmu na opravu rozmazaných fotografií z Adobe MAX
Zdroje: blogs.adobe.com, prodesigntools.com
