Прямо как в кино: нейросеть Google способна «воссоздать» фотографию по 64 пикселям

Можно ли повы­шать раз­ре­ше­ние фото­гра­фий до бес­ко­неч­но­сти? Можно ли гене­ри­ро­вать прав­до­по­доб­ные кар­ти­ны на осно­ве 64 пик­се­лей? Логика под­ска­зы­ва­ет, что это невоз­мож­но. Новая ней­ро­сеть от Google Brain счи­та­ет ина­че. Она дей­стви­тель­но повы­ша­ет раз­ре­ше­ние фото­гра­фий до неве­ро­ят­но­го уровня.

Крайняя сле­ва — кар­тин­ка, «скорм­лен­ная» ней­ро­се­ти, по цен­тру — «вос­ста­нов­лен­ное» изоб­ра­же­ние. Оригинал нахо­дит­ся справа

Команда научно-​исследовательского про­ек­та Google Brain, сфо­ку­си­ро­ван­но­го на глу­бин­ном обу­че­нии (алго­рит­мах, кото­рые учат ней­ро­се­ти «думать» и выстра­и­вать логи­че­ские цепоч­ки), раз­ра­бо­та­ла ком­пью­тер­ный алго­ритм, уме­ю­щий «вос­со­зда­вать» изоб­ра­же­ния, имея на руках исход­ник из все­го лишь 64 пикселей.

Система искус­ствен­но­го интел­лек­та пыта­ет­ся уга­дать, каким мог­ло бы быть исход­ное изоб­ра­же­ние, если бы его умень­ши­ли до 64 пик­се­лей. То есть она син­те­зи­ру­ет фото­гра­фию, кото­рая мог­ла бы быть исход­ным изоб­ра­же­ни­ем. Улучшить пер­вич­ный набор пик­се­лей она не спо­соб­на, сооб­ща­ет изда­ние Arstechnica.

Этот про­цесс орга­ни­зо­ван в два эта­па. Сначала исполь­зу­ет­ся кон­ди­ци­он­ная ней­ро­сеть (condition network), кото­рая срав­ни­ва­ет изоб­ра­же­ние раз­ме­ром 8х8 пик­се­лей с похо­жи­ми изоб­ра­же­ни­я­ми в более высо­ком раз­ре­ше­нии, кото­рые были умень­ше­ны. При этом све­ря­ют­ся общие пат­тер­ны и цвета.

На вто­рой ста­дии задей­ству­ет­ся ней­ро­сеть при­ор (prior network), кото­рая исполь­зу­ет дета­ли изоб­ра­же­ний высо­ко­го раз­ре­ше­ния, что­бы запол­нить изоб­ра­же­ния низ­ко­го раз­ре­ше­ния. Затем изоб­ра­же­ния, сге­не­ри­ро­ван­ные обе­и­ми ней­ро­се­тя­ми, объ­еди­ня­ют­ся для созда­ния наи­бо­лее веро­ят­но­го вари­ан­та исход­но­го изображения.

В Google Brain утвер­жда­ют, что таким обра­зом систе­ма спо­соб­на сге­не­ри­ро­вать изоб­ра­же­ние раз­ре­ше­ни­ем 32×32, близ­кое к исход­но­му. Планирует ли Google исполь­зо­вать новую ней­ро­сеть в дей­ству­ю­щих сер­ви­сах, в ком­па­нии не уточнили.

На иллю­стра­ции ввер­ху — самые удач­ные рабо­ты ней­ро­се­ти, в кото­рых она «поби­ла» ори­ги­на­лы по реа­ли­стич­но­сти. Для объ­ек­тив­но­сти — и неко­то­рые из худших.

В обла­сти гене­ра­ции фото­ре­а­ли­стич­ных изоб­ра­же­ний с помо­щью ней­ро­се­тей сей­час наблю­да­ет­ся очень бур­ное раз­ви­тие. В 2017 году мы навер­ня­ка услы­шим мно­го ново­стей на эту тему.

Источник: quibbll.com