Фото нейросети – Нейросети для создания и обработки изображений

alexxlab
alexxlab
06.05.201922.12.2019

Содержание

Реставрируем фотографии с помощью нейросетей / Mail.ru Group corporate blog / Habr

Всем привет, я работаю программистом-исследователем в команде компьютерного зрения Mail.ru Group. Ко Дню Победы в этом году мы решили сделать проект по реставрации военных фотографий. Что такое реставрация фотографий? Она состоит из трех этапов:

  • находим все дефекты изображения: надломы, потертости, дырки;
  • закрашиваем найденные дефекты, основываясь на значениях пикселей вокруг них;
  • раскрашиваем изображение.

В этой статье я детально пройдусь по каждому из этапов реставрации и расскажу, как и где мы брали данные, какие сети мы учили, что у нас получилось, на какие грабли мы наступили.

Мы хотим найти все пиксели, относящиеся к дефектам на загруженной фотографии. Для начала нам нужно понять, какие фотографии военных лет будут загружать люди. Мы обратились к организаторам проекта «Бессмертный полк», которые поделились с нами данными. Проанализировав их, мы заметили, что люди зачастую загружают портреты, одиночные или групповые, на которых есть умеренное или большое количество дефектов.

Затем нужно было собрать обучающую выборку. Обучающая выборка для задачи сегментации — это изображение и маска, на которой отмечены все дефекты. Самый простой способ — отдать фотографии в разметку ассесорам. Конечно, люди умеют хорошо находить дефекты, но проблема в том, что разметка — это очень долгий процесс.

На разметку пикселей, относящихся к дефектам на одной фотографии, может уходить от одного часа до целого рабочего дня, поэтому за несколько недель сложно собрать выборку больше чем из 100 фотографий. Поэтому мы старались как-то дополнять наши данные и писали дефекты самостоятельно: брали чистую фотографию, наносили на нее искусственные дефекты и получали маску, показывающую нам, на какие именно части изображения нанесены дефекты. Главной частью нашей обучающей выборки стали 79 фотографий, размеченные вручную, из них 11 штук мы перенесли в тестовую выборку.

Самый популярный подход для задачи сегментации: взять Unet с предобученным энкодером и минимизировать сумму (binary cross-entropy) и (Sørensen–Dice coefficient).

Какие проблемы возникают при таком подходе в задаче сегментации дефектов?

  • Даже если нам кажется, что дефектов на фотографии очень много, что она очень грязная и сильно потрёпана временем, всё равно площадь, занимаемая дефектами, гораздо меньше неповреждённой части изображения. Чтобы решить эту проблему, можно увеличить вес положительного класса в , и оптимальным весом будет отношение количества всех чистых пикселей к количеству пикселей, принадлежащих к дефектам.
  • Вторая проблема в том, что если мы используем Unet из коробки с предобученным энкодером, например Albunet-18, то теряем много позиционной информации. Первый слой Albunet-18 состоит из свертки с ядром 5 и stride равным двум. Это позволяет сети быстро работать. Мы пожертвовали временем работы сети ради лучшей локализации дефектов: убрали max pooling после первого слоя, уменьшили stride до 1 и уменьшили ядро свёртки до 3.
  • Если мы будем работать с маленькими изображениями, например, сжимая картинку до 256 х 256 или 512 х 512, то маленькие дефекты будут просто пропадать из-за интерполяции. Поэтому нужно работать с большой картинкой. Сейчас в production мы сегментируем дефекты на фотографии 1024 х 1024. Поэтому необходимо было обучать нейросеть на больших кропах больших изображений. А из-за этого возникают проблемы с маленьким размером батча на одной видеокарте.
  • Во время обучения у нас на одну карточку помещается около 20 картинок. Из-за этого оценка среднего и дисперсии в BatchNorm-слоях получается неточной. Решить эту проблему нам помогает In-place BatchNorm, который, во-первых, экономит память, а во-вторых, у него есть версия Synchronized BatchNorm, которая синхронизирует статистики между всеми карточками. Теперь мы считаем среднее и дисперсию не по 20 картинкам на одной карточке, а по 80 картинкам с 4 карточек. Это улучшает сходимость сети.

В конце концов, увеличив вес , поменяв архитектуру и использовав In-place BatchNorm, мы начали искать дефекты на фотографии. Но задёшево можно было сделать ещё чуть лучше, добавив Test Time Augmentation. Мы можем прогнать сеть один раз на входном изображении, потом отзеркалить его и прогнать сеть ещё раз, это может помочь нам найти маленькие дефекты.

В результате наша сеть сошлась на четырёх GeForce 1080Ti за 18 часов. Inference занимает 290 мс. Получается достаточно долго, но это плата за то, что мы хорошо ищем небольшие дефекты. Валидационный равен 0,35, а — 0,93.

Решить эту задачу нам снова помог Unet. На вход ему мы подавали исходное изображение и маску, на которой единицами отмечаем чистые пространства, а нолями — те пиксели, которые хотим закрасить. Данные мы собирали следующим образом: брали из интернета большой датасет с картинками, например OpenImagesV4, и искусственно добавляли дефекты, которые похожи по форме на те, что встречаются в реальной жизни. И после этого обучали сеть восстанавливать недостающие части.

Как мы можем модицифировать Unet для этой задачи?

Можно использовать вместо обычной свёртки частичную (Partial Convolution). Её идея в том, что при сворачивании региона картинки с каким-то ядром мы не учитываем значения пикселей, относящихся к дефектам. Это помогает сделать закрашивание точнее. Пример из статьи NVIDIA. На центральной картинке они использовали Unet с обычной свёрткой, а на правой — с Partial Convolution:

Мы обучали сеть 5 дней. В последний день мы замораживали BatchNorm, это помогло сделать границы закрашиваемой части изображения менее заметными.

Картинку 512 х 512 сеть обрабатывает за 50 мс. Валидационный PSNR равен 26,4. Однако в этой задаче нельзя безоговорочно доверять метрикам. Поэтому мы сначала прогнали на наших данных несколько хороших моделей, анонимизировали результаты, а потом проголосовали за те, что нам больше понравились. Так мы и выбрали финальную модель.

Я упоминал, что мы искусственно добавляли дефекты в чистые изображения. При обучении нужно очень внимательно следить за максимальным размером накладываемых дефектов, потому что при очень больших дефектах, которые сеть никогда не видела в процессе обучения, она будет дико фантазировать и давать абсолютно неприменимый результат. Так что, если вам нужно закрашивать большие дефекты, при обучении тоже подавайте большие дефекты.

Вот пример работы алгоритма:

Мы сегментировали дефекты и закрасили их, третий шаг — реконструкция цвета. Напомню, что среди фотографий «Бессмертного полка» очень много одиночных или групповых портретов. И мы хотели, чтобы наша сеть хорошо с ними работала. Мы решили сделать свою колоризацию, потому что ни один из известных нам сервисов не раскрашивает портреты быстро и хорошо.

На GitHub есть популярный репозиторий для раскрашивания фотографий. В среднем, он хорошо делает эту работу, но у него есть несколько проблем. Например, он очень любит раскрашивать одежду в синий цвет. Поэтому его мы тоже отвергли.

Итак, мы решили сделать нейросеть для колоризации. Самая очевидная идея: брать чёрно-белое изображение и предсказывать три канала, красный, зелёный и синий. Но, вообще говоря, мы можем упростить себе работу. Можем работать не с RGB-представлением цвета, а с YCbCr-представлением. Компонента Y — это яркость (luma). Загружаемое черно-белое изображение и есть Y канал, мы будем его переиспользовать. Оставалось спрогнозировать Cb и Cr: Cb — это разница голубого цвета и яркости, а Cr — это разница красного цвета и яркости.

Почему мы выбрали YCbCr-представление? Глаз человека более восприимчив к перепадам яркости, чем к изменениям цвета. Поэтому мы переиспользуем Y-компоненту (яркость), то, к чему глаз изначально хорошо восприимчив, и прогнозируем Cb и Cr, в которых мы можем чуть больше ошибаться, поскольку «фальш» в цветах человек замечает меньше. Этой особенностью начали активно пользоваться на заре цветного телевидения, когда пропускной способности канала не хватало, чтобы передавать все цвета полностью. Изображение передавали в YCbCr, передавали Y-компоненту без изменений, а Cb и Cr сжимали в два раза.

Можно снова взять Unet с предобученным энкодером и минимизировать L1 Loss между настоящим CbCr и прогнозируемым. Мы хотим раскрашивать портреты, поэтому кроме фотографий из OpenImages нам нужно добавить специфические для нашей задачи фотографии.

Где взять цветные фотографии людей в военной форме? В интернете есть люди, которые в качестве хобби или на заказ раскрашивают старые фотографии. Они это делают крайне аккуратно, стараясь полностью соблюсти все нюансы. Раскрашивая форму, погоны, медали они обращаются к архивным материалам, поэтому результату их работы можно доверять. В общей сложности мы использовали 200 фотографий, раскрашенных вручную. Второй полезный источник данных — это сайт Рабоче-Крестьянской Красной Армии. Один из его создателей сфотографировался практически во всех возможных вариантах военной формы времен Великой Отечественной войны.

На некоторых фотографиях он повторял позы людей с знаменитых архивных фотографий. Особенно хорошо, что он снимался на белом фоне, это позволило нам очень хорошо аугментировать данные, добавляя разные природные объекты на задний план. Также мы использовали обычные современные портреты людей, дополняя их знаками различия и прочими атрибутами одежды военного времени.

Мы обучили AlbuNet-50 — это Unet, в котором в качестве энкодера используется AlbuNet-50. Сеть начала давать адекватные результаты: кожа розовая, глаза серо-голубые, погоны желтоватого цвета. Но проблема в том, что она раскрашивала картинки пятнами. Это связано с тем, что с точки зрения L1-ошибки иногда бывает выгоднее не делать ничего, чем пытаться предсказывать какой-то цвет.

Мы сравнением наш результат с фотографией Ground Truth — ручной колоризацией художника под ником Klimbim

Как решить эту проблему? Нам нужен дискриминатор: нейронная сеть, которой мы на вход будем подавать изображения, и она будет говорить, насколько реалистично это изображение выглядит. Ниже одна фотография раскрашена вручную, а вторая — нейросетью. Как вы думаете, какая?

Ответ

Вручную раскрашена левая фотография.

В качестве дискриминатора мы используем дискриминатор из статьи Self-Attention GAN. Это небольшая свёрточная сеть, в последние слои которой встроен так называемый Self-Attention. Он позволяет больше «обращать внимание» на детали изображения. Также мы используем спектральную нормализацию. Точное объяснение и мотивацию можно найти в статье. Мы обучили сеть с комбинацией L1-loss и ошибки, возвращаемой дискриминатором. Теперь сеть лучше раскрашивает детали изображения, а фон получется более консистентным. Еще один пример: слева результат работы сети, обученной только с L1-loss, справа — с L1-loss и ошибкой дискриминатора.

На четырёх Geforce 1080Ti обучение заняло два дня. Сеть отрабатывала за 30 мс на картинке 512 х 512. Валидационная MSE — 34,4. Как и в задаче inpainting, метрикам можно верить не до конца. Поэтому мы отобрали 6 моделей, которые имели лучшие метрики на валидации, и вслепую голосовали за лучшую модель.

После выкатки модели в production мы продолжили эксперименты и пришли к выводу, что лучше минимизировать не попиксельный L1-loss, а perceptual loss. Чтобы его посчитать, нужно прогнать предсказание сети и исходную фотографию через cеть VGG-16, взять карты признаков на нижних слоях и сравнить их по MSE. Такой подход закрашивает больше областей и помогает получить более красочную картинку.

Unet — это классная модель. В первой задаче сегментации мы столкнулись с проблемой при обучении и работе с картинками большого разрешения, поэтому используем In-Place BatchNorm. Во второй задаче (Inpainting) вместо обычной свёртки мы использовали Partial Convolution, это помогло достичь лучших результатов. В задаче колоризации к Unet мы добавили небольшую сеть-дискриминатор, которая штрафовала генератор за нереалистично выглядящее изображение и использовали perceptual loss.

Второй вывод — ассесоры важны. Причем не только на стадии разметки картинок перед обучением, но и для валидации итогового результата, потому что в задачах закрашивания дефектов или колоризации всё равно нужно валидировать результат с помощью человека. Мы отдаем пользователю три фотографии: исходную с удаленными дефектами, колоризованную с удаленными дефектами и просто колоризованную фотографию на случай, если алгоритм поиска и закрашивания дефектов ошибся.

Мы взяли некоторые фотографии проекта «Военный альбом» и обработали их нашими нейросетями. Вот такие результаты получили:

А здесь можно посмотреть их в оригинальном разрешении и на каждом этапе обработки.

habr.com

Мы испытали пять бесплатных сервисов с нейросетями, и вот что получилось

Когда-то развернуть нейросеть на своем ПК могли только умудренные программисты. Но теперь технологию «облачного искусственного интеллекта» используют десятки онлайн-сервисов и мобильных приложений.

Я протестировала пять бесплатных разработок, которые используют нейросеть для творчества: рисования, раскрашивания рисунков, обработки фото и видео. Результаты эксперимента – в статье! Спойлер: искусственному интеллекту удалось меня удивить. Буду рада, если и вы поделитесь с нами своим креативом в комментариях.

 

Вы рисуете, ИИ угадывает

Сервис quickdraw.withgoogle.com предлагает сделать 20-секундный скетч заданного предмета. После этого нейронная сеть Google угадывает, что именно вы изобразили. Это очень похоже на «Крокодил» – популярную игру для компании, но только против вас играет искусственный интеллект. Я сыграла три раунда, и в каждом нейросеть распознавала 4-6 моих рисунков из шести. Рисовать, кстати, нужно мышкой, что не очень удобно.

 

Мы-испытали-пять-бесплатных-сервисов-с-нейросетями-и-вот-что-получилось1

 

Оказалось, двадцати секунд очень мало даже для простого наброска. Но в этом и соль: я успевала изобразить только общую форму предмета и его самые характерные детали. В конце сервис показывает «разбор полетов»: что увидела нейросеть на рисунке и как этот объект нарисовали другие пользователи.

 

Мы-испытали-пять-бесплатных-сервисов-с-нейросетями-и-вот-что-получилось2

 

Рисуй вместе с ИИ: картина в стиле Ван Гога

Тем, кто увлечен рисованием всерьез, нейросеть предлагает поработать в соавторстве: на просторах сети есть сервисы для «раскрашивания» рисунков и фото в выбранном стиле. Загружаете на сайт свой рисунок, кликаете картину-образец – и получаете произведение искусства. Прототипом стала программа Neural Doodle, выложенная в 2016 году в открытый доступ. Сервис instapainting.com, который я решила протестировать, – один из ее преемников. Сюда можно загрузить любое изображение и применить к нему один из 20 стилей, собранных в галерее. За основу шаблонов взяты картины известных художников: Джеймса Уистлера, Умберта Боччони и даже Пабло Пикассо. Я отправила в instapainting.com свой рисунок и предоставила нейросети делать с ним, что ей заблагорассудится. Вот результат.

 

Мы-испытали-пять-бесплатных-сервисов-с-нейросетями-и-вот-что-получилось7

 

Кстати, готовую работу сервис предложил нарисовать на холсте – но уже за плату. Рисунок сначала наносится на подрамник с помощью рельефной печати, а потом его дорабатывает красками художник. Еще один интересный дуэт человека и машины.

 

Нейросеть поможет создать персонажа

Сервис для тех, кто увлекается трехмерной компьютерной графикой: демоверсия программы с длинным названием «Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression» создает объемную модель лица по одной фотографии.

Я загрузила на сайт свое фото, которое соответствовало требованиям разработчиков (анфас в хорошем разрешении) – и получила вполне узнаваемый 3D-слепок собственного лица! В этот момент я всерьез пожалела, что не увлекаюсь 3D-моделированием. Ну а те, кто его освоил, наверняка воспользуются возможностями сервиса. Результат можно скачать в удобном формате .obj.

 

Мы-испытали-пять-бесплатных-сервисов-с-нейросетями-и-вот-что-получилось3

 

Раскрась видео!

Еще каких-то лет 40 назад кинорежиссерам приходилось вручную раскрашивать кинопленку, чтобы добиться эффекта ярких цветов в кадре. Эта кропотливая работа могла занять недели. Теперь нейросеть и мобильное приложение Artisto могут изменить цвета на видео буквально за несколько минут. Алгоритм похож на тот, что используется для фото: вы выбираете один из 14 цветовых шаблонов и накладываете на видео. Обработка происходит в облаке. По словам разработчиков, интернет-концерна Mail.ru, Artisto – первый подобный сервис для видео, и он фактически перерисовывает ролик, оставляя сюжет, но добавляя новые цвета и фактуры. В результате получается видео, похожее на анимацию.

 

 

Сервисы для фотографа

Выбор онлайн-сервисов для фотографов больше не исчерпывается фильтрами и фоторедакторами. Теперь можно выполнять и сложные операции по восстановлению фото: например, повысить разрешение и убрать пикселизацию, улучшить цвета и резкость. Делать это вручную долго, сложно и требует не только хороших умений работы в редакторе, но и художественных навыков. А искусственный интеллект сделает ту же работу за минуту. Правда, результат пока далек от идеала.

Сервис украинского стартапа Let’s Enhance улучшает качество фото, повышая их разрешение вчетверо. Также на сайте можно улучшить цвета и текстуры фотографии. По словам разработчиков, алгоритм обработки убирает «артефакты сжатия» (например, потерю резкости на краях) и повышает разрешение. А нейросеть определяет изображения на фото и дополняет их деталями – фактически «дорисовывает по памяти».

Я загрузила на сервис старое фото из «ВКонтакте», сильно сжатое загрузчиком «ВК» образца 2007 года. В целом Let’s Enhance выполнил свою задачу неплохо: полюбуйтесь, как преобразились дерево и шлем! Но вот к отрисовке лица у меня есть претензии.

 

Мы-испытали-пять-бесплатных-сервисов-с-нейросетями-и-вот-что-получилось4

Искусственный интеллект может вернуть фотографии не только резкость, но и цвет. Так, один японский ресурс предлагает раскрасить загруженную черно-белую фотографию. Чтобы протестировать его, я превратила цветное фото в черно-белое с помощью фоторедактора, а потом заново раскрасила с помощью сервиса. Нейросеть верно определила цвета кожи и травы, но не угадала с одеждой. И, кажется, ей по душе сдержанная цветовая гамма.

 

Мы-испытали-пять-бесплатных-сервисов-с-нейросетями-и-вот-что-получилось5

А вы пользовались какими-нибудь из этих сервисов? Какие результаты получились у вас?

 

Алена Андреева

 

Больше интересного

robo-hunter.com

19 отличных бесплатных нейросетей | Компьютерра

К 2019 году искусственные нейронные сети стали чем-то большим, чем просто забавная технология, о которой слышали только гики. Да, среди обычных людей мало кто понимает что из себя представляют нейросети и как они работают, но проверить действие подобных систем на практике может каждый – и для этого не нужно становиться сотрудником Google или Facebook. Сегодня в Интернете существуют десятки бесплатных проектов, иллюстрирующих те или иные возможности современных ИНС, о самых интересных из них мы и поговорим.

Из 2D в 3D

На этом сервисе вы сможете вдохнуть новую жизнь в свои старые фотографии, сделав их объемными. Весь процесс занимает меньше минуты, необходимо загрузить изображение и через несколько секунд получить 3D-модель, которую можно покрутить и рассмотреть во всех деталях. Впрочем, есть два нюанса – во-первых, фотография, должна быть портретной (для лучшего понимания требований на главной странице сайта представлены наиболее удачные образцы снимков, которые ранее загружали другие пользователи; во-вторых, детализация получаемой модельки зачастую оставляет желать лучшего, особенно, если фотография в низком разрешении. Однако авторы разрешают не только ознакомиться с результатом в окне браузера, но и скачать получившийся файл в формате obj к себе на компьютер, чтобы затем самостоятельно его доработать.

Как найти: http://cvl-demos.cs.nott.ac.uk/vrn/

Нейминг брендов

Придумали крутую идею для стартапа, но не можете определиться с именем для будущей компании? Достаточно вбить несколько ключевых слов, задать длину названия в символах и готово! В общем, больше не нужно искать на фрилансе людей, которые будут решать такой личный вопрос, как наименование дела всей вашей жизни.

Как найти: https://namelix.com/

Выбор досуга

Пересмотрели все интересные вам фильмы, прочли все достойные книги и не знаете чем занять вечер? Система рекомендаций от специалиста по искусственному интеллекту Марека Грибни расскажет как увлекательно и с пользой провести свободное время. Для корректной работы сервиса вас сперва попросят указать ваши любимые произведения в кинематографе, литературе, музыке или живописи.

Как найти: http://www.gnod.com/

Рай для искусствоведа

Google специально для поклонников современного (и не только) искусства запустила проект Google Arts & Culture, в котором можно подобрать произведения по вашему вкусу как от малоизвестных, так и от малоизвестных авторов. Большая часть контента здесь на английском, но если вы не дружите с языками, можно воспользоваться встроенным переводчиком.

Как найти: https://artsandculture.google.com/project

Озвучивание картинок

Японская студия Qosmo разработала очень необычную нейросеть Imaginary Soundscape, которая воспроизводит звук, соответствующий тому или иному изображению. В качестве источника информации вы можете указать ссылку на любую картинку в Интернете, загрузить свой файл либо выбрать случайную локацию на Google Maps.

Как найти: http://imaginarysoundscape2.qosmo.jp/

Не умеешь рисовать – тогда тебе к нам!

Если вы пробовали использовать рукописный ввод на своем смартфоне, эта нейросеть покажется вам до боли знакомой: она превращает любые каракули в аккуратные 2D-рисунки.

Как найти: https://www.autodraw.com/

Генерация людей

Thispersondoesnotexist – это один самых известных AI-проектов. Нейросеть, созданная сотрудником Uber Филиппом Ваном, выдает случайное изображение несуществующего человека при каждом обновлении страницы.

Как найти: https://thispersondoesnotexist.com/

Генерация… котов

Тот же автор разработал аналогичный сайт, генерирующий изображения несуществующих котов.

Как найти: https://thiscatdoesnotexist.com/

Быстрое удаление фона

Часто ли вам приходится тратить драгоценное время на удаление бэкграунда с фотографий? Даже если регулярно такой необходимости не возникает, следует на всякий случай знать о возможности быстрого удаления фона с помощью удобного онлайн-инструмента.

Как найти: https://www.remove.bg/

Написать стихотворение

Компания ‘Яндекс’, известная своей любовью к запуску необычных русскоязычных сервисов, имеет в своем портфолио сайт, где искусственный интеллект составляет рандомные стихотворения из заголовков новостей и поисковых запросов.

Как найти: https://yandex.ru/autopoet/onegin/27

Окрашивание черно-белых фотографий

Colorize – это также российская нейросеть, возвращающая цвета старым черно-белым снимкам. В бесплатной версии доступно 50 фотографий, если вам нужно больше, можете приобрести платный аккаунт с лимитом в десять тысяч изображений.

Как найти: https://colorize.cc/dashboard

Апскейлинг фото

Лет 10-15 назад камеры мобильных устройств не отличались высоким разрешением, и слабый сенсор в телефоне никак не мог справиться с детализированной картиной окружающего мира. Теперь же, если вы захотите повысить разрешение своих старых фотографий, это можно сделать на сервисах вроде Bigjpg и Let’s Enhance, которые позволяют увеличить размер изображения без потери в качестве.

Как найти: https://bigjpg.com/

https://letsenhance.io/

Чтение текста голосом знаменитостей

Благодаря высоким технологиям, сегодня у вас есть возможность озвучить любую фразу голосом самых известных в мире людей. Все просто: пишите текст и выбираете человека (среди последних – Дональд Трамп, Тейлор Свифт, Марк Цукерберг, Канье Уэст, Морган Фриман, Сэмюель Л Джексон и другие).

Как найти: https://voice.headliner.app/

Описание фотографий

Казалось бы, искусственный интеллект должен быть способен без труда описать любую, даже самую сложную картинку. Но это вовсе не так, обучить ИИ распознавать отдельные образы действительно относительно просто, а вот заставить компьютер понимать общую картину происходящего на изображении, очень сложная задача. У Microsoft получилось с ней справиться, и ее CaptionBot без труда скажет, что вы ему показываете.

Как найти: https://www.captionbot.ai/

Музыкальная шкатулка

Напоследок расскажем о целой пачке нейросетей от Google, первая из них – Infinite Drum Machine. Открыв страницу приложения, вы увидите своеобразную карту, на которой находятся самые разнообразные звуки. С помощью круглых манипуляторов можно изменять сочетание элементов, если получившийся набор покажется вам бессмысленным, нажмите кнопку Play в нижней части экрана и звуковая картина сложится сама собой.

Как найти https://aiexperiments.withgoogle.com/drum-machine

Птичий хор

Если предыдущий сервис может оказаться полезным для, например, диджеев или обычных музыкантов, то польза от управления голосами десятков тысяч певчих птиц довольно сомнительна. Кстати, коллекция звуков для Bird Sounds собиралась орнитологами со всего мира на протяжении нескольких десятилетий.

Как найти: https://aiexperiments.withgoogle.com/thing-translator

Виртуальный пианист

В A. I. Duet пользователю предлагается сыграть какую-нибудь мелодию на пианино, а искусственный интеллект попробует самостоятельно закончить композицию, подобрав наиболее логичное и гармоничное продолжение.

Как найти: https://experiments.withgoogle.com/ai-duet

Распознавание рисунков

Еще во время первых экспериментов с нейросетями в середине прошлого века основной задачей машинного обучения было распознавание визуальных образов. Спустя десятки лет эта технология выбралась из лабораторий и доступна всем желающим: на сайте quickdraw.withgoogle.com/ вам предложат быстро рисовать простые наброски определенных предметов, при этом ИИ будет все время комментировать происходящее на экране синтезированной речью.

Как найти: quickdraw.withgoogle.com/

Объяснение логики машинного обучения

Проект Visualizing High-Dimensional Space (“Визуализация многомерного пространства”) создавался для того, чтобы объяснить простым людям и начинающим разработчикам, как работают нейросети. Когда ИИ, оперируя большими базами данных, получает информацию (например, вашу фотографию, введенную фразу или только что нарисованное изображение), он сравнивает входящие данные с теми, что у него уже есть. VHDS наглядно демонстрирует корреляцию одного лишь выбранного вами слова с миллионами аналогичных понятий.

Как найти: https://experiments.withgoogle.com/visualizing-high-dimensional-space

www.computerra.ru

На этом сайте вы можете загрузить фотографию, которую хотите обработать, и получить неожиданный шедевр

Эти изображения, похожие и на фотографии, и на картины, создали пользователи российского сайта Ostagram с помощью техники инцепционизм (Inceptionism), которая совмещает технологии и искусство. Чтобы создать единую необычную картину, разные изображения объединяются с помощью нейронных сетей.

Нейронная сеть представляет собой вычислительную модель, основанную на структуре биологической нейронной сети. Обычное программное обеспечение работает в соответствии со строгими параметрами, но искусственные нейронные сети обладают способностью «обучаться», подпитываясь новыми данными с течением времени.

Программное обеспечение DeepDream находит и усиливает закономерности в изображениях с помощью процесса под названием алгоритмическая парейдолия. Чтобы получить собственное художественное произведение, посетите Ostagram. Примеры работ предлагаем посмотреть ниже:

neyronnye seti sozdayut kartiny Ostagram 1

neyronnye seti sozdayut kartiny Ostagram 2

neyronnye seti sozdayut kartiny Ostagram 3

neyronnye seti sozdayut kartiny Ostagram 4

neyronnye seti sozdayut kartiny Ostagram 5

neyronnye seti sozdayut kartiny Ostagram 6

neyronnye seti sozdayut kartiny Ostagram 7

neyronnye seti sozdayut kartiny Ostagram 8

neyronnye seti sozdayut kartiny Ostagram 9

neyronnye seti sozdayut kartiny Ostagram 10

neyronnye seti sozdayut kartiny Ostagram 11

neyronnye seti sozdayut kartiny Ostagram 12

neyronnye seti sozdayut kartiny Ostagram 13

neyronnye seti sozdayut kartiny Ostagram 14

neyronnye seti sozdayut kartiny Ostagram 15

neyronnye seti sozdayut kartiny Ostagram 16

neyronnye seti sozdayut kartiny Ostagram 17

neyronnye seti sozdayut kartiny Ostagram 18

neyronnye seti sozdayut kartiny Ostagram 19

neyronnye seti sozdayut kartiny Ostagram 20

neyronnye seti sozdayut kartiny Ostagram 21

neyronnye seti sozdayut kartiny Ostagram 22

neyronnye seti sozdayut kartiny Ostagram 23

neyronnye seti sozdayut kartiny Ostagram 24

neyronnye seti sozdayut kartiny Ostagram 25

neyronnye seti sozdayut kartiny Ostagram 26

neyronnye seti sozdayut kartiny Ostagram 27

neyronnye seti sozdayut kartiny Ostagram 28

neyronnye seti sozdayut kartiny Ostagram 29

neyronnye seti sozdayut kartiny Ostagram 30

neyronnye seti sozdayut kartiny Ostagram 31

neyronnye seti sozdayut kartiny Ostagram 32

neyronnye seti sozdayut kartiny Ostagram 33

neyronnye seti sozdayut kartiny Ostagram 34

neyronnye seti sozdayut kartiny Ostagram 35

cameralabs.org

Нейросеть как услуга. Онлайн-сервисы по стилизации изображений / Habr

Недавно в Open Source выложили предварительно обученную нейросеть, которая умеет генерировать изображения, взяв за основу образец стиля с другого изображения. Таким образом, из карандашного наброска можно создать художественный шедевр в стиле Ренуара или Моне. Технология основана на свёрточной нейросети, разработанной в прошлом году в университете Тюбингена (о которой тоже рассказывали на Geektimes). Она правдоподобно подделывает художественный стиль известных художников, принимая на вход для обработки любые фотографии.

Интересные научные исследования привели к тому, что сейчас в интернете открылось несколько сервисов, рассчитанных на массовую публику. Не нужно теперь устанавливать Python 3.4+, библиотеки, скачивать нейросеть и настраивать окружение на локальном ПК, просто загружаем на сервер фотографии — и получаем результат.


Один из таких сайтов — Instapainting. На сайт нужно закачать фотографию для «раскрашивания», а потом образец стиля. Процедура ресурсоёмкая, так что обработка занимает до несколько минут.

Авторское право на сгенерированные картины принадлежат автору, то есть тому человеку, который проявил креативность и творчески закачал две фотографии для работы нейросети.

Instapainting зарабатывает на продаже картин, которые рисует профессиональный художник по фотографии клиента.

Российский клон — Ostagram. В галерее встречаются довольно красивые работы.

Бесплатная версия генерирует изображения не более 600 пикселов по длинной стороне с одним проходом фильтра. В платной версии — до 1000 итераций. Есть услуга печати изображений на холсте.

Очень приятно, что последние научные разработки так быстро доходят до массовой публики. Кто-то пробует даже на них заработать.

habr.com

Нейросеть создаёт фото несуществующих людей прямо на смартфоне

Разработчик Филипп Ван запустил сайт Thispersondoesnotexist.com — генератор лиц людей, которых не существует в реальной жизни. При каждом обновлении на странице за пару секунд создается реалистичный портрет человека, почти неотличимый от настоящего. При этом все лица уникальны и ни разу не повторяются.

Построен проект на нейросети StyleGAN, код которой компания Nvdia ранее выложила в свободный доступ на GitHub. Эта разработка основана на генеративно-состязательных нейросетях (GAN), когда между собой «стравливаются» две нейросети: ту, что создает изображение («генератор»), и которая его анализирует («дискриминатор»), сравнивая получившуюся работу с подлинниками.

Генерация высокореалистичных изображений требует больших вычислительных ресурсов. Однако сайт Вана запущен на мощном арендованном сервере с софтом Nvidia, что позволяет любому пользователю увидеть уникальный портрет, зайдя на сайт с обычного смартфона.

Nvidia больше известна как один из крупнейших производителей видеокарт. Её научно-исследовательское подразделение давно проявляет интерес к отрисовке изображений при помощи ИИ-алгортимов. Ранее инженеры компании использовали GAN, чтобы воссоздавать высокочеткие, реалистичные фотографии знаменитых людей, а также научились испавлять поврежденные изображения, дорисовывая им утраченные детали.

В конце прошлого года Nvidia представила «систему гибридной графики» на основе искусственного интеллекта, которая умеет отрисовывать городские пейзажи в режиме реального времени. Обученная на видео, снятом в реальном мире, новая ИИ-модель генерирует новые виртуальные пространства с нуля.

hitech.vesti.ru

Удивительные возможности нейросетей 2019 года / Habr

Кажется, не проходит и дня без того, чтобы в новостях не проскочило сообщение со словами «искусственный интеллект», «нейросеть», «машинное обучение». Это и не удивительно, алгоритмы постоянно совершенствуются, получают новые знания, включая информацию о каждом из нас. И это вырисовывает весьма интересные перспективы будущего, с персонализированными товарами, пищей и развлечениями. Но обо всем по порядку.

Чем удивляют нейросети?

Некоторые новости о нейросетях, которые появились в последние месяцы еще пару лет назад смело можно было бы отправлять на полку фантастических рассказов. Но нет, это не фантастика, это 2019 год.

Нейросети понимают, чего хотят младенцы

Исследователи из Нью Джерси разработали нейросеть, которая может отличать крики младенцев друг от друга и классифицировать их. Испытания с более чем сотней (на сегодняшний день) деток от 3 до 6 месяцев показали, что нейросеть в абсолютном большинстве случаев верно понимает, чего хочет ребенок: поесть, поспать, сменить подгузник, внимания, чувствует боль или иной дискомфорт.

Нейросети «оживляют» изображения

Сотрудники Samsung AI Center-Moscow и специалисты из Сколково создали систему, способную всего по нескольким (от 1 до 8) изображениям человека (фотографиями или даже портретам) создавать его анимацию. В результате мы можем взглянуть на достаточно реально двигающееся лица Альберта Эйнштейна, Мерлин Монро, Федора Достоевского, да и многих других. Выглядит впечатляюще!

Нейросети создают фотографические изображения

В этом году была представлено несколько нейросетей, способных быстро нарисованные человеком наброски превращать в реально выглядящие изображения (к примеру, домик в виде квадратика и треугольника или пририсованную улыбку на фото человека).

Мало того, появились нейросети самостоятельно создающие неотличимые от реальных лица людей, изображения животных, транспорта, жилых помещений и многого другого.

Нейросети по голосу воссоздают портреты людей

Массачусетский технологический институт продолжает удивлять. Представленная этим учреждением нейросеть Speech3Face создает портреты людей, только услышав образец их голоса. И только взгляните, насколько точно в большинстве случаев алгоритм показывает пол, национальность и возраст людей. Да и сами лица в ряде случаев достаточно выраженно похожи на оригинал.

Нейросети узнают возраст по движению глаз

А в Университете Миннесоты была разработана нейросеть, которая только по траектории движения глаз детей, при демонстрации им различных изображений, могла верно определить возраст в 83% случаев. Правда в исследованиях участвовали только дети до 3 лет.

Нейросети пишут «человеческие» тексты

В начале этого года компания OpenAI заявила о создании нейросети, способной написать текст (будь то новостная заметки или целая повесть), неотличимый от человеческих статей и произведений. Опасаясь неблагочестивого использования программы для создания ложных новостных заметок, компания не представила эту нейросеть широкой публике.

Нейросети создают ложные движения людей на видео

Разработчики из Facebook AI Research научили свою нейросеть распознавать движущегося человека на видео, заменять все, что есть на видео, кроме распознанного объекта, и даже добавлять человеку на видео новые движения. Причем «захваченным» видеоизображением человека нейросеть позволяет управлять с помощью клавиатуры, как в компьютерной игре.

Нейросети отменяют фотошоп

Страшный сон многих стал реальностью – появилась нейросеть, способная видеть, было ли изображение обработано в Adobe Photoshop, и затем воссоздавать оригинальный снимок. Пока что программа определяет только один (правда, самый популярный) инструмент «Пластика с учетом лица», однако создатели нейросети полагают, что в скором времени ни какое редактирование изображений не пройдет незамеченным.

Нейросети будут решать, что предложить Вам поесть

McDonald’s приобрел компанию Dynamic Yield, которая занимается разработкой нейросетей для персонализированной рекламы. Так что, возможно, в скором времени, вам будут предлагать пищу, от приобретения которой с большой долей вероятности вам будет очень сложно отказаться.

Нейросети придумывают новые виды спорта

Вы не являетесь фанатом какого-то определенного вида спорта? Возможно, нейросети в скором будущем смогут придумать новый спорт, который вам понравится. Так компания AKQA с помощью своих нейросетей на основе 7300 правил из 400 других видов спорта смогла создать новый спорт Speedgate. С основными правилами этой игры можете ознакомиться из видеоролика, в котором также можно увидеть, как создатели нейросети играют в Speedgate.

Нейросети пишут музыку

Уже не первый год поступают сообщения о том, что нейросети пишут музыку в том или ином стиле. В начале этого года Яндекс представил нейросеть, которая смогла написать пьесу для симфонического оркестра с альтом. Не нравится классика? Тогда, возможно, вам понравится нейросеть от Dadabots, которая в прямом эфире на ютуб канале нон-стоп сочиняет произведения в стиле death metal.

Нейросети создают алкоголь

Разработчики из Fourkind и Microsoft разработали нейросеть, которая создала новый сорт виски для винокуренного завода Mackmyra в Швеции. При этом учитывались более сотни параметров – от ингредиентов и способов производства до особенностей настаивания полученного напитка.

А что же насчет персонализации?

Значительная часть жизни человека проходит в интернете, в разнообразных социальных сетях. Не удивительно, что алгоритмы от Facebook, Instagram, YouTube, Google, Amazon, Twitter и др., знают многих людей чуть ли не лучше, чем они сами. И это направление будет только развиваться. Плохо ли это? Сложно сказать однозначно.

Но вполне вероятно, что нас может ожидать будущее, где под каждого из нас будет писаться собственная музыка, создаваться картины, сочиняться рассказы, даже предлагаться определенная еда и уникальные напитки. Одна и та же новость для разных людей будет доноситься разным способом. Один человек увидит сухие статистические показатели в двух строках, другой – красочное описание того или иного процесса в виде лонгрида, всё в зависимости от предпочтений каждого.

Кстати, даже фильмы и сериалы также могут стать персонализированными, с помощью добавления магии технологий. К примеру, Netflix уже экспериментирует с сюжетами, которые зависят от решений и действий зрителя. А если вы вдруг захотите увидеть других актеров, исполняющих роли в фильме? Нейросети и здесь уже начинают приходить на помощь. Технологии DeepFake с каждым годом становятся все лучше и в скором времени лица, тела, одежду любых личностей на видео можно будет заменить за несколько минут.

К примеру, можете взглянуть на сцену из «Терминатор 2: судный день» в которой Арнольда Шварценеггера заменили Сильвестром Сталлоне.

Резюме

И это далеко не все события, связанные с нейросетями, только за этот год. Учитывая вышеописанные новости, не удивительно что правительства многих стран все больше обращают внимания на вопросы, связанные с искусственным интеллектом. Так, 8 июня этого года представители стран «Большой двадцатки» впервые подписали документ, в котором содержатся принципы работы с искусственным интеллектом.

Можно уверенно утверждать, что эта сфера будет развиваться еще стремительней, так как никто не хочет остаться позади набирающего обороты поезда прогресса. К примеру, в России на совещании с президентом по вопросам развития технологий в области искусственного интеллекта было сказано:

…разработать решения, которые могут обеспечить превосходство [искусственного интеллекта] над человеком по специальным задачам. И к 2030 году мы должны обеспечить превосходство человека по широкому кругу задач.

habr.com

Разное

Отправить ответ

avatar
  Подписаться  
Уведомление о