ChatGPT научился понимать изображения: 10 способов применять функцию в обычной жизни

Теперь в ChatGPT можно прикреплять изображения к текстовым запросам.

В конце сентября компания OpenAI представила новые бета-функции ChatGPT. Их начали постепенно вводить для платных подписчиков. Одна из них — GPT-4 Vision, с помощью которой нейросеть распознает изображения и учитывает их при ответе.

Работает это так: вы прикрепляете к своему запросу файл — просто картинку, скриншот с текстом, график. Нейросеть обрабатывает и распознает изображение, а потом дает ответ на основе вашего вопроса. Это не просто «нейросеть увидела картинку велосипеда и написала, что это велосипед». Можно отправить фото велосипеда и спросить, как на нем переключать скорости. GPT-4 Vision увидит переключатель, обратит на него внимание и расскажет, как им пользоваться.

GPT-4V понимает текст, различает объекты, считает количество предметов, считывает диаграммы и графики, распознает человеческие эмоции, находит различия и дефекты, объясняет смыслы.

Мы выбрали 10 сценариев, которые помогут упростить жизнь с помощью функции.

Уровень полезности: 🤔🤔
Уровень фана: 🤪🤪🤪

Если вы только начинаете пробовать себя в визуальных искусствах и не уверены в своих способностях, то попробуйте проконсультироваться с нейросетью. Она не станет вас жестко критиковать, а нейтрально и конструктивно прокомментирует.

ChatGPT можно отправлять не только рисунки, но и цифровой арт, фотографии, поделки, любые другие предметы творчества. К примеру, в соцсетях есть пример, где UX-дизайнер спрашивал, как улучшить цветовую схему сайта.

Еще функция пригодится, если вам хочется поэкспериментировать с новыми стилями и идеями, но вы не определились, с чего начать. В таком случае отправьте недоделанную работу и спросите, как ее обыграть.

Уровень полезности: 🤔🤔🤔🤔🤔
Уровень фана: 🤪

Наверняка многие сталкивались с тем, что сложно с ходу понять результаты анализов, МРТ или других медицинских исследований. ChatGPT проанализирует ваши документы и интерпретирует их.

Это поможет вам не только лучше понять состояние своего здоровья и рекомендации врача, но и снизить уровень тревоги. Например, если вы только получили на руки результаты анализов, а до приема врача остается еще неделя.

Однако важно помнить, что ответ ChatGPT не заменит консультацию с реальным доктором и может служить только дополнительным источником информации.

Уровень полезности: 🤔🤔🤔🤔🤔
Уровень фана: 🤪🤪

ChatGPT и раньше умел программировать и искать баги. А теперь он научился превращать математические вычисления в код или генерировать его по скриншоту приложения или даже по схематичному наброску сайта, нарисованному от руки на листе бумаги. Это удобно, если вам нужно перенести дизайн или заняться реверс-инжинирингом.

Конечно, код может потребовать доработки, но основная структура и элементы будут уже готовы. Кроме того, теперь нейросети можно отправлять скриншоты кода, в котором есть ошибки, а не копировать его, как приходилось делать раньше.

Уровень полезности: 🤔🤔🤔🤔🤔
Уровень фана: 🤪🤪🤪

Сложные для интерпретации данные встречаются повсюду: диаграммы в учебнике, инструкции к гаджетам, дорожные знаки, инструкции по сборке мебели. Иногда они могут озадачить, особенно если вы изучаете что-то совсем новое для себя. Отправьте фото ChatGPT, и нейросеть объяснит любую визуализацию, выделит ключевые моменты и ответит на вопросы.

К примеру, пользователь сфотографировал сложные правила на парковке и спросил, как не получить штраф. Другой проанализировал технический график, а третий попросил объяснить схему из курса по нейросетям. Есть и более бытовой пример: расшифровать иконки с ярлыка на одежде. Так вы случайно не покрасите белую футболку в розовый и не испортите кашемировый свитер!

Уровень полезности: 🤔🤔🤔
Уровень фана: 🤪🤪🤪

ChatGPT прочитает старые документы, письма и дневники, написанные сложным для восприятия почерком. Сфотографируйте текст и отправьте нейросети: она не только распознает содержание, но и переведет, проанализирует или превратит рукопись в читаемый текст.

В соцсетях через нейросеть расшифровали рукописный набросок Джоан Роулинг с сюжетом «Гарри Поттера» и древний манускрипт на арабском языке. ChatGPT отлично распознает рукописный текст на английском, но с русским пока справляется намного хуже.

Уровень полезности: 🤔🤔🤔
Уровень фана: 🤪🤪🤪

Если вы нашли антикварную вещь, растение, инструмент или странную деталь, ChatGPT поможет понять, что вы обнаружили. Нейросеть определит, что это за объект, и расскажет о происхождении, назначении или даже историческом контексте. Особенно удобно, если вы ходите по блошиному рынку или роетесь на чердаке у бабушки. Нейросеть укажет на ценную вещь.

Кроме того, ChatGPT может дать базовые рекомендации, если у вас пропала инструкция к мебели или технике и вы не уверены в том, как ее собирать или как пользоваться. Однако стоит помнить об ограничениях: например, сложную технику вроде телевизора по фото деталей собрать вряд ли получится.

Уровень полезности: 🤔🤔
Уровень фана: 🤪🤪🤪

Попробовав что-то впечатляющее в ресторане или увидев интересное блюдо в интернете, иногда хочется повторить его дома. В таком случае отправьте фотографию ChatGPT и попросите рецепт. Нейросеть выдаст приблизительный рецепт или как минимум объяснит, какие ингредиенты и методы использовались.

Еще один способ, который нашли в соцсетях, — выложить на стол ингредиенты, которые вы хотите использовать. И отправить фото ChatGPT, чтобы получить несложный рецепт. Удобно, если у вас много скоропортящихся продуктов и вы не понимаете, как их сочетать.

Уровень полезности: 🤔🤔🤔🤔🤔
Уровень фана: 🤪

ChatGPT все сильнее приближает образовательную сферу к тому, чтобы реформировать формат домашних заданий. Вы можете сфотографировать пример или упражнение, а нейросеть сгенерирует решение с объяснением. Главное — указать в запросе, что вам нужно как можно более подробное пошаговое решение.

В соцсетях ChatGPT протестировали на задачах по физике, химии и математике. Теперь необязательно даже переписывать или копировать задания из учебников — достаточно отправить фотографию или скриншот. Еще это может облегчить прохождение тестов на экзамене. Однако помните, что поиск готовых ответов не даст вам знаний по предмету.

Уровень полезности: 🤔
Уровень фана: 🤪🤪🤪🤪🤪

Мемы появляются из специфического контекста и быстро изменяются. Если вы не следите за актуальными интернет-трендами, то может быть сложно понять, кто такой сигма или откуда взялся Шайлушай. ChatGPT поможет разобраться в смысле и происхождении конкретного мема.

Однако функцию Vision нельзя использовать в связке с браузингом в интернете, а данные GPT-4 ограничены январем 2022 года. Поэтому про самые актуальные мемы нейросеть точно не расскажет, но как минимум может попытаться объяснить, в чем шутка. А если это более старый мем, то она расскажет, как и где он впервые появился.

Уровень полезности: 🤔🤔
Уровень фана: 🤪🤪🤪🤪

Иногда бывает сложно понять, насколько удачно вы оделись, особенно если неловко спрашивать мнение друзей или близких. ChatGPT даст вам мгновенный фидбэк о вашем луке, опираясь на гармоничность цветовой палитры и соответствие определенному стилю.

Нейросеть также предложит идеи, как сочетать разные предметы одежды из вашего гардероба, чтобы создавать новые комбинации и свежие образы. Просто сфотографируйте одежду и отправьте в чат! Не забудьте указать, к какому стилю или эстетике вы хотели бы приблизиться.