Многоязычные возможности Gemini Live поражают воображение

Со временем, несмотря на все недостатки, Gemini сумел мне понравиться, особенно благодаря своему режиму Живого Разговора. Эта функция является именно тем, что я ожидал от Google Assistant, но с дополнительными преимуществами: она позволяет общаться с ИИ как с реальным человеком, прерывать его, просить повторить сказанное, поправлять и углубляться в темы — всё это естественно и непринуждённо.

Если вы привыкли жонглировать тремя языками в одном разговоре и находите сложным оставаться только на одном языке, то скорее всего вы с нетерпением ждали поддержку нескольких языков на Gemini Live. С обновлённым мартовским выпуском Pixel Drop эта функция наконец стала доступной, и она намного лучше, чем я представлял!

Более интуитивно понятный и надежный, чем многоязычный Google Assistant

Услышав объявление от Google о поддержке нескольких языков в Gemini Live, я сначала предполагал, что эта функция позволит мне вести диалог на английском языке, после чего легко переключаться на французский без необходимости ручного изменения языковых настроек. Такая функциональность уже была доступна в Google Assistant в течение некоторого времени, однако требовала ручной настройки желаемых языков, и её производительность не всегда соответствовала моим ожиданиям.

С Gemini Live это не так, как показано в видео выше.

• Мне не нужно было каждый раз выбирать язык; я просто начал новый чат, и система поняла меня.
• По умолчанию работает со всеми языками, поддерживаемыми Lives (Live). Я не ограничиваюсь двумя языками как с помощником.
• Хотя у меня были некоторые неловкие моменты тишины с Gemini и приходилось повторять несколько предложений, уровень успешности ИИ в распознавании разных языков превысил 90%, что гораздо выше того, на что мог бы рассчитывать ассистент.

Я свободно говорю по-английски, французскому и арабскому языкам, могу общаться (хотя с сильным акцентом) на испанском, итальянском и немецком. Проверял это, общаясь с Gemini Live на каждом из этих языков — он всегда понимал меня несмотря на акценты.

Язык арабский, как ни странно, вызывает у меня наибольшие трудности. Хотя я могу писать на формальном арабском, когда дело доходит до речи, он не кажется мне естественным. Вместо этого я предпочитаю использовать неформальный ливанский диалект. Интересно, что Gemini справляется с комбинацией неопределённого неофициального левантийского диалекта и формального письменного арабского. Эта сложность возникает из-за множества региональных диалектов, но даже в этих условиях производительность превзошла мои ожидания и любой предыдущий опыт работы с ассистентами на арабском.

Оттуда это была уже победа, но я решил идти дальше. Именно тогда Gemini Live поразила меня до глубины души, словно она буквально сняла с меня обувь.

Или же иначе:

B начале всё шло успешно, но мне хотелось продолжать. Вот тогда-то Gemini Live заставила меня почувствовать нечто невероятное, будто символически сняла мою обувь.

Мультиязычные навыки Gemini Live работают в середине чата и в середине предложения!

В связи с моими приятными взаимодействиями на множестве языков в разных чатах, мне было интересно, сможет ли Gemini управлять переключением между языками во время нашей беседы. Для проверки этого я начал непринужденный разговор на английском языке и после перешел к французскому, арабскому, испанскому, итальянскому, немецкому. Удивлен, что он без проблем следовал за мной через все шесть языков, как показано в видео ниже.

При просмотре журнала разговоров кажется, что он полностью охватил каждое слово, которое я произнес на всех языках и адаптировал свои ответы соответственно.

Конечно, я не мог просто оставить всё как есть, верно? Любопытство пересилило меня – интересно было бы проверить, сможет ли он изменять предложения на ходу. Вот так началось предложение на английском языке и закончилось французским, в ожидании ответа. И оно справилось! Я попробовал сделать наоборот, и снова сработало!

После десяти лет использования Google Assistant, я потерял веру из-за его путаницы между словами ‘bonjour’ и ‘bone joke’. Тем не менее, моя вера в ИИ и технологии распознавания голоса была снова разжигаема после попытки Gemini Live. Ознакомьтесь с тем, как это работает:
[Вставьте ссылку на видео или описание демонстрации Gemini Live]
Попробуйте Gemini Live сами, чтобы увидеть поразительную разницу!

Изначально я смешал арабский и испанский языки в своем разговоре, часто меняя их внутри одного предложения. Удивительно, но она справилась с пониманием всего запроса целиком, а не только его начальной части, как видно из ее ответов. Она даже затронула чувствительную тему относительно промаха Рэндалла Коло-Муани на последней минуте предыдущего чемпионата мира по футболу FIFA и шутливо упомянула впечатляющий сейв Эмилияно Мартинеса. Ах, такова жизнь!

Вместо этого я нацелился на дальнейшее усиление дезорганизации Gemini Live. В результате я начал общаться так же, как обычно делаю это со своими близкими, смешивая английский, французский и арабский в одном предложении — подражая аутентичному левантийскому стилю разговора. Примечательно, что это вызвало обычное приветствие: «Привет, как дела?», и беседа проходила гладко (за исключением сложной задачи поддержания точного арабского акцента, как было упомянуто ранее).

Одно слово на другом языке в середине всего английского предложения? Нет проблем

В заключение я прибег к весьма нетрадиционному примеру: произнёс целую фразу на одном языке, но вставил одно слово из другого. Для уточнения, это довольно часто встречается в моих ежедневных беседах с супругой, так как мы регулярно меняем слова между английским, французским и арабским языками в зависимости от контекста. Например, говоря по-английски, мы иногда допускаем ошибки, используя французские или арабские термины. Аналогично, когда говорим на арабском или французском, мы без раздумий добавляем слова из других языков. Это просто естественное функционирование нашего разума, что вызывает у меня дискомфорт при взаимодействии с голосовыми ассистентами, так как приходится сознательно придерживаться использования только одного языка. Однако Gemini Live сумел безупречно понять эту гибкость.

Как аналитик я задавал вопрос о растении, называемом ‘habaq’ на арабском языке. Мне дали перевод на английский — базилик (basil). Затем я поинтересовался переводом слова ‘ciboulette’, и мне ответили чивесами (chives). В своей кухне, слегка перекашивая р, я упомянул маленькие рокеттесы (roquette), и система верно интерпретировала это как листья рукколы/арагулы. Наконец, когда я попросил перевести выражение ‘jozt el tib’ на английский, система точно ответила — мускатный орех (nutmeg). В итоге я собирал информацию для сценария тестирования Gemini в условиях моей кухни.

После просмотра истории разговора оказалось, что некоторые слова могли быть неправильно транскрибированы или переведены. Например, мы обнаружили «haba», «rocket» и выражение «rose to tibbe», в то время как слово «cioulette» нигде не встречается. Однако очевидно, что Gemini Live успешно использовал правильные слова на соответствующих языках.

Эти сценарии не только представляют крайние случаи, но и являются вопросами, над которыми я размышлял или нуждался в помощи на разных этапах своей жизни. Например, когда я искал рецепты для цуккини, мой мозг автоматически набирал ‘courgette’, поэтому сначала приходилось переводить это слово, вспоминая, что оно означает цуккини, а затем уже проводить поиск. Благодаря поддержке нескольких языков больше не требуется выполнять этот первоначальный шаг перевода. Теперь я могу без труда следовать рецепту мамы по приготовлению sfouf (куркумовой торт) с использованием 3e2de safra (куркумы) и искать места для покупки зерен, чтобы вырастить рекомендованное папой растение ba2le (портулак), не испытывая при этом трудностей.

В своём волнении проверить возможности голосового чата ChatGPT я пересмотрел те же самые вопросы. К своему удовольствию, он правильно распознал французские слова ‘roquette’ и ‘cihoulette’. Однако с арабскими терминами вроде ‘habaq’ и ‘jozt el tib’, он споткнулся, неверно определив их как фенхель и кумин соответственно. Ой-ой! Это точно не будет желанным ингредиентом для моего песто!

Последовав многочисленным тестам, невозможно отрицать исключительную работу команды Gemini по безупречной реализации многоязычной поддержки с самого начала. Время от времени я был поражён тем, как она справлялась со мной, несмотря на мои попытки испытать её пределы. Этот AI-агент уникален тем, что понимает мою естественную речь, избавляя меня от необходимости запоминать конкретные английские слова во время нашего общения. Хотя мне приходится немного корректировать свой арабский акцент для лучшего понимания, это незначительный компромисс ради такого гибкого AI голосового агента. Когда он сможет понимать ливанский диалект без изменений, это будет просто совершенство.

Смотрите также

• Трейсен Тейт и Эндрю Тейт Разрешено Покинуть Румынию после 2.5 Лет
• РЕПОЗИТОРИЙ: 5 лучших обновлений для первой разблокировки
• Лучшие команды Brawl Stars сражаются в финале февраля: бесплатные награды для зрителей
• Монополия GO: Руководство по событию «Boom Sticker»
• Где найти гексолитовый кварц в Palworld и как его использовать
• Обнародован список игроков EAFC 25 TOTW 15: Килиан Мбаппе, Пауло Дибала и другие
• Помощь по колоде Clash Royale: поиск выигрышной стратегии
• Когда начнется 1 сезон Marvel Rivals
• 4 момента из «Моей геройской академии», которые всех шокировали (и 4, которых все ожидали)
• Череп и кости: стоит ли спасать или продавать дополнительное снаряжение?

2025-03-22 16:23