メタレイバンを起動しました 新しいライブAI機能 そして朝、マンハッタンを散歩しました。不思議な体験でした。眼鏡が私の人生を映し続ける間、私の目の隅にある白色LEDが点灯したままでした。私はぎこちなく質問をした。ハトについて、建設作業員について、ハトが近くにいた車を知っているかどうか、あるいは通りの向こう側にあるトラックの所有者が誰であるかを知っているかどうかなど。答えはまちまちで、まったく答えないこともありました。そして、街中のBluetoothの調子が悪いため、接続が切れてしまいました。
常に意識を持っている AI コンパニオンとの私の最初の一歩は奇妙で、昨年経験したものよりもさらに SF 的でした。 Google の最近のデモによく似ています 常時オンのジェミニパワーグラス、 メタのレイバン これらはすでにかなり利用可能になっていますが、常に認識できるアシスタントのようなものになるために次のステップを踏み出しています。または、AI 業界で今呼ばれているエージェント。ライブ AI とライブ翻訳。一度オンになったらそのままにします。 AIはあなたが見ているものを見ることができると想定されています。そして、もしかしたら、やり方がわからないことをするのに役立つかもしれません。
これを見てください: Meta Ray-Bans のライブ翻訳とライブ AI デモ
しかし、これらの機能は来年登場するまったく新しいメタグラスのプレビューのようにも見え、マーク・ザッカーバーグ氏が与えたヒントに基づいて、独自のディスプレイやおそらくジェスチャー制御リストバンドも搭載される可能性がある。 スレッドについて 先週のその後 書かれた物語 ウォール・ストリート・ジャーナルのジョアンナ・スターン氏による。
現時点では、Live AI は、より常時稼働でより侵入型の AI の未来を奇妙に垣間見たように感じられます。これは、私の非常に初期の試みからのヘルパーというよりも、相棒のようなものです。それでも、翻訳は機能すると、たとえ多少遅れても、驚くほど役に立ちます。
ライブ AI モードは、早期アクセス機能セットの一部です。個別にオンとオフを切り替えます。
Live AI: 常に聞いて見守る精神状態
Live AI をオンにするということは、ライブビデオ録画を開始することを意味します。ビデオは後で見るために保存されませんが、携帯電話を介して Meta の AI によって処理され、メガネに中継されます。 LED ライトは点灯していることを人々に知らせるために点灯し続けますが、私の経験では、人々は LED ライトにあまり気づかないか、気にしていないようです。あなたの発言はすべてメタ AI によって解釈されるため、他の人との会話は忘れてください。オフィスでは、私は独り言を言っている、あるいは他人と話しているように見える変な男に見えました（人々が私に話しかけようとして、私が彼らに話していないことに気づいただけです）。ただし、Live AI はメガネの側面をタップすることで一時停止できます。
Live AI を終了するには、「Live AI を停止してください」と言うことで実行できますが、メタ AI は、私がそうするかどうかを尋ねていると思うことがありました。 だった ライブ AI — 「誰が最初に参加しますか?」一瞬。止まるまでに何度も大声を出さなければなりませんでした。
メタ レイバンを着用すると、あなたがスマート テクノロジーを身に着けていることや、AI と会話していることを誰にも気づかれにくくなります。
ライブ AI の課題は、それをどう処理するかを考えることです。家具の配置について尋ねてオフィスを歩き回ったところ、すべて問題ないようだと言われました。「部屋はうまくデザインされ、機能的に見え、明らかな変更は必要ありません。」ラップトップで書いている物語について尋ねると、「この文章は、不必要に感じられる部分がなく、一貫性があり、よく構成された作品のようです。」とのことでした。私は建設的なフィードバックを得ようと努め続けましたが、いくつかの注目すべき点を指摘し、私の要点を要約してくれたものの、一般的ではないものを得るのは困難でした。
外を歩くと、私がどの通りにいるかを教えてくれましたが、それは間違っていました。私が修正すると、それを認識して先に進みました。それは私が見ているチェース銀行を知っていて、銀行の営業時間を教えてくれました。また、私がパブリック・シアターの入り口に立ったときのジョーズ・パブも知っていましたが、その夜何が演奏されているかを教えてくれませんでした。それは一般的なハトを認識することができ、縁石に止まっている車をメルセデス（リンカーンでした）と誤認識し、メタ AI によれば、何らかの理由で、現在は「廃止された」通りにあるバーを推奨しました。
Live AI は現時点では早期アクセス ベータ版にすぎませんが、これを使って何をするのかを理解する必要もあります。初期のベータ版の雰囲気と不明確な目的が組み合わさって、ばかばかしいものに感じられる可能性があります。あるいは意外と奥が深い。いずれにせよ、動作し続けるとバッテリー寿命に影響が及びます。レイバンの通常の使用時間ではなく、30 分間の使用になります。
ライブ翻訳が機能するには、個々の言語パックをダウンロードする必要があります。
翻訳: いくつかの言語に役立ちます
ライブ翻訳も同様に機能し、リクエストに応じて開始されます。ただし、翻訳したい特定の言語 (スペイン語から英語など) に合わせて言語パックをダウンロードする必要があります。現時点ではスペイン語、フランス語、イタリア語、英語のみがサポートされているのは残念です。
私はCNETの同僚であるダニー・サンタナと、ニューヨークオフィス近くの騒がしいアスター・プレイスで話をしました。彼はドミニカ共和国のスペイン語で話し、私は英語で話しました。数秒後に翻訳された応答が私の耳に現れ、チャットを通じて理解できるほど聞き取れたように感じました。完璧ではありませんでした。翻訳 AI はいくつかのフレーズやイディオムを認識できなかったようです。時間の遅れにより、翻訳がいつ終わるのか、それとも翻訳がまだ続くのかを知ることが困難でした。ダニーはテーブルの向こうで私が話すのを辛抱強く待っていたので、彼に返信するタイミングを判断するのに苦労しました。
Meta はまた、Meta View 電話アプリで会話のライブトランスクリプトフィードを表示します。メガネを使用しているときにこれを参照して、話している相手を表示したり、話された内容を明確にしたりすることができます。
Ray-Bans の翻訳機能は Live AI よりもはるかに即時に役立つように思えますが、それは Live AI が何に使用すべきかがまだ明確になっていないためでもあります。もしかしたら、料理をしているときやIKEAの家具を組み立てているとき、あるいはボードゲームをしているときに電源を入れることができるでしょうか？わからない。これを理解するのを手伝ってください、メタ。また、ヘッドアップ ディスプレイがないため、Live AI はメガネが何を見ているかを推測しているように感じます。
もちろん、代わりに携帯電話で Google 翻訳を使用することもできます。 Meta は、イヤホンを使用するのと同じように、メガネを翻訳に使用しています。ただし、メタのメガネは書かれたアイテムを見て翻訳することもできますが、それは会話型のライブ翻訳モードの一部ではありません。
Meta の AR メガネ Moonshot、Orion には、独自の神経入力リストバンドとヘッドアップ 3D ディスプレイが搭載されています。これらがレイバンにゆっくりと登場するのはいつですか?
次はディスプレイかジェスチャーか?それとも両方ですか？
メタの1年前のレイバンは現在入手可能です 複数の主要な AI 機能、それぞれが驚くべき方法で方程式を変更します。ただし、最新のライブ AI の追加は、ハードウェアの限界を押し広げ、バッテリー寿命を短縮しているように感じられます。 AI が見ているものを知るためのもっと良い方法があればいいのに、あるいは、私が聞きたいことを手で指さして指示できる方法があればいいのにと思います。
将来のメガネは、ヘッドアップ ディスプレイとジェスチャ認識の両方を備えたこの方向に進む可能性があります。 Meta の CTO である Andrew Bosworth 氏は、年末に私と交わした会話の中で、これらが次のステップであることを認めていますが、その時期は不明です。 メタのオリオングラス — 3D ディスプレイを備えた未来を見据えた野心的なメガネと、私が今年の初めにデモした指のタップやピンチを認識できる手首に装着するジェスチャ トラッカー — が実現するまでには、まだ何年もかかります。しかし、メタの手首に装着するニューラルバンドはもっと早く登場する可能性があるし、あるいはカメラ付きメガネが手のジェスチャーを認識する方法が登場する可能性もある。また、スマートグラスのディスプレイに関しては、Meta はより大型で没入型の AR ディスプレイに移行する前に、情報を表示するための小型のヘッドアップ ディスプレイを検討する可能性があります。ボズワース氏は次世代 AR メガネについて次のように述べています。 最近のブログ投稿、しかし、これの一部は来年のレイバン風のメガネの次世代で可能になるでしょうか？
「ジェスチャーベースのコントロールには、下向きのカメラとおそらく照明が必要です」とボズワース氏は将来のメタグラスについて語る。 「現在の Ray-Ban Metas では、Live AI でそれを実行できますが、カメラの視野内で実行する必要があります。」しかし、彼は遅かれ早かれメガネにEMGバンドを追加する可能性があることを認めています。 「充電が必要なデバイスを追加することになり、余分な費用と重量がかかりますが、とても便利です。」しかし、ボズワース氏は、EMG バンドはメガネにディスプレイがある場合にのみ役立つと考えています。これはレイバンにはまだありません。おそらく、レイバンに何らかのヘッドアップ ディスプレイが搭載されると、入力バンドも同時にデビューする可能性があります。 いくつかの試みを見てきました 他の製品でもこのようなアイデアがあります。
そして、バッテリー寿命の問題もあります。これらの常時オンのメガネは、一度に数時間以上、どのように動作するのでしょうか?あるいは、これによって次世代のメガネの価格がどのように上昇するのでしょうか?
その間、Meta の AI は、VR への橋渡しとなるものとして、フィットネスなどの分野にも導入される可能性があります。Meta には、Meta AI の別のバージョンがあります。 「今から 1 年後、あなたが世界中であなたの歩数を追跡し、アドバイスを与えるために使用している AI が、あなたがこれらのことを行っていることを認識していないとしたら、非常に珍しいでしょう。 ワークアウト（VR）」とボズワース氏は言う。
Live AI が進化し続けるにつれて、ジェスチャーを追加するより良い方法が絶対に必要になる可能性があります。ボズワース氏は、物を指さすことが、将来的により良くなるように AI を訓練するための重要な方法であると考えています。 「AI が改良されるにつれて、こうしたよりシンプルで直感的なジェスチャーの必要性が実際に大幅に高まっています。」
現在、Meta の Ray-Ban では物を指さすことができません。そのため、Live AI の使用が少しわかりにくく感じることがあります。しかし、次の飛躍に向けては、おそらく新しいハードウェアとジェスチャーとディスプレイの追加が必要になるでしょう。
