微軟希望讓你直接在Windows中與Copilot共享應(yīng)用窗口

當(dāng)你將鼠標(biāo)懸停在 Windows 11 任務(wù)欄上的應(yīng)用程序時(shí),你可以將應(yīng)用窗口與 Copilot 分享,并開始提問,比如如果你在 Outlook 中如何回復(fù)郵件。盡管聽起來有些可笑,但這正是 Copilot Vision 的重點(diǎn)。
我在我的 Intel Lunar Lake Copilot+ PC 上發(fā)現(xiàn)了“與 Copilot 分享”功能,但它正在向所有人推廣,并且不需要這些“AI” PC。也就是說,如果你有非 AI PC,包括 AMD 或 Intel,你仍然會(huì)在任務(wù)欄上看到“與 Copilot 分享”,這很合理(稍后會(huì)詳細(xì)說明)。
“與 Copilot 分享”是隨著 Windows 11 KB5072033(構(gòu)建 26200.7462 / 26100.7462 或更高版本)推出的,默認(rèn)是開啟的,但如果你不喜歡這個(gè)想法(你可能會(huì)),我找到了一種可以關(guān)閉它的方法。
任務(wù)欄上的“與 Copilot 分享”是如何工作的?
在我們的測試中,Windows Latest 觀察到,當(dāng)我將鼠標(biāo)懸停在任務(wù)欄上的打開應(yīng)用程序時(shí),“與 Copilot 分享”就會(huì)出現(xiàn)。它實(shí)際上會(huì)出現(xiàn)在任何應(yīng)用窗口上,包括 Cloudflare WARP,這是一種類似 VPN 的服務(wù)。我還發(fā)現(xiàn)了 Netflix 的切換開關(guān),但由于其內(nèi)容受 DRM 保護(hù),因此無法正常工作。

當(dāng)你分享任何應(yīng)用窗口時(shí),Copilot 會(huì)使用基于云的 AI 分析該應(yīng)用的內(nèi)容并提供見解。例如,我在后臺(tái)打開了一封 Outlook 郵件,并與 Copilot 分享了該窗口。Copilot 開始讀取我已經(jīng)打開的郵件,但它無法瀏覽其他郵件、移動(dòng)或點(diǎn)擊任何地方。

這因?yàn)?Copilot Vision 是一個(gè)“只讀”和“只可口述”的功能,這意味著 Copilot 只能看到你所看到的內(nèi)容,并可以提供“協(xié)助”。
例如,我問 Copilot 如何回復(fù)郵件,它告訴我查找一個(gè)根本不存在的“發(fā)送”按鈕。此時(shí),Copilot 是在產(chǎn)生幻覺。然后,我特意要求它展示 如何 和在哪里 點(diǎn)擊。這一次,Copilot Vision 正常工作。

Copilot 激活了它自己的“光標(biāo)”,出現(xiàn)在屏幕上,然后突出顯示我需要點(diǎn)擊的地方。謝天謝地,Copilot 正確分析了我的屏幕,告訴我使用“回復(fù)”按鈕,而不是“發(fā)送”,后者在屏幕上并不存在,但上次推薦了。
接著,我問 Copilot 如何刪除郵件,它又一次突出顯示了正確的選項(xiàng)。

微軟稱之為“引導(dǎo)式協(xié)助”,一份支持文檔確認(rèn) Copilot Vision 旨在幫助用戶,但它無法處理受 DRM 保護(hù)或敏感的內(nèi)容。
微軟是如何將“與 Copilot 分享”功能添加到任務(wù)欄上的所有應(yīng)用窗口的?
Windows Latest 發(fā)現(xiàn)微軟使用名為“Windows.UI.Shell.ShareWindowCommandSource”的 Windows API。
根據(jù)一份支持文檔,該 API 允許通信應(yīng)用程序接入 Windows 11 的 Shell(如任務(wù)欄或共享用戶界面),以便 Windows 可以顯示 開始共享 / 停止共享 命令,并將用戶選擇的確切 WindowId 傳遞給應(yīng)用。
該 API 應(yīng)該由 Teams 等應(yīng)用使用,但微軟特別為 Copilot 使用它。這不是一個(gè)開放的 API,開發(fā)者無法使用。最大的限制是,并不是每個(gè)人都可以使用該 API,因?yàn)樗粯?biāo)記為“限量訪問功能”。
當(dāng)一個(gè) API 被標(biāo)記為“限量訪問功能”時(shí),意味著微軟必須批準(zhǔn)你,并給開發(fā)者提供一個(gè)解鎖令牌,才能在真實(shí)產(chǎn)品中使用。

換句話說,如果 OpenAI 想要復(fù)制相同的行為,它需要聯(lián)系微軟并等待批準(zhǔn)。另一方面,微軟可以利用其“限量訪問” API,這些 API 是為 Teams 等通信應(yīng)用設(shè)計(jì)的,來為自己的 AI 助手服務(wù)。
這就是為什么我們只能看到 Copilot 在使用它,因?yàn)槲④浛梢宰约海ɑ蜻x擇的合作伙伴)授予訪問權(quán)限,Copilot 然后可以在會(huì)話中以“共享命令源”注冊。
我可以禁用 Windows 11 任務(wù)欄上的“與 Copilot 分享”嗎?
是的,當(dāng)“與 Copilot 分享”出現(xiàn)在你的 PC 上時(shí),你可以在 Windows 11 任務(wù)欄上禁用它。
如果你去 設(shè)置 > 個(gè)性化 > 任務(wù)欄 并展開“任務(wù)欄行為”,你會(huì)發(fā)現(xiàn)一個(gè)新的開關(guān)“與我的任務(wù)欄共享任何窗口。”它有 Teams、Zoom(如果獲得微軟批準(zhǔn))等通信應(yīng)用的選項(xiàng)。它還新增了一個(gè)“聊天代理應(yīng)用”的開關(guān)。
你可以選擇“通信應(yīng)用”或“不顯示”,以阻止任務(wù)欄顯示“與 Copilot 分享”選項(xiàng)。

在大多數(shù)情況下,此選項(xiàng)默認(rèn)設(shè)置為“所有應(yīng)用”,這也解釋了為什么“與 Copilot 分享”會(huì)在我的 PC 上突然彈出。

在官方發(fā)布說明中(上面的截圖),微軟確認(rèn)用戶在更新后將看到一個(gè)“與 Copilot 共享其窗口的選項(xiàng)”,但也指出該功能正在逐步推出。

4943986