Phi-3 WebGPU: 在浏览器中本地运行Phi-3

Phi-3 WebGPU: 在浏览器中本地运行Phi-3

您即将加载Phi-3-mini-4k-instruct,这是一个38.2亿参数的LLM,专为在网络上进行推断而进行优化。一旦下载完成,该模型(2.3 GB)将被缓存并在您重新访问页面时被重用。

一切都直接在您的浏览器中运行,使用 Transformers.js和ONNX Runtime Web,这意味着您的对话不会被发送到服务器。甚至在模型加载后您可以断开与互联网的连接!.

Phi-3 WebGPU是由XenovaA开发的Hugging Face空间,是一个私密且强大的AI,可以在浏览器中本地运行。

 

(首次运行会自动下载2.3 GB的模型)

地址:

https://huggingface.co/spaces/Xenova/experimental-phi3-webgpu

本文地址:https://www.163264.com/7159

(0)
上一篇 2024年5月11日 下午8:15
下一篇 2024年5月11日 下午11:24