🤗 CDS701 · ask() 聊天界面（第 2.6 节）

课程笔记本 2.6 节的 ask() 做成的网页应用。 ask() 的结构（system + user 两条消息、do_sample=False 贪心解码、 max_new_tokens）与课上一致，只是推理跑在你自己的浏览器里 （transformers.js + WebGPU），不需要服务器、不需要 API Key。

状态：尚未加载模型

系统提示词（system prompt）

max_new_tokens（最多生成的新 token 数）：256

模型大小

1.5B（课程同款，约 1 GB） 0.5B（更快，约 0.4 GB）

示例问题（点击填入）

模型：Qwen/Qwen2.5-1.5B-Instruct（ONNX 量化版，WebGPU 加速；无 WebGPU 时自动退回 CPU）。首次提问需下载约 1 GB 权重，之后浏览器会缓存。仓库内另附 app.py——用 gr.ChatInterface 写的 server-side Gradio 源码，拿到付费 Hugging Face Space 后可直接部署。