你觉得生成一段专属音效需要什么？专业的录音棚？复杂的合成器？还是一套昂贵的样本库？
都不是。你只需要一句话。
上个月，一位视频创作者需要一段“用钢笔快速划纸的沙沙声，夹杂远处办公室键盘敲击”的音效。他打开浏览器，在Hugging Face上加载了一个不到3GB的模型，输入文字，十几秒后——一条可直接拖进剪辑轨道的高质量音频就在本地生成了。
这是 StableAudio 能做到的事，而且不需要你会编曲或调参数。
StableAudio：把文字直接“翻译”成声音
StableAudio 是 Stability AI 开源的一个文本到音频模型，和它的“亲戚”Stable Diffusion 类似——只不过出来的不是图片，而是声音。它的最新版本 stable-audio-3-medium 参数量为 2.3B，虽然不算巨大，但在通用音效和音乐生成上表现相当能打。
它到底能生成什么？
从日常音效（雨声、脚步声、咖啡机声音），到抽象氛围（“宇宙深处微弱的信号音，带着缓慢的回响”），再到带旋律的简单背景音乐，只要你用自然语言把想要的声音描述清楚，它就能给你合成一段 10～30 秒的音频。
重要的是，模型原生支持多种语言提示。你直接用中文描述“一阵悠扬的小提琴，夹杂着老式留声机的底噪声”，它也能识别并生成——虽然内部的词元化处理会把非英文映射到相近语义空间，效果会有差异，但实测已经足够可用了。
15 分钟跑起来：从安装到生成第一条音效
我们不需要服务器，不需要 API Key，只要有一台装了 Python 的电脑（实测 16GB 内存 + 任何近三年的 CPU 就能跑，有 GPU 会更快）。
第一步，安装依赖：
pip install torch diffusers transformers accelerate
第二步，写一段脚本，加载模型并生成音效。我们把想要的音效用变量 prompt 描述：
from diffusers import StableAudioPipeline
import torch
# 加载模型，使用半精度以节省内存
pipe = StableAudioPipeline.from_pretrained(
"stabilityai/stable-audio-3-medium",
torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
)
pipe = pipe.to("cuda" if torch.cuda.is_available() else "cpu")
# 你的音效描述
prompt = "钢笔在纸上快速划动，沙沙作响，背景中远处有轻微的办公室键盘声"
negative_prompt = "低质量，噪音，失真" # 可选的负面提示，提高生成质量
# 生成音频
audio = pipe(
prompt,
negative_prompt=negative_prompt,
num_inference_steps=50, # 步数越多质量越高，默认即可
audio_length_in_s=10.24, # 生成 10 秒音频
).audios[0]
# 保存为 wav 文件
import scipy.io.wavfile as wavfile
wavfile.write("pen_scratch.wav", rate=44100, data=audio.T)
print("音频已生成：pen_scratch.wav")
这段代码会在你的电脑上跑完整个生成流程。没有联网调用，所有数据都在本地完成，速度快慢完全看你的硬件。用一台 M2 MacBook Air 测试，生成 10 秒音频大约 40 秒；用一张 RTX 3060 的话，20 秒以内就能拿到结果。
如果想控制更细致，还可以调整 guidance_scale（对提示词的遵循强度，默认 7.0 就比较平衡）、steps 等参数，但日常使用保持默认已经能拿到很自然的声音了。
生成质量到底怎么样？
我们不妨实际听听看。
用上面那段提示词生成的“钢笔划纸 + 键盘声”音效，听起来非常真实——沙沙声的颗粒感和远近层次都表现得相当到位，键盘声不是机械重复，而是有自然的速度变化，仿佛办公室里真有人在打字。放到视频里，几乎不需要再做后期处理。
但并不是所有类型都完美。尝试生成带旋律的“轻快吉他背景音乐”时，虽然和弦走向和音色识别度很高，但整体有点糊，更像低保真 lofi 效果，而不是录音室品质。这反映了当前文生音频模型的一个共同瓶颈：长序列的音乐结构与和声进行仍然很难用一次生成完美复现，尤其是超过 30 秒的段落。
不过对于短视频、播客、游戏音效这类对即时性要求高、预算又有限的场景，StableAudio 生成的质量已经能 70% 替代外包或素材库了。而且生成的音频完全免版权，你可以直接商用——这对独立开发者和小团队来说简直是个福利。
这意味着什么？
过去，一个非专业的视频创作者要做一条定制音效，只能去素材网站按月付费，或者到录音棚花上几百块一小时录制。现在，一个不到 3GB 的模型，就把这个能力免费带到了每个人的本地电脑上。
对于内容生产者，这是 交付速度的质变——以前等素材可能要几小时，现在几分钟就能拿到成品；对于产品经理和创业者，这意味着 快速原型阶段就能用上自己的音效素材，不用再凑合用表意偏差的通用素材。
当然，目前的 StableAudio 还不适合生成长达几分钟的完整音乐，同时对节拍、力度等细节的控制还不够精细。但从 0 到 1 的突破已经完成，接下来随着模型迭代和可控性增强，“说一句话就能定制一条音效”会变得越来越像呼吸一样自然。
下一步如果你想深入玩，可以尝试把生成的音频接入 ComfyUI 的音频节点，进行变调、叠加、混响等后期处理，或者用不同的随机种子反复生成，挑最满意的一条——这比任何素材库都自由得多。