Spring AI 多模态实战（下）：文生图 + TTS 语音合成（含 2.0 流式音频分片）

Spring AI 多模态实战下文生图 TTS 语音合成含 2.0 流式音频分片系列Spring AI 深入浅出第 17 篇版本Spring AI 2.0.1 / Spring Boot 4.1.x / JDK 21标签#SpringAI #文生图 #TTS #语音合成前置阅读第 16 篇《图像理解 Vision》预计字数6000 字可复制源码 生成式多模态图 踩坑 FAQ本文将解决除了看懂多模态还能造出来——文生图 语音合成TTS一篇讲完生成式多模态。你将学到文生图ImageModel/ImagePromptTTSSpeechModel/SpeechPrompt2.0 流式音频分片生成物落盘与成本控制一、版本标注本文基于 Spring AI 2.0.1 / Boot 4.1 / JDK 21。文生图走ImageModel/ImagePromptTTS 走SpeechModel/SpeechPrompt不同厂商 starter 提供对应实现2.0 流式音频分片的具体 API 以 2.0.1 官方文档为准。二、文生图ImageModel / ImagePrompt文生图是输入文字 → 输出图片走独立的ImageModel抽象和聊天的ChatModel分开importorg.springframework.ai.image.ImageModel;importorg.springframework.ai.image.ImagePrompt;importorg.springframework.ai.image.ImageResponse;ServicepublicclassImageService{privatefinalImageModelimageModel;publicImageService(ImageModelimageModel){this.imageModelimageModel;}publicStringgenerateImage(Stringprompt){ImageResponseresponseimageModel.call(newImagePrompt(prompt));// 取第一张图返回 URL 或 base64取决于实现returnresponse.getResult().getOutput().getUrl();}}要点ImageModel.call(ImagePrompt)返回ImageResponse图片输出一般是URL云端或base64本地模型URL 会过期生产上要及时落盘到对象存储三、TTSSpeechModel / SpeechPromptTTS 是输入文字 → 输出音频importorg.springframework.ai.speech.SpeechModel;importorg.springframework.ai.speech.SpeechPrompt;importorg.springframework.ai.speech.SpeechResponse;ServicepublicclassSpeechService{privatefinalSpeechModelspeechModel;publicSpeechService(SpeechModelspeechModel){this.speechModelspeechModel;}publicbyte[]textToSpeech(Stringtext){SpeechResponseresponsespeechModel.call(newSpeechPrompt(text));returnresponse.getResult().getOutput().getAudio();// 音频字节}}得到的音频字节可写文件、存对象存储或直接返回前端播放。四、2.0 流式音频分片长文本的 TTS 如果等全部生成完才返回用户要等很久。2.0 支持流式音频分片——边合成边返回音频块// 思路流式 TTS边生成边拿到音频分片// 精确 API 以 2.0.1 官方文档为准Fluxbyte[] 或类似适用长文本朗读、实时语音播报等需要低延迟的场景。五、生成物落盘与成本控制生成式多模态尤其文生图、长文本 TTS成本不低要控制手段说明缓存相同 prompt 不重复生成直接返回缓存落盘URL 会过期及时存对象存储/本地限流文生图/TTS 设配额防止刷爆成本选型本地模型如 Ollama 的 TTS/图模型可省云端费用六、原理图解生成式多模态请求-响应文生图TTS文字 prompt模型类型ImageModelSpeechModel图片 URL/base64音频字节/流式分片七、踩坑 FAQ坑 1图片 URL 过期现象返回的图片 URL 过段时间就打不开了。原因云端图片 URL 有有效期。解决拿到 URL 后及时下载落盘到对象存储。坑 2TTS 音频格式/编码不匹配现象前端播放音频失败或音质异常。原因音频格式mp3/wav/opus或编码与前端不匹配。解决核对 TTS 输出格式统一转成前端支持的格式如 mp3。坑 3流式分片拼接顺序错现象流式音频分片拼起来后播放乱序。原因分片顺序没保证或拼接逻辑错。解决按分片序号拼接注意结束标记。坑 4生成成本高现象文生图/TTS 调用多成本飙升。原因生成式多模态单价高无缓存无配额。解决加缓存相同 prompt 复用 配额限流 必要时换本地模型。坑 5图片/音频没有落盘丢了现象重启或过期后生成物丢失。原因只返回了 URL/临时数据没持久化。解决生成后立即落盘对象存储/数据库记录元数据。八、小结与合集导航本篇补全生成式多模态文生图ImageModel/ImagePromptTTSSpeechModel/SpeechPrompt2.0 流式音频分片落盘 缓存 限流的成本控制下一篇《流式输出对接前端》——类 ChatGPT 打字机效果Flux SSE 打通前后端。九、互动钩子投票文生图和 TTS你更需要哪个文生图TTS 语音合成两个都要都用不上评论区聊聊你的生成式多模态场景源码见置顶评论。