101 lines
3.3 KiB
Markdown
101 lines
3.3 KiB
Markdown
|
|
实现一个会议总结,日常演讲总结和周报总结的产品
|
|
1、基于浏览器,使用web技术,实现录音功能,
|
|
2、用户点击开始按钮:服务端实时接收客户端的录音语言
|
|
3、用户点击完成后,服务器将存储的音频文件,通过开源代码或者工具,将音频文件转成文字
|
|
4、服务将转换的文字内容,发送给大模型,并给出总结的类型(会议,日常,周报等)
|
|
|
|
全程基于标准Web技术+开源工具,无付费、无插件。
|
|
|
|
---
|
|
|
|
# 一、浏览器端录音实现
|
|
1. 使用浏览器**原生 MediaRecorder API**,获取麦克风权限后直接录音
|
|
2. 输出通用音频格式(webm/wav),兼容性覆盖主流现代浏览器
|
|
3. 录音完成后通过**FormData + HTTP POST**上传到服务端
|
|
|
|
# 二、服务端接收与存储
|
|
1. 服务端(Node/Java/Python 任选)提供上传接口
|
|
2. 接收前端上传的音频二进制流
|
|
3. 按文件形式**持久化存储**到服务器本地磁盘或对象存储
|
|
|
|
# 三、开源工具音频转文字
|
|
1. 选用**Vosk**(轻量离线开源、支持中文)
|
|
2. 服务端读取已存储的音频文件
|
|
3. 调用开源模型做**语音转文字(ASR)**
|
|
4. 输出文本结果,存库
|
|
|
|
# 四、大模型文字总结
|
|
1、将文字内容,发送给大模型
|
|
2、总结的内容,通过前端页面递交给用户
|
|
|
|
---
|
|
|
|
|
|
|
|
这是笔误:**录完后再上传** 。 我的要求是:** 用户点击开始按钮:服务端实时接收客户端的录音语音 ** 。
|
|
|
|
我们先实现前面这一部分业务: 通过web录音,录音能够存储下来:
|
|
1、通过手机浏览器打开录音的页面,3个按钮,一个开始,一个结束,一个回放。
|
|
点击开始,录音。
|
|
点击结束,完成录音。
|
|
点击回放,播放刚刚录制的录音。
|
|
(回放能不能实现?)
|
|
你在/home/ubuntu/nanocode下面完成这个项目,做好前后分离。
|
|
|
|
以上这一部分需求,有没有问题?
|
|
|
|
|
|
---
|
|
|
|
|
|
---
|
|
|
|
## **✅ HTTPS 服务已启动!**
|
|
|
|
### **📱 iPhone 访问地址:**
|
|
```
|
|
https://129.211.173.87:8891
|
|
```
|
|
|
|
---
|
|
|
|
### **⚠️ iPhone 首次访问设置(重要!)**
|
|
|
|
由于使用的是自签名证书,iPhone 会显示"不安全",需要手动信任:
|
|
|
|
**步骤:**
|
|
1. 在 Safari 中打开 `https://129.211.173.87:8891`
|
|
2. 会显示 **"此连接不是私密的"**
|
|
3. 点击 **"显示详细信息"**
|
|
4. 点击 **"访问此网站"** 或 **"继续"**
|
|
5. 如果提示证书问题,去 **设置 → 通用 → 关于本机 → 证书信任设置** → 信任该证书
|
|
|
|
**或者简单方法:**
|
|
- 直接点击 **"高级"** → **"继续访问 129.211.173.87"**
|
|
|
|
---
|
|
|
|
### **🔧 服务状态**
|
|
|
|
| 服务 | 状态 | 地址 |
|
|
|------|------|------|
|
|
| HTTP | ✅ 运行 | http://129.211.173.87:8890 |
|
|
| HTTPS | ✅ 运行 | **https://129.211.173.87:8891** ← 用这个 |
|
|
|
|
---
|
|
|
|
**现在用 iPhone Safari 访问 `https://129.211.173.87:8891`,点击"继续"后应该就能录音了!**
|
|
|
|
测试完告诉我结果 🐈
|
|
|
|
|
|
---
|
|
|
|
很好,能够录音和回放了。下面做第二阶段的功能测试,语音转文字。
|
|
|
|
1、用户点击 **结束录音** ,服务器端调用 语音转文字的功能(先不存储,等一下我们下一阶段的功能实现)
|
|
2、转换的文字推送到前端?追加到刚刚的录音软件?还是让用户点击另外一个按钮,发起请求?
|
|
|
|
你的建议?
|