音频 API 提供了两个语音转文本的端点，即转录和翻译，基于我们先进的开源大型-v2 Whisper 模型。它们可用于：
目前，文件上传限制为 25 MB，并支持以下输入文件类型：mp3、mp4、mpeg、mpga、m4a、wav 和 webm。
转录 API 的输入是您想要转录的音频文件和音频转录的所需输出文件格式。我们目前支持多种输入和输出文件格式。
默认情况下，响应类型将为包含原始文本的 json。
音频 API 还允许您在请求中设置附加参数。例如，如果您想将 response_format 设置为文本，您的请求将如下所示：
API 参考包括可用参数的完整列表。
翻译 API 接受任何支持的语言的音频文件作为输入，并在必要时将音频转录成英文。这与我们的 /Transcriptions 终点不同，因为输出不是原始输入语言，而是转译成英文文本。
在这种情况下，输入的音频是德语，输出的文本如下所示：
我们目前仅支持将文本翻译成英文。
我们目前通过转录和翻译终点支持以下语言：
南非荷兰语、阿拉伯语、亚美尼亚语、阿塞拜疆语、白俄罗斯语、波斯尼亚语、保加利亚语、加泰罗尼亚语、中文、克罗地亚语、捷克语、丹麦语、荷兰语、英语、爱沙尼亚语、芬兰语、法语、加利西亚语、德语、希腊语、希伯来语、印地语、匈牙利语、冰岛语、印度尼西亚语、意大利语、日语、卡纳达语、哈萨克语、韩语、拉脱维亚语、立陶宛语、马其顿语、马来语、马拉地语、毛利语、尼泊尔语、挪威语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、塞尔维亚语、斯洛伐克语、斯洛文尼亚语、西班牙语、斯瓦希里语、瑞典语、他加禄语、泰米尔语、泰语、土耳其语、乌克兰语、乌尔都语、越南语和威尔士语。
虽然底层模型是在 98 种语言上进行训练的，但我们只列出了超过 50% 单词错误率（WER）的语言，这是语音转文本模型准确性的行业标准基准。模型将返回未在上述列表中列出的语言的结果，但质量将较低。
默认情况下，Whisper API 将以文本形式输出所提供音频的转录内容。timestamp_granularities[] 参数可以启用更结构化和带有时间戳的 json 输出格式，时间戳可以在段落级别、单词级别或两者都有。这使得转录和视频编辑可以达到单词级别的精度，从而可以删除与个别单词相关联的特定帧。
默认情况下，Whisper API 仅支持小于 25 MB 的文件。如果您有一个超过这个大小的音频文件，您需要将其分割成小于或等于 25 MB 的块，或者使用压缩的音频格式。为了获得最佳性能，我们建议您避免在句子中间分割音频，因为这可能会导致一些上下文丢失。
处理这个问题的一种方法是使用 PyDub 开源 Python 包来分割音频：
OpenAI 不对 PyDub 等第三方软件的可用性或安全性作任何保证。
您可以使用提示来提高 Whisper API 生成的转录质量。模型将尝试匹配提示的风格，因此如果提示中使用了大写字母和标点符号，它更有可能也会使用。然而，当前的提示系统比我们的其他语言模型要受限得多，并且只提供有限的控制生成的音频。以下是提示在不同情况下如何帮助的一些示例：
正如我们在提示部分中所探讨的，使用 Whisper 时面临的最常见挑战之一是模型通常无法识别不常见的单词或首字母缩略词。为了解决这个问题，我们已经强调了几种不同的技术，可以在这些情况下提高 Whisper 的可靠性：
第一种方法涉及使用可选的提示参数来传递正确拼写的单词的字典。
由于 Whisper 并未使用指令遵循技术进行训练，它的运作方式更像是一个基本的 GPT 模型。需要牢记的是，Whisper 只考虑提示的前 244 个标记。
虽然这将提高可靠性，但该技术仅限于 244 个字符，因此您的 SKU 列表需要相对较小，以便这成为一种可扩展的解决方案。
第二种方法涉及使用 GPT-4 或 GPT-3.5-Turbo 进行后处理。
我们首先通过 system_prompt 变量为 GPT-4 提供指令。类似于我们之前使用提示参数所做的，我们可以定义我们公司和产品的名称。
如果您尝试对自己的音频文件使用这种方法，您会发现 GPT-4 能够纠正转录中的许多拼写错误。由于其更大的上下文窗口，这种方法可能比使用 Whisper 的提示参数更具可扩展性，并且更可靠，因为相较于 Whisper，GPT-4 可以通过指令和引导来进行指导，而 Whisper 由于缺乏指令遵循功能，无法做到这一点。