C#AI系列(5): 从零开始 C# 轻松语音识别

人工智能历经多年演进，昔日高门槛的图像与语音识别任务，如今已有成熟的开源框架可供免费使用，只要花点时间，就可以零成本部署。本文以语音识别为例，看如何高效的将语音识别功能集成至C#系统中，后续大家可以继续完善扩展，去处理如语音指令、语音交互、字幕生成、会议纪要分析、语音翻译等相关任务。

本文项目在笔记本电脑上用cpu就可以自己动手轻松实现，所有代码均已开源，仅需关注 萤火初芒 公众号回复AISharp即可查看仓库地址，供学习交流使用，无套路。

一、环境配置基础

语音识别的方案有很多，windows系统本身也自带有语音识别的方案(System.Speech.Recognition)，但是效果查强人意。既要简单好用，又要功能强大效果好，我们选择基于Whisper(MIT,https://github.com/openai/whisper)的Whisper.Net(MIT,https://github.com/sandrohanea/whisper.net)来实现。

Whisper 是2022年OpenAI发布的一个通用语音识别模型。它基于大量多样化的音频数据进行训练，同时也是一个多任务模型，能够执行多语言语音识别、语音翻译和语言识别任务。项目创建完成后直接在nuget拉取Whisper.net(1.9.0)和Whisper.net.Runtime(1.9.0)即可。

另外为了实现语音交互，还要在nuget拉取NAudio(2.2.1)(MIT,https://github.com/naudio/NAudio)，以实现通过麦克风设备对声音的捕获。

二、核心代码实现

2.1 四行核心代码实现语音转文本

上面的控制台demo的main函数代码如下：

  private static readonly string OutFile = "d:\record.wav";  //临时输出文件    // 读取json配置文件，nuget拉取LumConfig，往期文章有介绍  private static LumConfigManager con = new LumConfigManager("model.conf");  private static void Main() {     // 1. 加载模型     // 输入模型地址，model文件夹下面提供了一个tiny版模型可以直接用     var wm = new WhisperManager((string)con.Get("modelPath"));       while (true)     {         bool started = false;         Console.WriteLine("按 Space 开始/停止录音");          while (true)         {             var key = Console.ReadKey(true).Key;             if (key == ConsoleKey.Spacebar)             {                 if (started)                 {                     // 2. 开始录音                     StopRec();                     break;                 }                 else                 {                     // 3. 结束录音                     StartRec();                 }                 started=!started;             }         }           // 4. 转文本          var res = wm.RunAsync(OutFile).GetAwaiter().GetResult();          Console.WriteLine(res);                  } }  

代码通过循环控制来实现反复读取语音再转换为文本的动作。其实核心代码只有四行，分别是加载模型、开始录音、停止录音、语音转文本。后面我们将对其一一拆解。

2.2 麦克风录制声音

麦克风的录制很简单，我们只需要完成2个动作，一个是开始录制声音，另一个是停止录制声音。WaveFileWriter方法两个重载，可以选择把声音录制到文件，也可以录制到流(stream)中。以录制到文件为例具体代码如下：

private static void StartRec() {                 waveIn = new WaveInEvent     {         DeviceNumber = 0,                      // 默认麦克风         WaveFormat = new WaveFormat(16000, 1), // 44.1kHz 单声道         BufferMilliseconds = 100     };      writer = new WaveFileWriter(OutFile, waveIn.WaveFormat);      // 数据到达事件     waveIn.DataAvailable += (s, e) =>     {         writer.Write(e.Buffer, 0, e.BytesRecorded);     };      // 录音停止事件（负责释放 writer）     waveIn.RecordingStopped += (s, e) =>     {         writer?.Dispose();         writer = null;         waveIn?.Dispose();         waveIn = null;         stop.Set();     };      waveIn.StartRecording();     Console.WriteLine(">>> 正在录音……"); }  private static void StopRec() {     Console.WriteLine("<<< 停止录音");     waveIn?.StopRecording();   // 触发 RecordingStopped 事件      // 停止录制时，流数据的处理不一定已经完成     // 我们额外使用一个信号量来实现简单的同步     stop.WaitOne();   } 

2.3 语音转文字的实现

尽管Whisper.Net已经封装好了所有相关功能，但是我们最好额外写一个WhisperManager类来高效的反复使用他。具体代码如下：

internal class WhisperManager:IDisposable {     WhisperFactory whisperFactory;     WhisperProcessor processor;       public WhisperManager(string path)     {         whisperFactory = WhisperFactory.FromPath(path);         processor = whisperFactory.CreateBuilder()             .WithLanguage("zh")             .WithPrompt("以下是，简体中文普通话的句子。")  // 否则大概率会输出繁体中文             .WithThreads(16)             .Build();                 }          public async Task<string> RunAsync(string path)     {         try         {             var sb = new StringBuilder();             using var fileStream = File.OpenRead(path);             //  异步获取识别后的分段结果             await foreach (var seg in processor.ProcessAsync(fileStream))             {                 var str = $"{seg.Start}->{seg.End}: {seg.Text}rn";                 sb.AppendLine(str);                 var per = (fileStream.Position / fileStream.Length*100).ToString("N2");             }             return sb.ToString();         }         catch (Exception ex)         {             return ex.Message;         }     }      public void Dispose()     {         processor.Dispose();         whisperFactory.Dispose();     } }  

Whisper重要基础参数配置：
WithLanguage，指定输入语音的语言，如zh、en、ja、auto（自动）;
WithPrompt，输出提示词，这里与大语言模型不同，只能说引导模型生成，比如“以下是一个访谈。”。此处需要与指定语言一致，否则可能会强行切换，50～200 个字符足够，最好出现"标点符号"（不然可能会无标点）、"口语词、专有名词"（适配语境）。
另外还有很多与线程、输出相关的控制，大伙可根据需要自行研究了解。

2.4 模型、输入与输出

c#使用的Whisper模型是.bin的二进制格式的，现在可以在https://huggingface.co/ggerganov/whisper.cpp/tree/main下载。本项目里用到的是好久以前下载的ggml-model-whisper-tiny.bin，74mb，速度很快但效果中等。

本项目对Whisper的输入用的是wav格式的文件，且采样率必须为16kHz，否则会报错。如果导入音频时采样频率不对，可以用NAudio通过下代码进行转换：

public void Execute() {     //using (Mp3FileReader reader = new Mp3FileReader("D:\Documents\Temp\WhisperDesktop\上午对接结构录音.mp3"))     using (AudioFileReader reader = new AudioFileReader("D:\Documents\Temp\WhisperDesktop\录音.m4a"))     {       // 16kHz, 16bit,单声道       var newFormat = new WaveFormat(16000, 16, 1);        using (var conversionStream = new WaveFormatConversionStream(newFormat, reader))       {           WaveFileWriter.CreateWaveFile("D:\Documents\Temp\WhisperDesktop\录音.wav", conversionStream);       }                  } } 

Whisper输出是分多个段（IAsyncEnumerable）输出的，包含如起始时间，文本，语言等多个信息，我们可以选择性的进行导出查看。

public class SegmentData {     public string Text { get; } 文本      public TimeSpan Start { get; }      public TimeSpan End { get; }      public float MinProbability { get; }      public float MaxProbability { get; }      public float Probability { get; }      public string Language { get; }      public WhisperToken[] Tokens { get; }      public float NoSpeechProbability { get; } } 

打印的结果示意：

00:00:00->00:00:15: 一二三四五,上山打老虎,老虎没打到,打到了小松鼠。 

三、最后

• 在使用tiny模型下，整体速度和质量还是基本可以的，如果追求更好的效果则考虑使用更大模型，但与之对内存的需求及运算时间会相应大幅增加。
• 在转换时，语音越长，转换速度越慢，因此建议在转换前，主动对长语音进行分段。尽管这样可能导致上下文丢失造成一定程度的不精确，但却能显著提高转换速度。
• 语音识别是支持多语言混合的。但翻译的功能，试了下，失灵时不灵，可能和模型本身及大小有关。

感谢您的阅读，本案例及更加完整丰富的机器学习模型案例的代码已全部开源，新朋友们可以关注公众号回复AISharp查看仓库地址，本期相关代码在仓库下面的Voic文件夹里，在model文件夹内可以找到案例使用的74mb大小的ggml-model-whisper-tiny.bin小模型，大家可以自行尝试。