探索 JavaCV：开启计算机视觉与多媒体处理新世界

技术分享 8个月前 (06-26) 0 999+

在当今的技术领域，计算机视觉和多媒体处理的应用愈发广泛。从视频监控到直播录制，再到美颜相机等有趣的功能，都离不开强大的处理库。JavaCV 作为基于 OpenCV 和 FFmpeg 的 Java 接口库，为 Java 开发者打开了一扇通往这些功能的大门。接下来，就让我们一起深入了解 JavaCV 的神奇之处吧！

JavaCV 是什么？

JavaCV 就像是一个超级桥梁，它将 OpenCV 和 FFmpeg 这两个在 C++ 世界中叱咤风云的库，引入到了 Java 的环境里。有了 JavaCV，开发者无需再纠结于 C++ 的复杂语法和编译环境，在 Java 里就能轻松实现视频处理、图像分析、特征提取等高端操作。

它的特性超厉害

OpenCV 功能封装：JavaCV 把 OpenCV 的 C++ API 进行了精心封装，提供了和原生 API 很相似的 Java 接口。不管是图像处理、特征检测，还是目标跟踪，都能信手拈来。
FFmpeg 集成：集成了 FFmpeg 库，意味着 JavaCV 支持多种音视频格式的编解码、转码以及流媒体处理。以后处理音视频，就像吃蛋糕一样简单。
GPU 加速支持：在这个追求速度的时代，JavaCV 支持利用 GPU 进行加速计算。对于那些计算密集型任务，速度提升可不是一星半点。
多平台兼容：无论是 Windows、Linux 还是 macOS，JavaCV 都能完美运行，跨平台性一流。

安装指南

如果你使用 Gradle，安装 JavaCV 就像下面这样简单：

 dependencies {     implementation 'org.springframework.boot:spring-boot-starter-web'          // JavaCV 核心依赖     implementation group: 'org.bytedeco', name: 'javacv-platform', version: '1.5.7'          // Tesseract JavaCPP Presets     implementation group: 'org.bytedeco', name: 'tesseract-platform', version:  '5.0.1-1.5.7'            compileOnly 'org.projectlombok:lombok'     annotationProcessor 'org.projectlombok:lombok'     // Apache HttpClient 依赖     implementation 'org.apache.httpcomponents:httpclient:4.5.14'     // fastjson2 核心依赖     implementation 'com.alibaba.fastjson2:fastjson2:2.0.36'     implementation 'cn.hutool:hutool-all:5.8.1'     implementation 'org.springdoc:springdoc-openapi-ui:1.7.0' }

这里要注意啦，本文使用的 SpringBoot 版本为 2.7.6，JDK 版本为 11。而且在 Intellj IDEA 的“外部库”依赖关系中可以发现，javacv - platform 已经自带了很多依赖包，甚至连 ffmpeg 库都包含在内，所以使用时无需单独安装 ffmpeg 库。

有趣的 JavaCV 使用示例

录制 RTMP 直播流

想象一下，你正在观看一场精彩的直播，想要把它录制下来慢慢回味。JavaCV 就能帮你轻松实现这个需求。

核心对象揭秘

FFmpegFrameGrabber：它就像一个勤劳的小蜜蜂，从直播源中抓取帧数据。
FFmpegFrameRecorder：负责把抓取到的帧数据录制下来，保存成 MP4 文件。

下面是封装在 Spring Boot 中的示例代码：

 @Slf4j @RequiredArgsConstructor @Component public class RecordComponent {      /**      * 录制MP4      *      * @param deviceCode 设备编码      * @param videoUrl  直播url      * @param dpi 录制的视频质量（720p，1080p，2k）      * @return      */     @Async("customThreadPool")     public String record(String deviceCode, String videoUrl, DpiEnum dpi) {         log.debug("video_record_param:deviceCode={},videoUrl={},dpi={}", deviceCode, videoUrl, dpi);         try (FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(videoUrl)) {             if (videoUrl.startsWith("rtmp")) {                 //使用 TCP 避免丢包                 grabber.setOption("rtmp_transport", "tcp");             }             if (videoUrl.startsWith("rtsp")) {                 //使用 TCP 避免丢包                 grabber.setOption("rtsp_transport", "tcp");             }             //禁用数据缓冲区,直接从源读取，适用于实时流（如 RTSP/RTMP），减少从源到帧抓取的延迟             grabber.setOption("fflags", "nobuffer");             grabber.start();                          String videoSavePath="";             try (FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(videoSavePath, dpi.getWidth(), dpi.getHeight())) {                 // 禁用音频,若源中存在音频通道(即grabber.getAudioChannels()>0)，此配置无法生效                 recorder.setAudioChannels(0);                 //设置编码格式：h264                 recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);                 recorder.setFormat("mp4");                 //fps,帧率表示视频中每秒钟显示的静态画面数量                 recorder.setFrameRate(grabber.getFrameRate());                 //视频色彩相关配置                 recorder.setPixelFormat(avutil.AV_PIX_FMT_YUV420P);                 //降低视频编码延迟，适用于对实时性要求极高的场景                 recorder.setOption("tune", "zerolatency");                 //预设值影响编码速度和压缩效率的平衡                 recorder.setOption("preset", "veryfast");                 recorder.start();                                  Frame frame;                 while ((frame = grabber.grab()) != null) {                     recorder.record(frame);                     log.debug("video_record_{}视频帧录制成功", deviceCode);                 }             } catch (Exception e) {                 log.error("video_record_recorder_error,msg={},deviceCode={}", e.getMessage(), deviceCode);                 log.error("video_record_recorder_error", e);             }         } catch (Exception e) {             log.error("video_record_grabber_error,msg={},deviceCode={}", e.getMessage(), deviceCode);             log.error("video_record_grabber_error", e);         }     } }

这里的 @Component 让这个类成为 Spring IOC 组件，方便在其他地方注入使用。@Async 开启了异步线程，因为录制直播可能需要很长时间，不能让请求方一直等待。

原理：通过 FFmpegFrameGrabber 从指定的直播地址抓取帧数据，然后通过 FFmpegFrameRecorder 将帧数据录制为 mp4 文件。这里面会通过调用自包含的ffmpeg库，实现录制功能。

捕获摄像头画面

想不想用 Java 打开笔记本的摄像头，看看自己帅气或美丽的脸庞？下面的代码就能帮你实现：

 public class CameraComponent {      /**      * 打开摄像头并显示视频流，不可以以SpringBoot Web方式调用， 可以使用 main 调用。      */     public static void openCamera() {         try (OpenCVFrameGrabber grabber = new OpenCVFrameGrabber(0)) {             grabber.start();              CanvasFrame frameViewer = new CanvasFrame("摄像头视频");             frameViewer.setCanvasSize(grabber.getImageWidth(), grabber.getImageHeight());              Frame frame;             while ((frame = grabber.grab()) != null && frameViewer.isVisible()) {                 frameViewer.showImage(frame);             }                          frameViewer.dispose();         } catch (Exception e) {             log.error("打开摄像头失败", e);         }     }      public static void main(String[] args) {         openCamera();     } }

OpenCVFrameGrabber 负责捕获摄像头的视频流，CanvasFrame 则用来显示视频流。不过要注意哦，这个方法只能在 main 方法里运行，Spring Boot Web 项目启动会报错。

美颜相机

有了摄像头，怎么能少了美颜功能呢？JavaCV 也能实现简单的美颜效果。

 public class CameraComponent {      /**      * 美颜相机      */     public static void beautyFace() {         try (OpenCVFrameGrabber grabber = new OpenCVFrameGrabber(0)) {             CanvasFrame frameViewer = new CanvasFrame("美颜相机");             grabber.start();             frameViewer.setCanvasSize(grabber.getImageWidth(), grabber.getImageHeight());              String cascadePath = "D:\temp\haarcascade_frontalface_default.xml";             System.out.println("人脸检测器路径: " + cascadePath);             CascadeClassifier faceDetector = new CascadeClassifier(cascadePath);              OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();              Frame frame;             while ((frame = grabber.grab()) != null && frameViewer.isVisible()) {                 Mat mat = converter.convert(frame);                 if (mat == null) continue;                  Mat gray = new Mat();                 cvtColor(mat, gray, COLOR_BGR2GRAY);                 equalizeHist(gray, gray);                  RectVector faceDetections = new RectVector();                 faceDetector.detectMultiScale(gray, faceDetections);                  gray.release();                  for (int i = 0; i < faceDetections.size(); i++) {                     Rect rect = faceDetections.get(i);                     applyBeautyFilter(mat, rect);                 }                  frameViewer.showImage(converter.convert(mat));             }         } catch (Exception e) {             e.printStackTrace();         }     }      /**      * 简化版美颜滤镜实现      * @param frame      * @param face      */     private static void applyBeautyFilter(Mat frame, Rect face) {         int expand = face.width() / 4;         Rect expandedFace = new Rect(                 Math.max(0, face.x() - expand),                 Math.max(0, face.y() - expand),                 Math.min(frame.cols() - face.x() - 1, face.width() + 2 * expand),                 Math.min(frame.rows() - face.y() - 1, face.height() + 2 * expand)         );          Mat faceROI = new Mat(frame, expandedFace);          Mat smoothed = new Mat();         bilateralFilter(faceROI, smoothed, 15, 80, 80);          smoothed.copyTo(new Mat(frame, expandedFace));          smoothed.release();         faceROI.release();     } }

这个美颜功能主要是磨皮和虚化，让你的皮肤看起来更加光滑。不过它只对正脸有效哦，如果侧着脸或者没有检测到人脸，就不会有效果啦。

大致思路为，先捕捉摄像头的视频流，解析出帧数据，然后将帧数据转成图片给OpenCV库处理，处理完毕就是美颜之后的图片，再渲染到播放窗口上。

bilateralFilter：调用OpenCV的这个方法，实现磨皮效果。具体这个方法的作用可以参考：https://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/MANDUCHI1/Bilateral_Filtering.html

haarcascade_frontalface_default.xml：这是 OpenCV 提供的一个预训练模型文件，用于人脸检测。它基于 Haar 级联分类器（Haar Cascade Classifier）算法，包含了训练好的人脸特征数据，用于识别图像中的正面人脸区域。

faceDetections：这个对象的size 大于0 ，说明检测到了人脸。

JavaCV 的功能远不止这些，它就像一个宝藏库，等待着开发者们去挖掘更多有趣又实用的功能。赶紧动手试试吧！