骨骼点检测技术详解：探索机器识别人体动作的奥秘

随着人工智能技术的持续进步，机器不仅能听懂人类语言，识别图片内容，还能通过对人体动作的精准捕捉来实现有效的人体行为监测。这项技术主要集中在智能视频监控，病人监护系统，人机交互，虚拟现实，人体动画，智能家居，智能安防，运动员辅助训练等领域。那么机器是如何识别人体动作的呢？我们可以通过学习HarmonyOS SDK基础视觉服务（Core Vision Kit）提供的骨骼点检测能力来进行探索。

人体骨骼点检测，主要是检测人体的一些关键点，当前，基础视觉服务的骨骼检测技术可支持17个关键点的识别，具体为鼻子，左右眼，左右耳，左右肩，左右肘、左右手腕、左右髋、左右膝、左右脚踝。

系统可以通过检测出的关键点描述人体的骨骼信息，并基于骨骼点信息对人体姿势进行估计，从而识别人体的姿势和动作，比如站立、蹲下、跑步等。骨骼点检测技术除了能实现对人体行为的监控，还可以应用于游戏娱乐领域，通过对人体骨骼点的检测捕捉人体动作姿态，并应用于虚拟模型中，使模型可以活动起来。

开发步骤

开发者可以通过集成HarmonyOS SDK基础视觉服务提供的API来调用骨骼检测功能，具体步骤如下：

1.在使用骨骼点检测时，将实现骨骼点检测相关的类添加至工程。

import { skeletonDetection, visionBase } from '@kit.CoreVisionKit'; import { BusinessError } from '@kit.BasicServicesKit'; 

2.简单配置页面的布局，并在Button组件添加点击事件，拉起图库，选择图片。

Button('选择图片')   .type(ButtonType.Capsule)   .fontColor(Color.White)   .alignSelf(ItemAlign.Center)   .width('80%')   .margin(10)   .onClick(() => {     // 拉起图库，获取图片资源     this.selectImage();   }) 

3.通过图库获取图片资源，将图片转换为PixelMap。

private async selectImage() {   let uri = await this.openPhoto()   if (uri === undefined) {     hilog.error(0x0000, 'skeletonDetectSample', "Failed to defined uri.");   }   this.loadImage(uri) }  private openPhoto(): Promise<string> {   return new Promise<string>((resolve, reject) => {     let photoPicker: photoAccessHelper.PhotoViewPicker = new photoAccessHelper.PhotoViewPicker();     photoPicker.select({       MIMEType: photoAccessHelper.PhotoViewMIMETypes.IMAGE_TYPE, maxSelectNumber: 1     }).then(res => {       resolve(res.photoUris[0])     }).catch((err: BusinessError) => {       hilog.error(0x0000, 'skeletonDetectSample', `Failed to get photo image uri. code：${err.code}，message：${err.message}`);       reject('')     })   }) }  private loadImage(name: string) {   setTimeout(async () => {     let fileSource = await fileIo.open(name, fileIo.OpenMode.READ_ONLY);     this.imageSource = image.createImageSource(fileSource.fd);     this.chooseImage = await this.imageSource.createPixelMap();   }, 100) } 

4.实例化Request对象，并传入待检测图片的PixelMap，实现骨骼点检测功能。

// 调用骨骼点识别接口 let request: visionBase.Request = { inputData: { pixelMap: this.chooseImage, } }; let data: skeletonDetection.SkeletonDetectionResponse = await (await  skeletonDetection.SkeletonDetector.create()).process(request); 

5.（可选）如果需要将结果展示在界面上，可以用下列代码。

let data: skeletonDetection.SkeletonDetectionResponse = await (await skeletonDetection.SkeletonDetector.create()).process(request); let poseJson = JSON.stringify(data); hilog.info(0x0000, 'skeletonDetectSample', `Succeeded in face detect：${poseJson}`); this.dataValues = poseJson; 

了解更多详情>>

访问基础视觉服务联盟官网

获取骨骼点检测能力的开发指导文档