摘要:随着人工智能技术发展,AI已经能够为黑白的老视频 “上色”,重现昔日的情景,让黑白图像变得栩栩如生。
怎么样,是不是看起来题目跟昨天的博客名称差不多?昨天是图片,今天是视频。从道理上说,将视频中的图像一一抓取,上色,合起来就是视频了。。。(我猜原理就是这样的)
所以,让我们把18.04的quick-start的demo折腾完吧。这次是根据 https://gitee.com/lovingascend/quick_start/blob/master/Atlas200DK_separate_MD/video_sample.md ,将视频给上色了。
闲话少说,我们按照说明来,使用”开发环境交叉编译第三方库,再将第三方库导入运行环境,提供运行调用“的方法。
先在虚拟机环境装presentagent:
然后依次照做:
bash configure
make -j8(编译的时间会有点长。。。)
sudo make install
下面编译arm版本的so,为迁移到开发板做准备:
make distclean
./configure --build=x86_64-linux-gnu --host=aarch64-linux-gnu --with-protoc=protoc
make -j8(耐心地等编译结束。。。)
sudo make install
下面到运行环境同步刚才编译好的第三方库:
注意这里手册有个bug:(scp需要加上一层arm目录),否则会找不到文件:scp $HOME/ascend_ddk/arm/lib/libpresenteragent.so HwHiAiUser@192.168.1.2:/home/HwHiAiUser
然后登录开发板,再拷贝so文件:
我们再做最后的一步,获取视频项目:
回到虚拟机的开发环境:
unzip colorization_video.zip 解压
建好目录,下载模型和权重文件:(好像跟上次是一样的)
回到MindStudio.关闭原来的工程并打开新下载的工程:
下面的步骤跟上次图片上色的那个基本是一致的:转换模型,加载模型到项目中,编译,运行。。。
个人感觉模型转换可以省略,因为图片上色的时候已经做过了。这次仅仅选择了加载。
检查下虚拟网卡的地址 192.168.1.223
以及 script/presentserver/display/config/config.conf中的presenter_server_ip 是否对应:
没问题。
再检查 src/colorize_process.cpp 106行地址是否跟前面对应:
也没问题。
修改编译参数(每次手册都说要该centos7.6,其实这倒是缺省的。倒是Target Architecture每次都要改成aarch64.手册每次都不说。只好笔者帮你说了。。。
点击Build。。。会生成build和out文件夹:
启动colorization-video应用的Presenter Server主程序:
居然报错了!!
看来这里还不能完全按照手册来,因为前面虽然都是按照手册装的,但是系统内分布了多个python版本,有apt-get安装的python3,也有用源码编译的python3.7.5.那么既然前面用的都是3.7.5.,那么这里的命令就应该改为:
python3.7.5 script/presenterserver/presenter_server.py --app=display & (手工加粗加红)
可以切换到 MindStudio Run一下了:先配置:
apply, ok后,再运行:
好像缺个动态库 libascendcl.so
经 @Jokey 大大的指点,
去开发板后台检查文件:
有这个文件,而且LD_LIBRARY_PATH也指向了这个so所在的目录:
另外,到开发板的工程out目录下,手工执行,好像是可以执行完毕的:
本来想修改下run.sh,在前面增加LD_LIBRARY_PATH变量。
结果发现,每次修改,都会被run程序将后台还原成一行的run.sh
这个就需要专家来回答了。暂时不管。。。(以后管。。。)
那我们看看在运行的时候,presenter_server怎么样?
在虚拟机打开浏览器:http://127.0.0.1:7009
可以看到有一路视频,点击view的名称,会弹出view的窗口,在run.sh执行的过程中,这里会有变化,截几个屏:
从视频效果来看,应该还是较为流畅的。fps=14.
我把原始视频和上色后的视频都传上来了。有兴趣的童鞋可以看下效果。剩下那个运行的问题,就等着专家来解决了。。。
另外,笔者去腾讯视频拍了一段 卓别林《摩登时代》的1分钟视频(参见附件),将其传入开发板的data目录:
然后run的参数再改成这个mp4的名称:
最后看到的效果如下:
转换好的视频(只录了一点点,因为太慢了影响我的感受,就没录完。。。)也上传到附件。
从转换的结果可以看出,fps=8.感觉有点慢。可能是200DK的推理能力还没这么快,也许300i可以快一点。。。
附上历史折腾清单:
华为Atlas 200DK初体验——写在昇腾新品发布的第二天 https://bbs.huaweicloud.com/blogs/193847
Atlas 200DK系统折腾纪实:(1)论图片及18.04.1的诞生 https://bbs.huaweicloud.com/blogs/194291
Atlas 200DK系统折腾纪实:(2)视频的诞生 https://bbs.huaweicloud.com/blogs/194641
Atlas 200DK系统折腾纪实:(3)强大的yolo3物体检测——你想看的内容已被系统提取 https://bbs.huaweicloud.com/blogs/194816
Atlas 200DK系统折腾纪实:(4)18.04.1的软件安装及双系统切换验证 https://bbs.huaweicloud.com/blogs/195227
Atlas 200DK系统折腾纪实:(5)Atlas让黑白照片原彩重现 https://bbs.huaweicloud.com/blogs/195391
(全文完,谢谢阅读,本文中的问题看看下次能不能解决。。)
black-white_video.rar 1.02MB
out_modengshidai.rar 2.26MB
modengshidai.rar 9.13MB
上色后的视频0826.rar 2.29MB