暑期总结--彭惠民--7.1-9.1

hmpeng

本次暑期工作从7.1号开始，到9.1号，历时两个月。

当时定下的目标。
1.完成虾的数据标注，训练。 使用yoloV3算法对识别虾头部尾部。使用yoloV3算法跟踪单个虾。
2.完成一个视频操作软件：
主要功能包括：视频转化为图片保存，视频压缩保存关键帧、图片大小调整等功能
3.完成metapath2vec的论文写作。

两个月之前，初步估计工作量是比较充足的，也是在这段时间内能够完成的工作量。在执行过程中，发现了很多问题，遇到一些难以发现的BUG，随着进程推进，计划也改变了一些。总体来讲，当初的目标完成了70%左右吧。同时也新增了一些学习计划，比如吴恩达的深度学习，周志华的机器学习部分。

1，首先是识别项目，数据集扔给新来的学弟标注了，总共960张。通过YOLOV3完成了虾头，虾身，虾尾，整个虾的识别。但旋转的角度之后识别误差大，原因是训练样本中没有旋转的角度的虾样本。这个问题导致本想用yoloV3检测算法去做跟踪的计划未能去尝试。这个过程中遇到的BUG有：标注软件labelimg本身具有BUG，我的图片在载入软件之后居然给它自动旋转了（90度或者-90度）（未知原因），结果标注的坐标大部分都是错的，这个问题花了很长的才发现。后面对已标注的数据做批量旋转以适应标注好的坐标。 由于这个部分遇到的问题花费时间太多，因此训练完之后没有继续去跟进优化调参。YOLOV3的算法后面有时间在去做图像数据增强，让算法能够进行角度变化的识别。

2.在暑假期间由于忙于项目和学习，中途发现曾老师在催文章，过了二十几天才打开邮件。后面就将论文和实验先做了。文章已发送曾老师。这个部分的计划基本完成，仍存在需改进的地方，包括文章，以及计划本身的优先级。

3.对于跟踪虾的跟踪，尝试将16，17效果最好的跟踪算法ECO用于虾的动态跟踪。发现跟踪效果也并不是很好，主要是非刚体目标旋转导致跟踪位置不精确。后来尝试用特征匹配 SIFT算法去做跟踪。同样匹配效果也不是很好。总的来讲这些尝试还不如之前茂华学姐做的跟踪器好，回顾学姐做的发现她虽然用的是很传统的算法，但是在这些基础上做了很多优化，包括背景去除，平滑去噪等。后面机缘巧合同学给我发了一篇，商业公司（商汤）18年发表的一篇文章。将检测用于跟踪任务的算法，代码也是近一个月才公布。纯深度学习算法，效果比ECO好，能够适应旋转，大小变化等因素。果然，学术界是比商业落后的。之前还有这个公司的员工在吐槽顶会上的文章也不咋地。该公司今年在CVPR顶级会议上发表了共44篇文章。因此不管是在学校，还是在公司，都要重视知识增长。

4.完成了一些基本的功能代码，还没有写界面。 功能部分有：视频转化图片，视频压缩保存，图片大小更改，图片转化为视频等。同样跟踪软件也还没有写界面上的东西。 打算使用pyqt和PYTHON，写跟踪软件。QT和C++写视频工具软件。

5.学习了吴恩达的深度学习三个部分（总共5部分），以及周志华的《机器学习》两三章的算法。