Vqa Competition

#VQA视觉问答

智能问答中涉及的动物，场景，作品，位置关系，颜色及数量限制如下：

动物：天竺鼠，松鼠，梅花鹿，狐狸，狗，狼，猫，花栗鼠，长颈鹿，驯鹿，鬣狗，黄鼠狼 场景：背包，牛仔裤，床，沙发，窗台， 作品：画，布偶，盘子，项链，杯子，（5种）；

位置关系：上边，下边，左边，右边，旁边；

颜色：白色，黑色，棕色，灰色；

数量：1-20

问题类型

###1. 艺术作品（画，布偶，盘子，项链，杯子） 图中的动物是什么样的艺术作品？

###2. 场景类型：（背包，牛仔裤，床，沙发，窗台） 图中的动物是在什么场景下？ ###3. 简单问题提问：

###4. 相对方位类型： 问：<动物1>相对于<动物2>在什么位置？ 答：

###5. 数量/种类： 问： 答：<数量>

类型1：对象提问

问：戴帽子的动物是什么动物？ 答：<对象>

问：树上边的动物是什么动物？ 答：<对象>

问：草坪上边的动物是什么动物？ 答：<对象>

问：画中的动物是什么动物？ 答：<对象>

问：人旁边的动物是什么动物？ 答：<对象>

问：图片中有几种动物？ 答：<数量>

**_问：图中的动物装扮成什么动物？ 答：<对象>_**

问：图中的布偶是什么动物？ 答：<对象>

类型2：动物类型数量

问：图中有多少种动物？ 答：<数量>

类型3：动物数量或者特定属性的动物数量

问：图片中有几只<对象>？ 答：<数量>

问：图中<属性>的<对象>有几只？ 答：<数量>

类型4：简单颜色属性或者位置关系

问：<对象1>相对于<对象2>在什么位置？ 答：<位置关系>

问：图中的<对象>是什么颜色？ 答：<属性>

分析：在cloudCV上，运用Deeper LSTM+ normalized CNN，代码见here

得到结果如下：

由此可以看出数量的准确率在30%-40%，具体可参考here.

###type:中-方位

Q：图中狐狸相对于狗在什么位置？ A：左边。 Q：图中猫相对于狗在什么位置？ A：左边。 Q：图中猫相对于狗在什么位置？ A：左边。 Q：图中天竺鼠相对于狗在什么位置？ A：右边。 Q：图中猫相对于狗在什么位置？ A：右边。 Q：图中猫相对于狗在什么位置？ A：左边。 Q：图中猫相对于狗在什么位置？ A：上边。 Q：图中猫相对于狗在什么位置？ A：右边。 Q：图中天竺鼠相对于狗在什么位置？ A：右边。 Q：图中猫相对于狗在什么位置？ A：左边。 Q：图中猫相对于狗在什么位置？ A：右边。 Q：图中猫相对于狗在什么位置？ A：上边。 Q：图中猫相对于狗在什么位置？ A：左边。 Q：图中猫相对于梅花鹿在什么位置？ A：左边。 Q：图中猫相对于狗在什么位置？ A：上边。 Q：图中猫相对于狗在什么位置？ A：左边。 Q：图中狼相对于驯鹿在什么位置？ A：下边。 Q：图中猫相对于狗在什么位置？ A：右边。 Q：图中猫相对于狗在什么位置？ A：上边。 — — — ###type:中-动物种类 Q:图片中有多少种动物 A:1 Q:图片中有多少种动物 A:2 Q:图片中有多少种动物 A:2 Q:图片中有多少种动物 A:2 Q:图片中有多少种动物 A:2 Q:图片中有多少种动物 A:2 Q:图片中有多少种动物 A:2 Q:图片中有多少种动物 A:2 Q:图片中有多少种动物 A:2 Q:图片中有多少种动物 A:2 Q:图片中有多少种动物 A:2

人旁边的动物

Q:图中人旁边的动物是什么？ A:花栗鼠 Q:图中人旁边的动物是什么？ A:花栗鼠 Q:图中人旁边的动物是什么？ A:黄鼠狼 Q:图中人旁边的动物是什么？ A:梅花鹿 Q:图中人旁边的动物是什么？ A:长颈鹿 Q:图中人旁边的动物是什么？ A:花栗鼠 Q:图中人旁边的动物是什么？ A:梅花鹿 Q:图中人旁边的动物是什么？ A:狗 Q:图中人旁边的动物是什么？ A:天竺鼠 Q:图中人旁边的动物是什么？ A:花栗鼠 Q:图中人旁边的动物是什么？ A:梅花鹿 Q:图中人旁边的动物是什么？ A:狗 Q:图中人旁边的动物是什么？ A:狗 Q:图中人旁边的动物是什么？ A:花栗鼠 Q:图中人旁边的动物是什么？ A:梅花鹿 Q:图中人旁边的动物是什么？ A:天竺鼠 Q:图中人旁边的动物是什么？ A:狗 Q:图中人旁边的动物是什么？ A:梅花鹿 Q:图中人旁边的动物是什么？ A:花栗鼠 Q:图中人旁边的动物是什么？ A:花栗鼠 Q:图中人旁边的动物是什么？ A:狐狸 Q:图中人旁边的动物是什么？ A:花栗鼠 3Q:图中人旁边的动物是什么？ A:驯鹿 Q:图中人旁边的动物是什么？ A:花栗鼠 Q:图中人旁边的动物是什么？ A:驯鹿 Q:图中人旁边的动物是什么？ A:驯鹿 Q:图中人旁边的动物是什么？ A:猫 ###易-布偶 Q:图中布偶是什么动物？ A:狼 Q:图中布偶是什么动物？ A:梅花鹿 Q:图中布偶是什么动物？ A:驯鹿 Q:图中布偶是什么动物？ A:狐狸 Q:图中布偶是什么动物？ A:长颈鹿 Q:图中布偶是什么动物？ A:狼 Q:图中布偶是什么动物？ A:梅花鹿 Q:图中布偶是什么动物？ A:黄鼠狼 Q:图中布偶是什么动物？ A:长颈鹿 Q:图中布偶是什么动物？ A:松鼠 Q:图中布偶是什么动物？ A:天竺鼠 Q:图中布偶是什么动物？ A:松鼠 Q:图中布偶是什么动物？ A:狗 Q:图中布偶是什么动物？ A:狐狸 Q:图中布偶是什么动物？ A:狐狸 ###易-戴帽子 Q:图中戴帽子的是什么动物？ A:天竺鼠 Q:图中戴帽子的是什么动物？ A:狼 Q:图中戴帽子的是什么动物？ A:狼 Q:图中戴帽子的是什么动物？ A:狗 Q:图中戴帽子的是什么动物？ A:狗 Q:图中戴帽子的是什么动物？ A:天竺鼠 Q:图中戴帽子的是什么动物？ A:天竺鼠 Q:图中戴帽子的是什么动物？ A:天竺鼠 Q:图中戴帽子的是什么动物？ A:天竺鼠 Q:图中戴帽子的是什么动物？ A:天竺鼠 Q:图中戴帽子的是什么动物？ A:狗 Q:图中戴帽子的是什么动物？ A:狗 Q:图中戴帽子的是什么动物？ A:猫 Q:图中戴帽子的是什么动物？ A:狗

###易-树上 Q:图中树上的动物是什么？ A:花栗鼠 Q:图中树上的动物是什么？ A:花栗鼠 Q:图中树上的动物是什么？ A:黄鼠狼 Q:图中树上的动物是什么？ A:黄鼠狼 Q:图中树上的动物是什么？ A:花栗鼠 Q:图中树上的动物是什么？ A:花栗鼠 Q:图中树上的动物是什么？ A:松鼠 Q:图中树上的动物是什么？ A:松鼠 Q:图中树上的动物是什么？ A:松鼠 Q:图中树上的动物是什么？ A:松鼠 Q:图中树上的动物是什么？ A:黄鼠狼 Q:图中树上的动物是什么？ A:猫 Q:图中树上的动物是什么？ A:花栗鼠 Q:图中树上的动物是什么？ A:猫 Q:图中树上的动物是什么？ A:花栗鼠 ###易-画 Q:画中的动物是什么？ A:梅花鹿 Q:画中的动物是什么？ A:狗 Q:画中的动物是什么？ A:花栗鼠 Q:画中的动物是什么？ A:狗 Q:画中的动物是什么？ A:梅花鹿 Q:画中的动物是什么？ A:狐狸 Q:画中的动物是什么？ A:狐狸 Q:画中的动物是什么？ A:狐狸 Q:画中的动物是什么？ A:鬣狗 Q:画中的动物是什么？ A:狗 Q:画中的动物是什么？ A:驯鹿 Q:画中的动物是什么？ A:鬣狗 Q:画中的动物是什么？ A:长颈鹿 Q:画中的动物是什么？ A:梅花鹿 Q:画中的动物是什么？ A:长颈鹿 Q:画中的动物是什么？ A:狼 Q:画中的动物是什么？ A:鬣狗 Q:画中的动物是什么？ A:梅花鹿 Q:画中的动物是什么？ A:长颈鹿 Q:画中的动物是什么？ A:天竺鼠 Q:画中的动物是什么？ A:狐狸 Q:画中的动物是什么？ A:驯鹿 ###易-草坪 Q:草坪上的动物是什么？ A:鬣狗 Q:草坪上的动物是什么？ A:梅花鹿 Q:草坪上的动物是什么？ A:天竺鼠 Q:草坪上的动物是什么？ A:梅花鹿 Q:草坪上的动物是什么？ A:鬣狗 Q:草坪上的动物是什么？ A:黄鼠狼 Q:草坪上的动物是什么？ A:黄鼠狼 Q:草坪上的动物是什么？ A:狗 Q:草坪上的动物是什么？ A:黄鼠狼 Q:草坪上的动物是什么？ A:梅花鹿 Q:草坪上的动物是什么？ A:黄鼠狼 Q:草坪上的动物是什么？ A:狗 Q:草坪上的动物是什么？ A:黄鼠狼 Q:草坪上的动物是什么？ A:狐狸 Q:草坪上的动物是什么？ A:鬣狗 Q:草坪上的动物是什么？ A:长颈鹿 Q:草坪上的动物是什么？ A:长颈鹿 Q:草坪上的动物是什么？ A:长颈鹿 Q:草坪上的动物是什么？ A:猫 Q:草坪上的动物是什么？ A:狼 Q:草坪上的动物是什么？ A:狼 ###易-颜色 Q:图中动物主要是什么颜色？ A:棕色 Q:图中动物主要是什么颜色？ A:棕色 Q:图中动物主要是什么颜色？ A:棕色 Q:图中动物主要是什么颜色？ A:棕色 Q:图中动物主要是什么颜色？ A:黑色 Q:图中猫主要是什么颜色？ A:白色 Q:图中狗主要是什么颜色？ A:棕色 Q:图中动物主要是什么颜色？ A:棕色 Q:图中动物主要是什么颜色？ A:黑色 Q:图中动物主要是什么颜色？ A:白色 Q:图中动物主要是什么颜色？ A:白色 Q:图中动物主要是什么颜色？ A:白色 Q:图中动物主要是什么颜色？ A:棕色 Q:图中动物主要是什么颜色？ A:橙色 Q:图中动物主要是什么颜色？ A:白色 Q:图中动物主要是什么颜色？ A:橙色 Q:图中动物主要是什么颜色？ A:白色 Q:图中动物主要是什么颜色？ A:橙色 ###难-动物数量 Q:图中有几只狗？ A:3 Q:图中有几只狗？ A:4 Q:图中有几只狗？ A:5 Q:图中有几只狗？ A:6 Q:图中有几只梅花鹿？ A:5 Q:图中有几只狗？ A:5 Q:图中有几只长颈鹿？ A:3 Q:图中有几只狗？ A:3 Q:图中有几只狗？ A:3 Q:图中有几只狗？ A:4 Q:图中有几只狼？ A:2 Q:图中有几只狗？ A:9 Q:图中有几只狐狸？ A:6 ###难-特定动物的数量 Q:图中有几只猫？ A:2 Q:图中有几只白色猫？ A:1 Q:图中有几只黑色的狗？ A:2 Q:图中有几只猫？ A:2 ###难-特定颜色动物 Q:图中有几只棕色的狗？ A:2 Q:图中有几只白色的猫？ A:2 Q:图中有几只黑色的狗？ A:2 Q:图中有几只白色的狗？ A:1 Q:图中有几只黑色的狗？ A:2 Q:图中有几只棕色的狗？ A:2 Q:图中有几只黑色的狗？ A:2 Q:图中有几只黑色的狗？ A:1 Q:图中有几只白色的狗？ A:1 ###难-装扮的动物 Q:图中是什么动物？ A:狼 Q:图中动物装扮成什么动物？ A:长颈鹿 Q:图中是什么动物？ A:狼 Q:图中动物装扮成什么动物？ A:长颈鹿 Q:图中动物装扮成什么动物？ A:梅花鹿 Q:图中动物装扮成什么动物？ A:长颈鹿 Q:图中动物装扮成什么动物？ A:长颈鹿 Q:图中动物装扮成什么动物？ A:长颈鹿 Q:图中动物装扮成什么动物？ A:长颈鹿 Q:图中动物装扮成什么动物？ A:长颈鹿 Q:图中是什么动物？ A:狼 Q:图中动物装扮成什么动物？ A:长颈鹿