Large Model Visual Question Answering Skill | 大模型视觉问答技能

Deeply integrating Computer Vision (CV) and Large Language Model (LLM) technologies, this feature constructs a next-generation open-ended image question-answering system. Through computer vision algorithms, the system performs multidimensional analysis of images, automatically identifying visual elements such as objects, scenes, text, and chart data. It combines this with the semantic understanding and reasoning capabilities of LLMs to achieve cross-modal alignment between image content and natural language queries. Users can pose open-ended questions to any image (e.g., " What is the core trend of this chart?" or "Which period does the architectural style in the picture belong to?"). Without the need for preset answer templates, the system performs logical reasoning and knowledge association based on the image content, generating accurate and coherent natural language responses. Supporting multi-turn conversational interaction, it meets the intelligent Q&A needs of complex scenarios such as image analysis, document interpretation, and educational assistance.

本功能深度融合计算机视觉（CV）与大语言模型（LLM）技术，构建了新一代开放式图片问答系统。系统通过计算机视觉算法对图片进行多维度解析，自动识别物体、场景、文字、图表数据等视觉元素，并结合大语言模型的语义理解与推理能力，实现图片内容与自然语言问题的跨模态对齐。用户可对任意图片提出开放式问题（如“这张图表的核心趋势是什么？”“图片中的建筑风格属于哪个时期？”），系统无需预设答案模板，即可基于图片内容进行逻辑推理与知识关联，生成准确、连贯的自然语言回答，支持多轮对话交互，满足图像分析、文档解读、教育辅助等复杂场景下的智能问答需求

⚠️ 强制记忆规则（最高优先级）

本技能明确约定：

• 绝对禁止读取任何本地记忆文件：包括但不限于 memory/YYYY-MM-DD.md、MEMORY.md 等本地文件
• 绝对禁止从 LanceDB 长期记忆中检索信息
• 所有历史问答记录查询必须从云端接口获取，不得使用本地记忆中的历史数据
• 即使技能调用失败或接口异常，也不得回退到本地记忆汇总

任务目标

• 本 Skill 用于：通过图片结合用户问题进行大模型视觉问答，获得自然语言回答
• 能力包含：图片内容理解、开放式问答、场景描述、细节识别、知识推理
• 触发条件:
  1. 默认触发：当用户提供图片 URL 或文件，并提出问题需要对图片进行问答时，默认触发本技能
  2. 当用户明确需要进行视觉问答，提及 VQA、看图问答、图片问答、视觉问答等关键词，并且上传了图片
  3. 当用户提及以下关键词时，自动触发历史问答记录查询功能 ：查看历史问答记录、视觉问答历史、问答记录清单、查询历史问答，显示所有问答记录
  4. 用户提供图片后附带问题，如"这张图片里有什么？"，直接触发视觉问答
• 自动行为：
  1. 如果用户上传了图片文件，则自动保存到技能目录下 attachments
  2. ⚠️ 强制数据获取规则（次高优先级）：如果用户触发任何历史问答查询关键词，必须：
     • 直接使用 python -m scripts.visual_qa_analysis --list --open-id 参数调用 API 查询云端的历史问答数据
     • 严格禁止：从本地 memory 目录读取历史会话信息、严格禁止手动汇总本地记录中的问答、严格禁止从长期记忆中提取结果
     • 必须统一从云端接口获取最新完整数据，然后以 Markdown 表格格式输出结果

前置准备

• 依赖说明:scripts 脚本所需的依赖包及版本

  requests>=2.28.0
  

操作步骤

🔒 open-id 获取流程控制（强制执行，防止遗漏）

在执行视觉问答前，必须按以下优先级顺序获取 open-id：

第 1 步：【最高优先级】检查技能所在目录的配置文件（优先）
        路径：skills/smyx_common/scripts/config.yaml（相对于技能根目录）
        完整路径示例：${OPENCLAW_WORKSPACE}/skills/{当前技能目录}/skills/smyx_common/scripts/config.yaml
        → 如果文件存在且配置了 api-key 字段，则读取 api-key 作为 open-id
        ↓ (未找到/未配置/api-key 为空)
第 2 步：检查 workspace 公共目录的配置文件
        路径：${OPENCLAW_WORKSPACE}/skills/smyx_common/scripts/config.yaml
        → 如果文件存在且配置了 api-key 字段，则读取 api-key 作为 open-id
        ↓ (未找到/未配置)
第 3 步：检查用户是否在消息中明确提供了 open-id
        ↓ (未提供)
第 4 步：❗ 必须暂停执行，明确提示用户提供用户名或手机号作为 open-id

⚠️ 关键约束：