【免费下载链接】BIRD-Interact[ICLR 2026 Oral] BIRD-INTERACT: Re-imagines Text-to-SQL evaluation via lens of dynamic interactions.项目地址https://gitcode.com/gh_mirrors/bi/BIRD-Interact点击查看免费下载BIRD-Interact 是 ICLR 2026 Oral 论文提出的交互式 Text-to-SQL 评测基准本文将带你完整获取它的三份数据集Lite 270 任务、Full 600 任务与 Mini-Interact 300 任务并搞定 PostgreSQL / SQLite 数据库和 Ground Truth 的合并方法。一、先认识BIRD-Interact动态交互的Text-to-SQL基准BIRD-Interact 重新定义了 Text-to-SQL 的评测方式不再只看单轮问答而是让用户模拟器User Simulator与模型进行多轮对话逐步消解用户查询中的歧义Ambiguity最终验证模型写出的 SQL 是否能真实执行并通过测试用例。整个基准由三大部件组成这也是下载数据集时需要一并准备的内容组成部件说明️ 数据库Lite/Full 为 PostgreSQL18/22 个库Mini-Interact 为 SQLite 任务数据含歧义注入查询、追问、外部知识等字段✅ Ground Truth标准答案 SQL 与可执行测试用例需单独申请该基准提供两种评测模式下载时可根据研究目标选择c-Interact对话式交互被动模式流程固定——澄清歧义 → 提交 SQL → 追问对应 bird_interact_conv/ 模块a-Interact智能体式交互主动模式Agent 自主决定何时查知识库、何时问用户、何时执行 SQL对应 bird_interact_agent/ 模块研究还发现随着用户耐心值交互轮数预算增加部分模型的成功率持续上升展现出 Interaction-Time Scaling交互时扩展现象二、三大版本怎么选Lite 270 / Full 600 / Mini-Interact版本任务数数据库特点适用场景bird-interact-lite270PostgreSQL18 库 / 175 表高质量真实业务任务快速实验、上手首选bird-interact-full600PostgreSQL22 库 / 244 表覆盖 BI、CRUD 全操作当前最强模型成功率仅约 16%严肃研究、刷榜mini-interact300SQLite仅 SELECT歧义消解与追问解耦可本地轻量运行无 Docker 环境、个人快速验证 新手建议先用Lite 270跑通流程再用Mini-Interact做本地调试最后上Full 600。三、第一步克隆仓库获取评测代码所有数据集的评测脚本、用户模拟器与合并工具都在仓库中先克隆这是唯一需要 clone 的步骤git clone https://gitcode.com/gh_mirrors/bi/BIRD-Interact仓库中你后续会用到的关键文件README.md总览、环境搭建与数据集字段说明combine_public_with_gt.py公开数据与 Ground Truth 的合并脚本evaluation/PostgreSQL 四种数据库类型的评测源码mini_interact/README.mdMini-Interact 数据集说明四、下载Lite 270与Full 600数据集PostgreSQL版1. 获取公开数据Lite 与 Full 数据集托管在 HuggingFace 上在 HuggingFace 搜索框中分别查找数据集卡片Litebirdsql/bird-interact-lite270 任务Fullbirdsql/bird-interact-full600 任务下载后将数据集放入对应模块的data/目录例如 bird_interact_conv/ 或 bird_interact_agent/ 下。⚠️ 注意为防止数据泄露公开数据不含sol_sql标准答案和test_cases测试用例字段需要单独申请见下节。2. 申请Ground Truth与Test Cases官方邮件会自动发送完整字段文件只需按格式发送邮件到bird.bench25gmail.com标题必须带指定标签数据集邮件标题标签bird-interact-lite[bird-interact-lite GTTest Cases]bird-interact-full[bird-interact-full GTTest Cases]3. 合并公开数据与Ground Truth收到 GT 文件后用仓库根目录的 combine_public_with_gt.py 按instance_id自动合并。以 Full 为例# (1) 生成合并后的完整数据文件 python combine_public_with_gt.py \ /path/to/bird-interact-full/bird_interact_data.jsonl \ /path/to/bird_interact_full_gt_kg_testcases_08022.jsonl \ /path/to/bird_interact_data.jsonl # (2) 用合并结果替换原公开数据 cp /path/to/bird_interact_data.jsonl /path/to/bird-interact-full/bird_interact_data.jsonlLite 与 Mini 版本操作相同只需替换对应的公开数据与 GT 路径。每条任务数据的核心字段详见 README.md 的 Dataset Details 一节amb_user_query注入歧义的用户查询sol_sqlGround Truth SQLtest_cases验证预测 SQL 的可执行测试用例preprocess_sql/clean_up_sql执行前后对数据库的预处理与还原follow_up/external_knowledge追问标注与外部知识4. 加载PostgreSQL数据库Lite 与 Full 的数据库有两种获取方式方式 ADocker 预构建镜像推荐无需手动下载数据库转储文件cd env docker compose pull docker compose up -d这会启动三个容器bird_interact_postgresqlLite 数据库、bird_interact_postgresql_fullFull 数据库和bird_interact_eval评测环境。只跑 Lite 可注释掉postgresql_full服务以加快初始化。方式 B手动导入自行下载 Lite / Full 的数据库转储文件Google Drive 链接见 README.md Environment Setup 一节解压后分别重命名为env/postgre_table_dumps与env/postgre_table_dumps_full再使用docker-compose.build.yml构建镜像。启动后务必检查数据库是否加载成功在评测容器内执行docker compose exec bird_interact_eval bash cd /app/env python check_db_metadata.py --host bird_interact_postgresql # Lite python check_db_metadata.py --host bird_interact_postgresql_full # Full预期结果Lite 为18 库 / 175 表 / 2286 列Full 为22 库 / 244 表 / 2011 列。若日志出现Errors occurred during import:说明数据库未正确加载评测分数会异常偏低官方公告特别强调了这一点。五、下载Mini-InteractSQLite本地轻量版Mini-Interact 是便携版300 个 SQLite 任务歧义消解与追问解耦无需 Docker 即可本地评测。详细说明见 mini_interact/README.md。获取步骤在 HuggingFace 中查找数据集卡片birdsql/mini-interact下载其中的 SQLite 数据库文件与mini_interact.jsonl数据文件将 SQLite 数据库放入 mini_interact/knowledge_based/mini_interact_conv/data/ 目录数据文件放为data/mini_interact.jsonl配置模型 API Key 后通过 mini_interact/knowledge_based/mini_interact_conv/pipeline/run_Mini_Interact.sh 即可运行对话式评测当前已发布的版本为知识型歧义Knowledge-Based版本仅支持 SELECT 查询个性化歧义Personalized与 CRUD 操作在路线图中可关注 mini_interact/README.md 的 Roadmap 表格。六、进阶使用BIRD-Interact-ADK并行评测如果你的研究需要替换 Agent 框架或并行跑实验可以改用官方 ADK 实现 BIRD-Interact-ADK/。它把系统拆成三个独立微服务system_agent6000 端口、user_simulator6001 端口、db_environment6002 端口支持任意 LiteLLM 兼容的模型并通过每任务独立数据库副本实现无锁并发其数据集加载逻辑与上文完全一致Lite 18 库 / Full 22 库详细步骤见 BIRD-Interact-ADK/README.md。七、常见问题速查问题解决方法评测分数异常低检查 Docker 日志确认数据库全部加载成功不要跳过元数据校验数据缺sol_sql/test_cases正常现象公开数据刻意剔除需邮件申请后用 combine_public_with_gt.py 合并跑 Full 时连错数据库将 evaluation/ 中postgresql_utils.py的 host 从bird_interact_postgresql改为bird_interact_postgresql_full用户模拟器解析 SQL 报错在bird_interact_eval环境执行pip install sqlglot26.16.4或重建容器到这里Lite 270、Full 600 与 Mini-Interact 三份数据集、PostgreSQL / SQLite 数据库以及 Ground Truth 的完整获取链路就跑通了。接下来按 bird_interact_conv/README.md、bird_interact_agent/README.md 的 Quick Start 跑通第一组实验即可祝你在 BIRD-Interact 排行榜上取得好成绩 赞分享【免费下载链接】BIRD-Interact[ICLR 2026 Oral] BIRD-INTERACT: Re-imagines Text-to-SQL evaluation via lens of dynamic interactions.项目地址https://gitcode.com/gh_mirrors/bi/BIRD-Interact点击查看免费下载相关推荐Notepad-- 目录查找替换十分钟三行命令刷掉整个目录的旧版本号Notepad 目录查找替换十分钟三行命令刷掉整个目录的旧版本号 同一个配置值散在四十个文件里挨个打开逐个改改到第二十遍就开始怀疑人生。Notepad 是APScheduler任务结果处理完全指南如何获取和分析任务执行结果APScheduler任务结果处理完全指南如何获取和分析任务执行结果 APScheduler是一个功能强大的Python任务调度库能够帮助开发者轻松管理定时任务调度后端learn2learn任务转换教程如何从任何PyTorch数据集创建小样本任务learn2learn任务转换教程如何从任何PyTorch数据集创建小样本任务 小样本学习是元学习中的核心挑战而learn2learn库提供了强大的任务转换上一篇aiohttp 客户端中间件实战指南重试、日志、Token 刷新与 SSRF 防护下一篇Gatsby 中借助 gatsby-remark-prismjs 与 Emotion 实现 Markdown 代码高亮using-emotion-prismjs 实战解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考