ClinicalAgent：结合大模型的临床试验多智能体系统

ClinicalAgent：结合大模型的临床试验多智能体系统

• • 提出背景
  • ClinicalAgent 框架
  • • • 规划智能体
      • 功效智能体
      • 安全智能体
  • 解法
  • • • 解法 = 子解法1（因为需要处理复杂的数据和多变量） + 子解法2（因为需要及时反馈临床试验中的变化） + 子解法3（因为需要根据实时数据调整试验策略）
      • 和医学大模型的区别

论文：ClinicalAgent: Clinical Trial Multi-Agent System with Large Language Model-based Reasoning

代码：https://anonymous.4open.science/r/ClinicalAgent-6671

提出背景

尽管大型模型和多智能体系统在处理自然语言任务方面有出色表现，它们在临床试验领域仍然面临许多挑战，尤其是在获取外部知识方面的限制。

为了充分利用这些先进工具在处理最新医疗数据方面的能力，我们设计了一个名为 ClinicalAgent 的临床多智能体系统，该系统集成了 GPT-4 技术、多智能体结构、LEAST-TO-MOST 和 ReAct 推理技术，旨在提高这些工具的可用性和效能。

我们的系统不仅提高了在临床环境中的性能，还增加了一些新功能。

在预测临床试验结果方面，我们的方法显示出优越的性能（PR-AUC 为 0.7908），相较于传统方法提高了 0.3326。

以往的研究已经表明，大型语言模型（如 ChatGPT、BioGPT）在医疗领域，特别是在病人诊断、沟通和医学研究方面展现出了巨大的潜力。但是，这些研究还没有深入挖掘这些模型在临床试验中的潜力，尤其是在理解药物作用、疾病特性和患者反应之间的复杂关系方面。

为了解决这一问题，我们开发了一个多智能体系统。这个系统利用一些专门的“代理”（就像小助手一样），来执行如下任务：检索药物信息、分析疾病和进行解释性推理。

这样做可以帮助我们更好地理解临床试验中的数据，提高决策的准确性和易理解性，并能更有效地预测临床试验的结果、分析为什么会失败以及估计试验的持续时间。

尽管现有研究讨论了利用这些大型模型来帮助患者整合数据和提供诊断建议，但通常只关注了模型的对话功能。

相比之下，我们的方法不仅利用了这些模型的对话能力，还通过结合外部数据库和先进的推理技术，使得我们的分析既全面又具有操作性，这意味着我们不仅能理解数据背后的复杂联系，还能根据这些信息做出实际的行动计划。

我们的主要贡献包括：

• 提出了首个能够将大型语言模型的对话功能提升为可操作智能的临床多智能体系统
• 我们整合了丰富的工具和知识，并利用先进的推理技术增强了系统的决策能力
• ClinicalAgent 在临床试验结果预测方面表现出色（PR-AUC 为 0.7908），相较于传统方法提升了 0.3326。

ClinicalAgent 框架

├── 3 方法论【系统设计和逻辑框架描述】 │   ├── 3.1 ClinicalAgent概述【系统总体功能描述】 │   │   ├── 对话式多智能体框架【构成系统的基础结构】 │   │   │   ├── 输入：自然语言查询【用户或研究者的输入】 │   │   │   ├── 处理：GPT-4解析和响应生成【技术支持】 │   │   │   └── 输出：连贯且情境适宜的回应【系统反馈】 │   │   ├── 专家智能体角色【各智能体的专业领域和功能】 │   │   │   ├── 药理学智能体【处理药物相关数据】 │   │   │   ├── 疾病诊断智能体【处理疾病识别和信息】 │   │   │   └── 临床试验设计智能体【设计和管理临床试验】 │   │   ├── 推理增强方法【推理过程的技术支持】 │   │   │   ├── ReAct [33]【识别、行动、环境上下文的分析】 │   │   │   └── LEAST-TO-MOST [40]【从最简到最复杂的问题解构】 │   │   └── 功能性操作【智能体执行的具体操作】 │   │       ├── 信息搜索【从外部数据库和资源检索信息】 │   │       ├── 数据索引【在内部数据库中组织和索引信息】 │   │       └── 专家AI模型应用【利用高级模型处理特定任务】 │   ├── 3.2 智能体角色和职责【具体智能体的操作和责任】 │   │   ├── 规划智能体【制定策略和分解问题】 │   │   │   ├── 输入：复杂问题【来自用户的复杂查询】 │   │   │   ├── 处理：LEAST-TO-MOST方法应用【问题分解】 │   │   │   └── 输出：子问题列表【分配给专门智能体】 │   │   ├── 功效智能体【评估药物治疗效果】 │   │   │   ├── 输入：药物和疾病信息【查询特定药物和疾病】 │   │   │   ├── 处理：数据检索和分析【使用DrugBank和HetioNet】 │   │   │   └── 输出：药物功效报告【药物对疾病的作用分析】 │   │   └── 安全智能体【评估药物安全性】 │   │       ├── 输入：药物信息【特定药物的安全性查询】 │   │       ├── 处理：安全数据分析【使用DrugBank等数据库】 │   │       └── 输出：安全性报告【药物可能的风险和副作用】 │   ├── 3.3 调用外部工具【使用外部资源增强系统能力】 │   │   └── 数据和AI模型集成【数据来源和预测模型的应用】 │   │       ├── 数据源：DrugBank, HetioNet, ClinicalTrials.gov【为智能体提供必要的信息】 │   │       └── 预测AI模型：入组模型和药物风险模型【预测临床试验相关的各种结果】 │   └── 3.4 推理技术整合【提升决策质量的方法整合】 │       ├── ReAct推理：环境认识和适应行动【动态环境中快速准确决策】 │       └── Least-to-Most推理：结构化问题解决【系统地解决问题从简单到复杂】 └── 3.5 工作流程【系统操作的具体流程】     ├── 步骤1：问题规划和分解【开始处理用户查询】     ├── 步骤2：任务分配【将子问题分配给相应智能体】     ├── 步骤3：独立智能体处理【智能体独立处理任务】     ├── 步骤4：结果综合【合并所有智能体的处理结果】     ├── 步骤5：推理和决策【最终决策制定】     └── 步骤6：解决方案交付【向用户提供完整解答】 

我们提出的系统是一个类似于由各种专家组成的医院团队的对话式多智能体框架。

系统中的每个智能体扮演不同的角色，仿照医学专业人员的专业化分工——有些专注于药理学，其他的专注于诊断疾病，还有一些专门设计临床试验。为了处理自然语言输入并生成连贯且情境适宜的回应，每个智能体都利用GPT-4。

此外，我们通过整合如ReAct 和LEAST-TO-MOST 原则等方法来增强系统的推理能力。

在推理过程之后，系统能够采取如搜索信息、在数据库中索引数据和使用专家AI模型等行动。

通过整合这些信息，系统有效地模拟了一位知识渊博的医生。

这些智能体协同工作，能够为用户查询提供精确、可解释的解决方案。

ClinicalAgent整合了多种机器学习模型和数据源来预测临床试验的持续时间、失败原因、结果和入组难度。

作为首个使用先进LLM技术的临床试验多智能体框架，它具有一个开发的网站并旨在成为一个社区平台，提供精确和可解释的用户查询解决方案。

ClinicalAgent框架整合了一系列专门的智能体，每个智能体都采用ReAct和LEAST-TO-MOST推理方法来精心规划其行动。

通过使用先进的搜索功能、访问专家模型和在数据库中索引，这些智能体能够有效执行广泛的任务。

这张图展示的是【ClinicalAgent】框架的工作流程和结构，用于解决预测临床试验结果的问题。具体内容如下：

1. 问题：预测临床试验结果。

2. 规划智能体 (Planning Agent)：

   • 功能：将复杂问题分解为三个子问题，即试验招募、药物安全性评估、药物疗效评估。

3. 子问题处理：

   • 招募智能体 (Enrollment Agent)：处理与试验招募相关的问题。
   • 安全智能体 (Safety Agent)：评估药物对人体的安全性。
   • 疗效智能体 (Efficacy Agent)：评估药物对疾病的疗效。

4. 外部工具调用：

   • 数据库检索：如Drugbank数据库提供药物信息，Hetionet知识图提供疾病相关信息。
   • AI预测器：如用于预测试验招募成功率的AI模型。

5. 推理智能体 (Reasoning Agent)：

   • 功能：整合各个子问题的解决方案，进行推理分析，最终决定试验的成功或失败。

这个框架通过多智能体协作，结合外部工具增强决策支持，目标是提高临床试验预测的精度和效率。

规划智能体

规划智能体的主要角色是制定策略并确定解决用户问题的最佳方法。

利用LEAST-TO-MOST推理方法，此智能体系统地将复杂问题分解为更小、更易管理的子问题。

这种分步解构促进了针对性的干预，其中每个子问题由最合适的专家智能体处理。

在临床试验的背景下，规划智能体采用少数样本学习技术在示例场景中进行训练。

这种方法增强了智能体在临床环境中有效分解和委派任务的能力，确保精确和高效的问题解决。

功效智能体

功效智能体是我们多智能体框架中的一个专业模块，主要关注评估药物对指定疾病的治疗效果。

此智能体利用先进的数据检索和分析技术，从丰富的生物医学数据库如DrugBank 和HetioNet知识图获取信息，确保全面和准确的评估。

具体来说，功效智能体使用SMILES（简化分子输入线性输入系统）符号来识别和检索关于药物的详细化学和药理信息，包括它们的分子结构、作用机制、代谢和潜在副作用，提供药物属性的整体视图。

在接收到具有特定药物和疾病的查询后，功效智能体执行几个关键功能：

• 药物和疾病分析：从DrugBank和其他相关数据库检索最新的、详细的药物和疾病描述，确保用户能够访问到可靠和全面的信息。
• 互动路径映射：利用HetioNet知识图追踪和可视化连接药物和疾病的路径。这涉及识别生物互动，如靶蛋白和遗传关联，这对于理解药物潜在功效至关重要。
• 功效评估：分析收集的信息，评估药物对疾病的潜在有效性，考虑因素如靶向特异性、治疗指数和临床试验的证据。

通过综合多个数据来源并使用复杂的分析技术，功效智能体提供了药物-疾病关系的关键见解，支持临床和研究设置中的明智决策。

安全智能体

安全智能体是我们ClinicalAgent框架的核心部分，专门负责评估药物的安全性及其对患者健康的影响。

此智能体利用全面的药理数据库和历史临床试验结果来评估特定药物-疾病互动的风险。

利用如DrugBank和临床试验登记处等数据库，安全智能体提供药物的历史安全性档案的详细见解。

安全智能体的关键功能包括：

• 药物安全分析：访问数据库中的详细安全信息，编译关于不良药物反应、禁忌症和警告的历史数据。这些数据对于理解与药物相关的风险因素至关重要。
• 历史失败率分析：调查过去的临床试验和报告的结果，确定在类似情境或针对类似疾病的药物的失败率。这一分析有助于预测当前应用中可能的安全问题。
• 风险评估：使用统计模型分析安全数据并预测使用某药物治疗特定疾病时的不良反应风险。这种预测能力对于做出有关药物处方和使用的明智决策至关重要。

通过系统地分析安全数据和历史试验结果，安全智能体在临床设置中扮演着最小化风险和提高患者安全的关键角色。

解法

对于【ClinicalAgent】的逻辑拆解，我们可以从其目的、问题以及解决方案的角度进行详细的分析。ClinicalAgent旨在通过利用高级机器学习技术和多智能体系统提升临床试验的预测精确性和效率。

• 临床试验中存在大量不确定性，包括病人招募、药物安全性和疗效评估等，这些都需要精确和及时的分析来支持决策。

ClinicalAgent采用了多智能体系统结构，整合多种机器学习模型和外部数据源，以提高决策的精确性和效率。

解法 = 子解法1（因为需要处理复杂的数据和多变量） + 子解法2（因为需要及时反馈临床试验中的变化） + 子解法3（因为需要根据实时数据调整试验策略）

1. 子解法1：使用高级机器学习模型和算法

   • 之所以用高级机器学习模型和算法，是因为临床试验数据复杂，涉及多种变量和条件，需要强大的计算能力来提取和分析这些数据。例如，Gradient-Boosted Decision Trees (GBDT) 和 Hierarchical Attention Transformer (HAtten) 能够有效处理和分析药物、疾病和资格标准的综合数据。

2. 子解法2：实时数据集成和分析

   • 之所以采用实时数据集成和分析，是因为临床试验环境快速变化，需要快速响应这些变化以做出准确的决策。例如，ClinicalAgent通过集成外部数据库如DrugBank和ClinicalTrials.gov，实时更新和利用最新的临床数据。

3. 子解法3：多智能体协作

   • 之所以使用多智能体协作，是因为不同阶段和方面的决策需要专家知识和特定领域的分析。例如，Enrollment Agent、Safety Agent 和 Efficacy Agent 分别处理招募可行性、药物安全评估和疗效评估，这些智能体的协作确保了从多角度全面评估临床试验的可能结果。

和医学大模型的区别

【ClinicalAgent】与传统的医学大模型（如GPT-3, BioBERT等）在多个关键方面有所不同，这些差异主要体现在系统架构、功能实现以及应用策略上。

系统架构：

• 医学大模型：通常是单一的大规模语言模型，通过预训练和微调来适应特定的医学文本和问题，侧重于利用巨大的语料库来捕获医学知识。
• ClinicalAgent：采用多智能体系统架构，集成了多种机器学习模型和外部数据源。它不仅使用单一的模型，而是通过多个专门的智能体（如Enrollment Agent, Safety Agent, Efficacy Agent）来处理临床试验的不同方面，每个智能体都针对其专业领域进行优化。

功能实现：

• 医学大模型：通常专注于文本生成、问答任务或文本理解，它们的输出通常是基于生成的文本，侧重于语言理解和回应。
• ClinicalAgent：除了处理文本信息外，还整合了实时数据处理、多方面的决策支持，以及与外部数据库（如DrugBank, ClinicalTrials.gov）的交互功能。这使得ClinicalAgent能够在实时环境中做出基于数据的决策。

应用策略：

• 医学大模型：主要是作为一个通用工具使用，在多种医学应用中提供支持，如疾病诊断、文献分析等。
• ClinicalAgent：专为临床试验设计，具体到临床试验的每个环节，如招募可行性分析、药物安全性评估和疗效评估。它的设计旨在通过精确分析和预测来提升临床试验的效率和成功率。

协作和定制能力：

• 医学大模型：虽然具备强大的数据处理和学习能力，但在个性化和特定场景的适应性方面可能有限。
• ClinicalAgent：通过多智能体协作和少数样本学习等技术，能够更好地适应特定的临床试验需求，提供定制化的解决方案。

解法的逻辑链与协同效应：
ClinicalAgent 的多智能体策略形成了一个复杂的逻辑链，这些链条不是单线的，而是一个网络结构，每个智能体都可以独立工作，也可以与其他智能体交互，共同为临床试验提供全方位的决策支持。这种多智能体协作极大地增强了系统的灵活性和适应性，使其能够处理临床试验中的多变和复杂情况。

【ClinicalAgent】与传统医学大模型的主要区别在于其多智能体的协作架构、面向特定临床试验应用的功能实现，以及强大的实时数据处理和决策支持能力。

这些特性使得【ClinicalAgent】不仅在技术上与众不同，也在实际应用中提供了更精确、更针对性的解决方案。