InferCept、Preble&Cognify:面向下一代 AI Agent 工作流系统的构建

主讲嘉宾

张怡颖,现任加州大学圣地亚哥分校计算机科学与工程系副教授。她的研究领域涵盖人工智能系统与数据中心云计算系统,当前主要致力于构建下一代的AI Agent系统。她曾获得OSDI最佳论文奖、SYSTOR最佳论文奖、美国国家科学基金会CAREER奖,以及来自谷歌、Meta、亚马逊、英特尔、VMware和SRC的多项研究奖项。张怡颖在威斯康星大学麦迪逊分校计算机科学系获得博士学位,师从Andrea 和Remzi Arpaci-Dusseau。

主题提纲

InferCept、Preble & Cognify:面向下一代 AI Agent 工作流系统的构建

1、AI 系统层面的 Agent 工作流系统设计 2、InferCept:专为 Transformer 模型 Agent 工作流设计的推理系统 3、针对共享长 LLM 提示的分布式系统 Preble 4、开源开发者工具 Cognify,自动优化 Agent 工作流

直播时间

4月4日(周五)上午10点

成果链接

Paper:INFERCEPT: Efficient Intercept Support for Augmented Large Language Model Inference Abs:https://arxiv.org/abs/2402.01869 Code:https://github.com/WukLab/InferCept

Paper:Preble: Efficient Distributed Prompt Scheduling for LLM Serving Abs:https://arxiv.org/abs/2407.00023 Code:https://github.com/WukLab/preble

Paper:Cognify: Supercharging Gen-AI Workflows With Hierarchical Autotuning Abs:https://arxiv.org/pdf/2502.08056 Code:https://github.com/GenseeAI/cognify

参与方式

Talk 将在青稞·知识社区上进行,扫码对暗号:" 0404 ",报名进群!