AI 产品·设计·实践

一些想法,一些作品

ABOUT

产品 / 音乐 / AI

苏施予

@lilcubesu

关注多模态 AI,喜欢探索技术如何变成好用、有趣的产品。

以全栈产品能力为方向,结合需求分析、交互设计与 AI 编程,推进从方案验证到产品交付的完整流程。

腾讯音乐 / QQ音乐简洁版 - 波点音乐

QQ音乐业务线 / 酷我产品部

  1. AI 产品经理 在职

    2026.04 — 2026.09

  2. AI 产品经理

    2025.11 — 2026.04

  1. 北京林业大学 211

    风景园林

    2024.09 — 2027.06

  2. 华中农业大学 211

    风景园林

    2020.09 — 2024.06

  • 最佳在地开发奖

    阿那亚戏剧节 · 候鸟黑客松

  • 评委最喜爱奖

    EvoMap x Dify 黑客松

  • 特邀极客

    影石11周年开放日

WORKS

DIY RECOMMENDATION MODEAI INTERACTION LAB

DIY推荐模式

DIY 推荐模式入口
DIY 推荐模式偏好输入
DIY 推荐模式播放队列

AI Practice

DIY推荐模式:一个由AI驱动、将自然语言干预融入传统推荐链路的推荐模式

发现问题

每日约 30% 的后台反馈来自推荐

用户诉求明确,却只能通过客服表达。

AI 机会

理解自然语言,连接传统推荐

将用户表达转为推荐链路可执行的干预。

DIY 推荐模式

融入日常听歌,边听边表达偏好, 下一批推荐实时响应。

推荐链路设计

推荐链路设计先判断有无候选歌曲集、有无种子歌曲和 Query 约束类型。资产与相似歌曲候选按需进入 semantic_score、硬约束过滤和语义排序,没有额外要求则沿用候选顺序。猜你喜欢和检索式推荐接入含原生排序的传统 ANN 个性化召回。生成式结果做 u2i 个性化重排。所有路径统一输出推荐结果。推荐召回环节重排环节用户 query有无候选歌曲集?用户资产资产池类型:fav (收藏) / fullplay (最近播放)指定艺人、专辑或歌单有无种子歌曲?听了 X,想听类似的传统推荐链路-相似歌曲similar_songs传统相似召回Query 约束类型传统推荐链路-猜你喜欢“随便听几首”检索式推荐:提取硬约束genre_id / language_id / era快中慢 → BPM 范围生成式推荐(端到端)理解场景 / 情绪生成结果并映射曲库 ID有无有无无约束硬约束混合语义有额外语义要求?semantic_score语义筛排 Skill硬约束过滤语义排序有传统 ANN 个性化召回含原生排序用户向量 u2i 个性化重排输出推荐结果无:沿用候选顺序默认返回 10 首,最多 50 首默认返回 10 首,最多 50 首默认返回 10 首,最多 50 首默认返回 20 首默认返回 10 首,最多 50 首默认返回 10 首,最多 50 首默认返回 10 首,最多 50 首

将传统推荐中的能力拆为模块tool,由 Agent 根据用户意图动态调用,与LLM串接组合

AI Practice

DIY推荐模式:一个由AI驱动、将自然语言干预融入传统推荐链路的推荐模式

记忆机制 Memory

记忆机制 Memory内容偏好与适用场景分别记录。短期记忆仅存在于当次 Session 上下文。偏好事件日志用于判断长期沉淀条件:明确陈述直接写入,或同向偏好至少三次、跨至少两个 Session 且无反向证据。长期偏好采用常驻注入和按需结构化检索。01 记什么02 怎么记03 怎么用内容偏好 Preference{ "type": "soft_prefer", "dimension": "genre", "value": "jazz"}场景范围 Scope“我工作时不喜欢有人声”偏好只在对应场景生效"scope": { "level": "scene", "scene": "exam_study" }当前偏好表达Session Context实时写入上下文仅本次会话有效偏好事件日志记录偏好事件用于跨会话累计短期记忆只存在于当次 Session 上下文长期沉淀条件(满足任一项)① 明确陈述,直接写入如“拉黑蔡徐坤”② 同向偏好累计 ≥ 3 次覆盖 ≥ 2 个 Session且无反向证据Long-term JSON沉淀偏好及其适用范围常驻偏好 + 按需检索常驻上下文全局偏好 + 硬约束global / hard_constraint保留 scope,按适用范围生效当前 Query按结构化字段检索scene / genre 等相关偏好匹配当前 Query 后动态注入推荐 Agent本次 Session 上下文 + 长期偏好减少无关记忆对当前推荐的干扰type:偏好类型soft_prefer:偏好倾向,优先推荐soft_avoid:尽量避开,不强制排除hard_constraint:必须满足的限制条件dimension:genre / emotion / …(与曲库一致)global:一般情况下适用的全局偏好scene:只在特定场景适用

AI Practice

DIY推荐模式:一个由AI驱动、将自然语言干预融入传统推荐链路的推荐模式

三级数据指标体系

类型维度指标计算公式目标值评测值
Agent层理解质量意图识别准确率人工评测集中意图识别正确的指令数 / 评测指令数>90%95%
偏好记忆偏好记忆调用准确率正确调用偏好的评测任务数 / 需要使用记忆的评测任务数>90%63%
响应效率P95 生效耗时(非 WebSearch)非 Web 任务从指令提交至推荐队列生效的耗时 P95<3s1.2s
响应效率P95 生效耗时(WebSearch)触发 Web Lookup 任务从指令提交至推荐队列生效的耗时 P95<35s31.8s
成本效率单次任务成本主 Agent、推荐/排序 LLM、联网搜索及记忆平均调用成本≤¥0.05
推荐层推荐效果完播率完整播放的推荐歌曲数 / 实际起播的推荐歌曲数>53%(+2%)待灰度
推荐效果10s 切歌率起播后 10s 内主动切走的歌曲数 / 实际起播的推荐歌曲数<26%(-2%)
推荐效果收藏率被收藏的推荐歌曲数 / 实际起播的推荐歌曲数>3.4%(+1%)
消费深度模式内人均听歌时长DIY 模式内总听歌时长 / 该模式使用 UV—
消费深度模式内人均完播数DIY 模式内完播数 / 该模式使用 UV—
产品层使用转化入口点击率DIY 入口点击 UV / 入口曝光 UV10%待灰度
使用转化有效使用转化率使用对话干预 UV / 入口点击 UV>90%
使用转化有效使用渗透率成功干预 UV / DAU>5%
交互效率平均对话轮次成功干预任务的用户输入总轮数 / 成功干预任务数—
用户留存第 2/3/5/7 日留存率首用用户中第 2 日再次使用 UV / 首用 UV>20%
业务价值全站人均听歌时长增量(实验组人均听歌时长 − 对照组人均听歌时长)/ 对照组人均听歌时长>+0.5%待 A/B

当前进度:Agent 层评测调优、安全合规对接中,预计 10 月下旬进入灰度。

项目思考

  1. 01 AI与成熟业务系统的协同

    思考AI能在原有业务链路中改变什么,细拆能在哪个环节创造价值

  2. 02 AI功能应从用户问题出发,而非刻意AI

    先明确用户问题,再根据实际情况选择是否需要 AI 介入

STICKER PLAYER AI REVIEW RATINGCLASSIFY, SCORE, KEEP IT CLEAR.

贴纸播放器AI审核评级

AI Practice

UGC视觉内容审核评级Agent

分析
策略与行动
人工 T+2审核时效;内容质量良莠不齐
整体链路:相似度去重 → 内容准入判断 → 美学质量评级 → 个人分发策略

难点① UGC视觉内容的复杂性

审核边界微妙,多因素、强语境

UGC 内容与语境对比:同样的抽象元素带来不同观感,人物内容也需区分表演语境和私人自拍
01

内容准入

识别思路

首轮 VLM 整体扫描

一次输出结构化 State

风险类

画面中有什么风险信号

  • 擦边 / 暴露 · 负面文字
  • 政治 / 军事信号
  • 令人不适 / 有害信号

语境类

这些风险在当前内容里怎么理解

  • 粉丝文化 / IP · 公众人物
  • 表演 / 私人社交
  • meme / Cosplay 语境

Agent State 状态回填

将理解与决策解耦

大模型只负责理解图片内容,不负责决策

准入判断

明确风险 → 拦截

语境正常 → 进入美学评级

难点② 审美标准主观难量化

审美本身具有较强主观性。

审美判断案例:整体秩序、视觉焦点、颜色反例、普通与精致素材质感,以及风格创意
02

质量分层

初版方案

视觉维度评分
色彩协调1–5
构图完整1–5
UI 遮挡1–5
素材清晰1–5
元素丰富1–5

暴露问题

模型结果不稳定

维度权重难统一

迭代方案

统一按整体感知评级

L1–L4

评测驱动

分层构建 EvalSet

层级RecallFNFP偏差
L190%210
L280%431
L365%762
L460%852

错误分析

共性问题 → 补 Rubric

特殊边界 → 补 Few-shot

Few-shot:Y2K 风格作品可能使用高饱和跳色、像素元素等,评级不得低于 3。

输出反馈 → 迭代方案

难点③ 热门内容同质化

小众艺人优质作品使用数据天然偏弱、通用背景类更易获得高表现

03

类型标签

标签方案

在美学评级同次调用中,同步输出内容类型标签

标签维度

识别内容类型

  • 艺人 / 人物类
  • 风景背景类
  • 拼贴模板类
  • 抽象 meme 类

重排策略

滑动窗口控制

5 条内同类内容 ≤ 2 条

效果

缓解热门同质化

提升 Feed 多样性

结果

1.提升人效:

已释放1名外包审核人力,成本 0.004元/条

2.推荐 Feed 渗透率+8.5%

页面人均曝光作品数+2.7%

策略上线后推荐Feed渗透率曲线

3.沉淀方法论和 Skill

教师资格证审核项目能力复用,音乐学堂分享

AI也能当审美评委,波点音乐背后的视觉评级实战

Less is more:工程思维,把大模型留给真正需要理解判断的地方

SBTI MUSIC PERSONALITY REPORTFIND YOUR MUSIC TYPE

SBTI音乐人格报告

SBTI 音乐人格 FAKE 反差人格报告
SBTI 音乐人格 SOLO 反差人格报告
用户分享的 SBTI 音乐人格 LOVE-R 报告

SBTI / Music Personality

把歌单,变成可分享的反差人格

上线 3 天早于 Q 音 / 酷狗等发布
参与用户
18万
DAU 渗透率
5%
总测试次数
28万
人均测试
1.55次

对比参考:波点 2025 年终盘点(2025.12.26 上线),上线后前 3 天浏览 UV 16 万、PV 34 万。

Prompt

从歌单特征到人格反差,约束生成逻辑与表达。

SBTI 音乐人格诊断官关键片段 · 摘编

01 / 输入与特征提取

<红心歌曲列表>:歌名 + 歌手
<用户输入的SBTI>
提取:高频歌手 Top3、主要语种、情绪词
识别:歌单中的反差曲目、非音乐内容

02 / 分析与人格映射

节奏能量 → 情绪基调 → 心理洞察
用通用音乐特征代替真实 BPM
从给定的 27 个人格中选出唯一匹配
不得自创人格类型

03 / 个性化表达约束

严格保留 <用户输入的SBTI>
对比用户自述与音乐测试结果
根据具体歌单生成个性化梗
毒舌但治愈:先戳痛处,再给情绪价值

04 / 结构化输出

你的检测结果 / 你的音乐人格
临床诊断结果
🔮 近期精神状态侧写
📊 歌单成分大赏
💊 主治医师处方

视觉资产生产

27 个人格,统一角色风格与音乐元素。

用户反响

小红书用户分享自己的音乐人格报告。

Living PlantsLive Coding

共鸣绿境

共鸣绿境:Living Plants × Live Coding,植物叶片与实时编程画面

Creative Technology · Live Coding

共鸣绿境

以植物为交互界面的实况编码生成音乐

场景洞察

植物 × 冥想 × 音乐

常在同一场景,却各自独立:
人坐在植物旁,另外播放音乐。

情感机会

从「撸猫」到「撸植物」

用低认知门槛的触摸交互,
探索自然陪伴与情感慰藉。

设计命题

让植物成为人与音乐的连接界面

从被动听音乐,到触摸植物、参与音乐生成。

技术选型实时反馈 + 复杂规则可控

音频大模型 Suno / Udio 等

以生成音频为核心,难以直接控制传感器到音乐的细粒度映射。

Text-to-MIDI 直接生成音符

能输出音符,但持续交互与复杂映射仍需额外的规则控制层。

算法音乐 最终选择

AI 编写可执行代码,将信号映射为参数、规则与函数,持续改变音乐。

Strudel · 通过 MCP 调用

Lyria RealTime 已支持实时生成;本项目进一步关注传感器映射与音乐规则的可控性。

映射规则让植物与人的状态,成为音乐变化

输入来源Arduino 采集信号代码控制 → 音乐反馈
环境信息植物的「本底存在」
光照强度 / 土壤湿度 / CO₂ 浓度

环境信号的缓慢波动

缓慢流动的合成器铺底

设定初始调式与和弦走向

短时间触碰瞬时干扰
电容式触摸传感器的瞬时峰值

Spike · 捕捉触碰发生

插入破碎节奏 / 高频随机琶音

让一次触碰成为可听见的回应

长时间触摸持续传递能量
持续、稳定的高电平信号

识别持续触摸状态

参数调制 / 音序演化

生成更复杂的旋律与更丰富的和声

环境构成音乐底色,触碰带来即时变化,持续触摸推动音乐演化。

现场呈现

触摸 → 生成 → 感知

  1. 人触碰 / 持续抚摸
  2. 在地植物作为交互界面
  3. Arduino → AI采集信号 · 经 MCP 调用 Strudel
  4. 投屏 + 音乐动态代码 · 实时音乐可视化

阿那亚戏剧节候鸟黑客松最佳在地开发奖

影石 11 周年开放日展演项目

清华大学未来实验室孵化项目

FUTURE

PDE

Product Design Engineer