WWDC25 Apple 重大更新 苹果上海

• 

  • 参考 WWDC 和文档 PDF

    • WWDC25-Resources-GC.pdf

  • Q&A txt

    • Untitled Q&A.txt

  • Apple Intelligence

    • Writing Tool :LOGBOOK: CLOCK: [2025-06-26 Thu 11:47:48]—[2025-06-26 Thu 11:47:49] ⇒ 00:00:01 :END:
      • 参考 邮件&备忘录

    • Foundation Models

      • 特点

        • 个性化搜索建议
        • 实时生成对话（其实就是角色扮演）
        • 本地私有，无需网络（本地模型，大概700+mb）
        • iOS/iPadOS/macOS/visionOS

      • 集成方式

        • 导入模型框架
        • 创建会话session
        • 输入提示词

      • 特点

        • 提供了非结构化结果外的，可结构化结果

      • Tool Calling

        • 其实就是 Swift 本地化 MCP

      • 能处理的场景

        • 

      • 自定义适配器

        • 

      • 投产的思考

        • 
        • 可联动的 Framework
          • 

      • Vision 相关API（平台智能）

        • 视觉
          • OCR 图文识别
          • 镜头污迹检测
        • 语音 （Speech 可以练练 Demo）
          • 更快更灵活
          • 通话摘要（实时音轨字幕对齐）
          • 实时/长语音
            • 
          • 语音平台
            • 
            • 
          • Live Translation
            • 
          • 自定义内建智能
            • 

      • App Intents（App 意图）

        • 
        • Vision Intelligence
          • 能够前置输入节点（有点像锁屏右滑直接拍照）
        • Shortcuts
          • 
        • Spotlight
          • 提供 应用层级 输入范式

      • Core ML

        • DepthAnything, etc.. V2 官方
        • hugeface etc.. 第三方,
      • MLX（还是需要练练手）
        • 自训练模型
        • 提供支持标准模型框架
          • 

      • 总结

        • 
      • Q&A
        • Foundation 从 xos 26 开始支持，Intelligence 从 iOS 18 开始
        • 小tips：
          • 
          • 不需要把所有过程中的prompt数据模型，都传入到大模型中。
          • Foundation Models 可能是一种互补机制。Summary 压 & workaround 辅助
          • 大模型从业者现状 ：）
            • 
          • 
            • 多Session 其实同时只有一个在处理，目前是 beta 版本的bug

  • visionOS

    • 罗老师还是这么好看 ：）！

      • 

    • visionOS 3D 化更简单

      • 

    • 空间上的 纵横可交互性

    • 持久化空间记忆，这一点很有用。

      • 虚拟内容更鲜活，存在感空间感更强

    • 小组件 Widget

      • 小组件在 visionOS 上便签化，三维物体化，可触碰化
        • 水平 垂直 置放
        • 融入生活空间
        • 功能化
          • 
        • 美化
          • 
        • 距离化
          • 
      • 小组件 Widget 迁移到 visionOS 成本低。
      • 也可以专门用 visionOS 上的 Widget
      • 

    • 全新交互 Gesture

      • visionOS 26 响应 Hz → 90 Hz . 3x
      • 空间配件（拓展了教育Lab上的可能性）
        • 
        • 高可玩
          • 
        • 高精度
          • 
        • 支持App
          • 
        • 

    • 沉浸式媒体 Media

      • 多视角（Multi Stream Scene 的前提下）
      • 
      • 新增3种格式 180/360/宽（Wide Fov）
        • 
        • 
        • 投影到 曲面上，拉平鱼眼的扭曲
        • mac 特有
          • 
        • 

    • 分享互动

      • 共享世界锚点
      • Share Play
    • 
    • Q&A
      • Nearby 只是分享坐标信息，iPad 做镜头的话还是需要同步vision iPad的镜头流
  • （上午的录制没有声音…下午换成 OBS 录制）

  • New in App Store

    • Game Center

      • 国内需要垄断社交，一般不会流入到 Game Center 中

    • App Store Connect

      • 最受欢迎订阅（有价值）
      • TF Feedback（有价值）
      • App Store API v2 中更新了更多有用的订单/订阅的信息（其他的WWDC内容）

    • TODO Offer Codes

      • 优惠码（有价值，但是还没有实装）
        • 
      • 测试模块更新，面向开发者友好

    • Accessibility Nutrition

      • 无障碍使用标签
      • 

    • App Tags

      • App Store Connect 配置标签
      • 目前主要还是面向 英文
      • 
      • 搜索优化功能（later）
      • 

    • TODO Age Ratings

      • 年龄分级（5段）
      • 
      • 主要会收到「家长控制」影响，被过滤
      • 
    • 

    • Q&A

      • 
        • 一季度一百万个，一次性购买项
      • 
        • 需要 iOS 18 以上的版本

  • New in SwiftUI

    • ToolBar 新的行为模式

      • ToolBarSpacer（New API）

    • .Searchable

      • 搜索框自动布局（iOS底部/iPad，Mac 右上角）

    • TODO Tab(role: .search), etc…

      • 有部分组件没有实现

    • .glassEffect()

    • iPad 多窗口

      • 警惕会使用全屏的配置

    • SwiftUI 窗口自适应更新

    • SwiftUI 性能更新

      • 列表 （但是 macOS 6x）

        • 

      • 滚动

        • 
        • 感谢 Swift 并发
          • 
        • LazyHStack
          • 

      • 性能分析

        • 但是针对 SwiftUI
          • 

      • Animation 宏

        • @Animatable & @AnimatableIgnored
        • 

      • 空间布局

        • 暂时更针对 visionOS 场景

      • Scenes && 场景桥接

        • 
        • 

      • 很可惜性能只能从 26版本开始

        • 

      • 视图升级

        • WebView in SwiftUI

          • WebView + WebPage
          • 已验证可在 MindNote 业务中使用，但是依赖系统 26 +
          • 

        • 3D Charts

        • Drag & Drop

          • drag Configuration & drag session… & dragPreview
          • 

        • TODO Rich Text Editor

          • 但是还是不够**“富”**
          • 
          • 
      • Q&A
        • 
          • 实际验证也是个别需要改动（主要看设计风格）
          • 官方推荐26系统上，可能需要调整 toolbar 的分组，边缘的拓展，searchBar 局部or全局, etc…
          • 优化 runtime 运行时：transform/transition/layout, etc…
        • 
          • 我们也有「同心圆」问题。
        • 
          • WebView 确认从26开始，其他的会
        • 
          • 今年的提升主要在 List 和 Scroll
          • 主要针对的是 macOS 上的性能表现（比如AppKit难用的 scrollview List 等等）
        • 验证 Lazy 的 block 影响嵌套层级
          • 有嵌套到Lazy就行（先打个问号）
        • 

  • Better iPad App in iPadOS 26

    • 窗口控件

      • 长按左上脚
        • 
      • 任务栏默认填充
        • 
        • 
        • 
      • 每个文档一个窗口（会默认使用内容填充标题）
        • 
      • Scenes
        • iPad 上每个窗口用 Scenes 理解
          • 
        • 再见！UIApplication（历史眼泪） UIScene 成为必须 废弃 UIRequiredFullScreen
          • 
      • 定制窗口控件
        • 
        • 

    • 导航

      • 侧边栏
        • 
        • 导航结构扁平化
          • 
        • 快速导航&变形（标签栏）
          • 
          • 系统持有了切换的动画（动画可定制性存疑）
          • 
        • 横竖屏/浮动屏幕 也会触发 导航/标签栏 的自动切换布局
        • 导航栏的扩展空间（tabbar透明，毛玻璃）
          • 
        • Tab bar controller
          • 巴拉巴拉…
          • 新的布局定义
            • 
          • 非破坏性自适应布局
            • 
          • Inspector
            • 宽松模式：
              • 
            • 紧凑模式：
              • 
            • 

    • 指针&菜单栏

      • 从已触屏为原点的 圆形区域指针 → 高精准指针
        • 
      • 适配指针悬停效果（试试看）
      • 菜单和菜单项都是稳定可预测的（Fixed）
        • 

    • Q&A

      • 
        • layout 上能获取到 widnows control的区域位置。左上角横向就是它的位置
      • 
        • 一些陈旧的启动方式（涉及到key windows）的，需要做新的 UI Scene 的迭代

  • 音视频频 网络

    • 音视频
      • 音频输入选择
        • 
      • 通过 AirPods 录音
        • 
        • 
      • 录制空间音频
        • 一组音频元件录制
          • 
        • 
          • iOS 18 就有的能力
            • 
          • 26 新增x
            • 
            • 
        • 
      • 视频录制
        • 电影效果的录制
          • 视差数据 源数据 ，etc…
          • 
      • 基于机器学习的视频效果
        • 有点像 steam 上的小黄鸭，使用了 AI 插帧技术
        • 
    • 网络
      • Wi-Fi Aware （文件共享，设置控件）
        • 
      • 用户场景
        • 
      • 框架特性（并发好评）
        • 
    • 后台技术
      • 后台任务&资产
        • 
      • 申请后台运行时间
        • 
        • 26 新增（但是会要求权限）
          • 
      • 继续运行后台开启的工作能力
        • 
        • 吊！GPU
          • 
      • 资产分发技术 ( 本地模型投放/游戏资源包,etc…)
        • 优缺点 （4GB 大小的限制 → 70GB → … → 200GB !!）
          • 
    • 性能分析
      • 分析 Processor Trace
        • 可惜 M4 & A18 & Xcode 16.3
          • 
      • CPU Bottlenecks 瓶颈模式
        • 
        • 
      • 功耗问题 Power Profiler（ 吊！）
        • 
        • 
        • 
      • Q&A
        • 
          • Video Toolbox 主要学习的视频帧，Metal 归 Metal
        • 
          • 主要还是新增的可以调用 GPU，可以执行更重的任务（可以吃更多能耗）

  • Metal 4

    • 兼容设备要求相对较低
      • 
    • 命令编码
      • Metal 基础
        • 原来的方式
          • 
        • 新增的方法
          • 
        • 命令编码器
          • 
          • 
          • 
          • 。。。
          • 
    • 资源管理
      • Metal 资源（缓冲区 + 纹理）
        • 
        • 
        • 
      • 降低编码的开销
        • 
      • 资源驻留
        • 
        • 驻留集合
          • 
          • 
          • 
          • 
          • 
          • 流化！！！（降低CPU&内存资源）
            • 
        • 细颗粒度内存控制
          • 
          • 
          • 放置内置稀疏资源
            • 
            • 
        • 同步
          • 
    • 着色器编译
      • 着色器需要编译
        • 
        • 
        • 
        • 
        • 
        • 
        • 发起线程优先级！ id:: 685d06ba-335d-494c-8fb8-960bfdee6f7a
        • 
      • 管线有可能共享 Metal IR
        • 
        • 
      • 
      • 
      • 
    • 整合机器学习
      • 出现了 张量
        • 
        • 
      • Metal Machine Learning 编码器
        • 
      • 机器学习编码
        • 
      • 大型网络编码 & 小型网络编码
    • 通过 MetalFX 优化
      • 先渲染再 Upscale
        • 
      • 中间帧
        • id:: 685d0867-ef9f-4832-bcfb-81614e27f153
        • 
      • 降噪并放大
        • 
    • 开始采用 Metal 4（ 吊，但是要找个场景试试）
      • 分阶段采用
        • 着色器编译 + 命令生成 + 资源管理
          • 
        • 通过 Metal 4 编译/编码/资源管理
          • 
    • Q&A
      • 
        • 只能一次一帧
      • 
        • 只能 GPU
      • 
        • 视频相关还是用 Video ToolBox
      • 
        • 低延迟的开销有优化，视频会议/直播都有优化
      • 
        • 支持自己控制
      • 
        • Metal 更适合游戏（三套流程是游戏工业化的产物）
        • （学习的数据集估计也不一样）
      • 
        • Screen Capture Kit macOS only，捕获音视频
        • （需要权限）