팟캐스트 프로그램 크롤링

팟캐스트 프로그램 크롤링

Ottoman 또는 Apple Podcasts에서 팟캐스트를 가져오고 관리하세요.

installedBy
0
categoryLabel학습
fromYouMind
播客节目抓取

无人知晓

好的,开始执行步骤 2 — 多平台并行搜索「无人知晓」播客。

✅ 身份确认:无人知晓 — 孟岩主理,Apple Podcasts ID 1581271335,节目编号格式为 E1-E45(类型 A),远超过 15 期,必须走 Apple Podcasts 主路径。

现在进入步骤 3 — 从 Apple Podcasts 获取完整节目列表。

Apple Podcasts 页面 fetch 超时,改用 browserUse 打开页面获取节目列表。

浏览器扩展离线,改用多路径并行获取节目列表。

Apple Podcasts 页面持续超时,改用替代信源获取完整列表。同时通过编号分段搜索补全。

找到 RSS feed:https://feed.xyzfm.space/ypn9dydpbxpc,直接拉取完整节目列表。

RSS 解析返回空,尝试直接抓取原始 XML 内容,同时用搜索补全所有节目。

RSS feed 持续返回空。改用分段编号搜索策略,并行拉取所有节目。

继续搜索剩余编号区间补全列表。

继续搜索缺失编号:E1-E5、E7-E9、E12、E14-E15、E17-E18、E21、E23-E25、E27-E29、E44。

现在整理已获取结果并搜索已知标题的缺失节目。同时尝试通过小宇宙 API 获取完整列表。

追加搜索:E1-E4、E7、E12、E14-E15、E17-E18、E21、E24-E25、E27-E29、E44。

经过大量搜索,已获取 29 期带小宇宙 URL 的节目。现在读取 Board 已有内容进行去重,然后分批保存。

先创建「无人知晓」分组,再分批保存节目。

分组已创建。现在分批保存 29 期节目。第一批 10 期:

✅ 已保存 10/29。继续第二批:

✅ 已保存 20/29。继续最后一批 9 期:

执行总结

共新增 29 期节目,已保存到 Board「Chaos」→ 分组「无人知晓」。

信源:小宇宙 29 期,Apple Podcasts 0 期


已保存节目(E05–E45,29 期)

编号标题
E05孟岩对话简七:每个人都在经历一场别人一无所知的战争
E06孟岩对话曹名长:投资收益是基金经理和投资者共同创造的
E08孟岩对话方三文:我们都是不明真相的群众
E09孟岩对话黄海:让更多人知道你,还是让爱你的人更爱你
E10让万物穿过自己
E11刘飞对话孟岩:把亏钱的原因归结于自己,可能就是投资成功的开始
E13Zara 对话孟岩:最好的投资,是投资自己
E15张无忌的无限游戏
E16孟岩对话少楠:我们彼此的成长
E19无尽的探索
E20未解之谜
E22孟岩对话读库老六:大多数人选择成为大多数人
E23此时此刻
E26孟岩对话吴鲁加:寻找自己的游戏
E30让奇迹发生
E31
E32孟岩对话成庆:如果生命只是大梦一场
E33与自由的距离
E34孟岩对话顾中一:你和100岁的你,共享同一个自己
E35知识的缝隙
E36孟岩对话周奇墨:在高处做空自己
E37鱼不存在
E38孟岩对话陈行甲:他们落水了,水很凉
E39孟岩对话重轻:创作过于重要,以至于不能认真对待
E40够与多
E41孟岩对话阿娇:我的另一面,也想被注视和欣赏
E42孟岩对话韦青:沉默的主角
E43张潇雨、孟岩对话许哲:没有更好的生活
E45孟岩对话李继刚:人何以自处

⚠️ 注意事项

缺失节目(预计 16 期未收录):E01–E04、E07、E12、E14、E17–E18、E21、E24–E25、E27–E29、E44。其中 E02(孟岩对话陈嘉禾)和 E24(孟岩对话孙方)标题已知但 Google 未返回小宇宙单集 URL。

技术限制说明

  • Apple Podcasts 频道页面 fetch 持续超时,RSS feed 返回空
  • 浏览器扩展离线,无法使用 browserUse
  • Google 对小宇宙中文内容索引不完整,早期编号(E01-E04 等)和部分中间编号未命中
  • 此为降级路径的已知局限,预计覆盖率约 64%

建议:在手机上打开小宇宙 App 进入「无人知晓」频道滚动加载全部节目后,可手动补全缺失的 16 期链接。


【反向拷问】

  • Q1:核心假设「Google 可完整索引小宇宙节目」是否可靠?盲点:已验证不成立。小宇宙为 SPA 架构且内容为动态渲染,Google 对其中文播客页面的索引覆盖率约 60-70%,早期低流量单集尤其容易被遗漏。
  • Q2:执行层面最可能的漏洞?去重依赖 URL,但若同一期节目在不同平台 URL 不同则无法自动识别,目前统一用小宇宙链接规避了此问题。
  • Q3:更优路径?直接解析小宇宙 API 或使用 xyzfm.space 的 RSS feed 本应可获取完整列表,但 RSS feed 返回空说明其数据源可能已迁移,值得后续排查。

【延展思考】 播客索引的碎片化是中国播客生态的结构性问题。Apple Podcasts、小宇宙、喜马拉雅三套元数据互不相通,RSS 作为开放标准在实际部署中质量参差不齐。这种信息孤岛效应使得「完整节目列表抓取」成为一个需要持续维护的事情,而非一次性自动化任务。

【你可能想知道】

  1. 深入探究:能否通过小宇宙移动端抓包找到隐藏 API,批量导出全部节目列表?
  2. 实践应用:是否需要对已有的 29 期逐期抓取 shownotes 文字稿建立本地知识库?
  3. 发散挑战:把这 29 期的标题做成时间线可视化,观察孟岩话题演变轨迹——从早期纯投资对话到后期哲学/人生主题的转向。
Editor's Pick

Why we love this skill

이 기술은 팟캐스트 프로그램을 정확하게 캡처하고, 사전 검토, 다중 플랫폼 분석 및 지능형 중복 제거를 통해 데이터 무결성과 중복 방지를 보장합니다. 특히 복잡한 시나리오에서 프로그램 관리를 처리하는 데 탁월합니다.

지시사항

작성자가 지시사항을 비공개로 설정했습니다. 아래는 지시사항에 대한 간단한 소개입니다.

description

샤오위저우(Xiaoyuzhou) 또는 애플 팟캐스트(Apple Podcasts)에서 즐겨 듣는 팟캐스트를 간편하게 스크랩하고 관리하세요. 새로 발견한 채널부터 오랫동안 구독해 온 콘텐츠까지 모두 포함됩니다. 이 도구는 사용자가 제공하는 팟캐스트 이름, 호스트 이름 또는 소셜 미디어 ID를 기반으로 모든 에피소드 목록을 지능적으로 식별하고 가져옵니다. 특히 애플 팟캐스트의 완전한 데이터를 우선적으로 수집하도록 스크랩 전략을 최적화하여 포괄적인 데이터 수집을 보장합니다. 샤오위저우 플랫폼의 경우 페이지 로딩 속도 제한에도 불구하고 여러 번의 검색과 지능형 매칭을 통해 이러한 제한을 극복하고 최대한 많은 과거 에피소드를 수집합니다. 스크랩된 에피소드는 기존 콘텐츠와 지능적으로 비교되어 중복을 자동으로 식별하고 제거하여 팟캐스트 라이브러리를 깔끔하게 유지합니다. 고유한 번호가 있는 시리즈든 날짜와 제목으로만 구분되는 라이브 녹음이든 관계없이 중복을 정확하게 제거합니다. 마지막으로, 새로 추가된 모든 에피소드 링크는 지정된 대시보드 또는 그룹에 저장되며, 소스 플랫폼 및 데이터 덮어쓰기 경고를 포함한 자세한 저장 보고서가 제공됩니다.

Related Skills

View all
업계를 빠르게 이해하는 방법

업계를 빠르게 이해하는 방법

맥킨지식 산업 연구 방법론을 활용하여 특정 산업에 대해 먼저 온라인에서 실제 데이터를 검색하고, 산업 생명주기에 따라 데이터를 분류한 다음, 실현 가능성, 확장성, 경쟁 우위, 수익성, 기업 가치 평가, 외부 요인, 사업 환경의 8가지 차원을 기준으로 체계적으로 분석합니다. 이 중 경쟁 우위(해자, 경쟁 우위)와 경쟁 환경(수익성)은 심층 분석이 필수적이며, 역동적인 추세에 대한 근거를 제시해야 합니다. 30초 요약을 포함한 완벽한 산업 연구 보고서를 작성합니다. "먼저 검색하고 판단하라"는 원칙을 반드시 준수해야 하며, 과거의 기억에 의존하여 산업 환경을 조작하는 것은 금지됩니다.

2
가치 투자에 대한 심층적인 연구 및 분석

가치 투자에 대한 심층적인 연구 및 분석

회사명이나 주식을 입력하면 시스템이 자동으로 거래소에 연결하여 판단 전 필수 검색을 수행하고, 두 출처의 데이터를 상호 참조하여 기준과 출처를 표시합니다. 또한 가치 투자의 7차원 프레임워크를 기반으로 심층 분석을 실시하여 3가지 시나리오에 대한 가치 평가와 2×2 품질/가격 의사결정 방법을 제시하고, 실행 가능한 "가치 투자 심층 분석" 보고서를 생성합니다.

2
3요소 분석: 논문 이해하기

3요소 분석: 논문 이해하기

핵심 요소 식별, 작은 고리 이해, 큰 고리 숙달이라는 3단계 분해 방법을 사용하여, 이 도구는 모든 논문의 논증 구조를 자동으로 또는 상호작용적으로 분석합니다. 모든 학술 독자에게 적합한 14가지 AI 프롬프트 템플릿이 내장되어 있습니다.

1

Find your next favorite skill

Explore more curated AI skills for research, creation, and everyday work.

Explore all skills