chilfish/weibo-archiver

将微博导出备份的油猴脚本，为号被完全夹没前未雨绸缪 😭

weibo-archiver's Issues

[web]: 怪异的 UI 溢出

Bug 描述

如图，忘记考虑很多溢出的情况了……

复现步骤

No response

脚本版本

No response

浏览器版本

No response

错误信息

No response

附加截图

No response

想请教问题

项目很好用，感谢付出。
我在使用中遇到几个问题，比如https://weibo.com/u/1304194202，我获取日期输入2023-05-31至2023-12-15 只能获取2023-07-07至2023-12-15的66条微博，而2023-06-01至2023-07-07之间还有微博没有获取到。
于是我再次获取2023-05-31至2023-07-07之间的微博，并用合并命令合并，将2023-05-31至2023-07-07的imgs.csv中的内容复制到2023-07-07至2023-12-15的imgs.csv里。再次运行下载图片命令后并不能下载2023-05-31至2023-07-07这期间的图片。

当追加导出最近几天的微博后，再导入，提示导入成功，但是却看不到。

Bug 描述

微博界面上，追加获取最近两天的微博，然后也得到了json和csv，在本地浏览界面导入，导入的时候用合并的方式，然后导入那两个文件，提示导入成功，57条。然而在本地浏览界面，还是刷不到最近两天的，在日期选择那里选择了起始和终止日期为具体的最近两日，结果为空。

复现步骤

先对一个微博全部获取。得到xx.json和xx.csv。导入到本地界面。
等两天，对同样的微博，获取日期选择最近两天的具体日期，等待获取完毕，得到xx(1).json和xx(1).csv。
然后在本地浏览界面点击导入，选择xx(1).json。等待提示导入完成。
然后刷新本地界面。

脚本版本

?

浏览器版本

Edge

错误信息

No response

附加截图

No response

对于一个完全不懂编程的小白还有救吗？

看不懂作者在说什么呜呜，进度条走完，为什么点导出没有反应啊，作者大大

另外导出完之后要怎么做才能实现真正备份啊，你写的后面那些不知道该怎么操作，我恨我自己😭

分页的切换逻辑不对

Bug 描述

应该是判断的顺序问题，https://weibo.chilfish.top/p/2?pageSize=20#O2vJhCzZi 会先跳到 /p/0 然后被修正成 /p/1 ，而不是真的直接跳到对应的 url

复现步骤

No response

脚本版本

v0.3.0

浏览器版本

No response

错误信息

No response

附加截图

No response

图片链接正则匹配过于宽泛，命中了错误图片地址

Bug 描述

如图所示，会匹配到一些奇怪的地址，导致轮询下载失败：

复现步骤

No response

脚本版本

No response

浏览器版本

No response

错误信息

No response

附加截图

No response

monkey：批量运行的结束时机判断错了

这会导致在不合预期的时机结束运行😅

版本：v0.3.8

Originally posted by @Chilfish in #37 (comment)

关于新版 (v0.1.11) 更改预览方式与脚本

由于拿 Python 来服务 SPA 会有很多难解决的 Bug，最终还是决定使用 vite 来预览结果了。

区别在于改用 Node.js 来下载图片和查看微博，如下图。在 Node.js 官网 下载，然后按 网上教程 （类似这个，只要能看到版本号就成功了）

能导入类似GTS Mastodon之类的联邦宇宙就好了

只是单纯备份下来还是觉得差点什么.
希望大佬可以支持此类

[monkey]: 默认折叠菜单

Bug 描述

感觉应该让这个窗口可以折叠起来，不然有些太碍眼了

复现步骤

No response

脚本版本

No response

浏览器版本

No response

错误信息

No response

附加截图

No response

未能获取 2015 年左右微博的评论

Discussed in #15 (comment)

里面有一个 is_show_bulletin 的必填字段似乎要变……

文本解析不对、带图评论判断错误

Bug 描述

• 文字中的外链多了个 https 头
• 如果评论带外链，会没经判断转到带图评论去了

{
	"comments": [
      	{
        	"created_at": "Wed Feb 21 13:27:09 +0800 2024",
	        "id": "5003845633836905",
	        "img": "https://weibo.cn/sinaurl?u=https://github.com/orgs/community/discussions/109171",
      	}
	]
}

复现步骤

No response

脚本版本

v0.3.1

浏览器版本

No response

错误信息

No response

附加截图

No response

热评获取失败

奇怪的机制：is_show_bulletin=2 配合上 flow=0 才能获取热评，但是在某个时间之前微博是没法按热评排序的，所以要么找出这个时间点来特判，要么看看微博自己是怎么解决的

Originally posted by @Chilfish in #17 (comment)

项目 Todo

这是该项目的代办

• 修复预览页的一堆 bug（如图片查看、分页等）
• 更换到 naiveui
• 优化项目结构 #8
• 打包到桌面端，暂时先用 Electron😅
  • 初始化 electron 的项目结构 #9
  • Sqlite3 数据库 #14
  • 桌面端对应的 UI、原型开发
• 支持设置自定义图床链接 #25
• 导出和导入相关的数据 #27
• 将 web 预览页改为在线平台，部署到 vercel #27
• 将 web 端迁移到 Nuxt #30
• 更好的搜索微博 #33
• 按时间来搜索微博 cfda7f9, 3d9d430
• 多用户支持 #36
• 支持视频、文章
• 我的收藏
• 简单的楼中楼评论

目前可能将在 v0.5.0 左右发布桌面端版本，支持 Windows 和 MacOS，敬请期待😇

爬取过于频繁，被封 ip 或有其他限制

Bug 描述

发现并发过快了，爬取十分钟、一千多条之后便得不到数据了，有时会返回错误码

#37 (reply in thread)

复现步骤

No response

脚本版本

No response

浏览器版本

v0.3.9

错误信息

No response

附加截图

No response

数据量过大时，会卡死

Discussed in #37

^{Originally posted by copymonopoly March 24, 2024}
检索到10000条，只下载了1500多条卡住不动了，怎么办

版本：v0.3.7

更改导出的格式，并导出关注列表

导出的 post.user 实在是过于重复了，应该抽出到根节点上的。这样就算添加新的数据时，改起来也就更方便了

{
  "user": {},
  "weibo": [],
}

如果把关注的人也爬取出来在预览页展示就更好了

Originally posted by @p0we7 in #41

修改导入其他项目保存的json文件后多图无法正常显示

Bug 描述

导入带格式或不带格式的json，该有的key具备，多图无法正常显示，其他信息都显示正常。

请问只有用插件生成的图片才能用默认的CDN吗？

复现步骤

用隔壁项目保存的json文件，格式是像这样的，有空格和换行：

导入的那个json, 该有的所有 key 都改好了，uid, name, imgs... 删除不同的key，取消换行并删除空格也没用。

导入后，多图无法显示，单图显示正常。

根据Network判断，可能是css把多条图片链接处理为一个链接了？而单图就没这个问题。

但是我看脚本生成的json的文件也是用逗号隔开的呀...

刚刚又试了生成无格式的json，没有换行也没有空格，就是和插件生成的格式一模一样的，导入后多图还法显示。

请问应该怎么做呢？

脚本版本

v0.4.0

浏览器版本

Chrome 125.0.6422.77（正式版本） (arm64)

错误信息

如下图

附加截图