找回密码
 立即注册

用户中心登录

通过NE账号安全登录

搜索
热搜: NE3 NE 3 已解决
楼主: aegeansupport

【红豆智能文献】V1.3.0 更新啦!优化NE数据导入

[复制链接]

256

主题

1万

回帖

3万

积分

管理员

积分
37779
 楼主| 发表于 2026-9-23 11:42:23 | 显示全部楼层
pengchy 发表于 2026-9-22 20:30
1. 提交一个关于表头的开发需求:如下图所示,看能否实现主窗口的水平滚动条功能,当前时固定的。
1.1 问题 ...

感谢您的反馈, 已为您赠送1000万token。

回复

使用道具 举报

51

主题

1693

回帖

5552

积分

论坛元老

积分
5552
发表于 2026-9-23 13:45:38 | 显示全部楼层
核实neclaw 发现的一个问题:

“### H01 期刊文献 `date` 字段被重复拼接(数据损坏)— 出现 15 次
- 现象:数据库中 15/15 条万方来源期刊文献的 `date` 值形如 `2020-04-10 2020-04-10`(同一日期重复两遍)。
- 证据:`zotero.sqlite` 直读 `2020-04-10 2020-04-10`;API 返回 `2020-04-10`(说明 API 层做了归一化,掩盖了库内损坏)。
- 影响:库内值非标准;任何按字符串排序/比较 date 的功能(列表排序、智能集合、导出脚本)会异常;第三方读取数据库的工具会拿到脏数据。
- 涉及 key:776V9A86、H823253Y、S56QTNBY、MSUJV5KT、ZYIUERYU、2SWH39G9、UPW23DYS、4G4B3IRK、ZJLUFGBD、AIFXANPY、H2SYI2MS、J5BLMIEL、HECSCS86、NW38XF4E、SQCHHSB8。
- 疑似根因:导入/在线检索写入 date 时未去重拼接(翻译器或字段映射层重复赋值)。
- 复现:万方数据在线检索/导入 → 查看条目「日期」字段。”
回复

使用道具 举报

11

主题

129

回帖

585

积分

高级会员

积分
585
发表于 2026-9-25 12:22:09 | 显示全部楼层
针对红豆wps/word的插件“引注预览“功能,提一个小建议:
这是为了测试插入引文后,把输入光标放到引文区域后(李镇 et al., 2025; 邓莉莉 et al., 2025),word窗口右侧栏会出现“引注预览”窗口。目前存在以下问题:
1.“引注预览”窗口太大,占用了word窗口宽度的1/3,而且无法缩小,导致编辑窗口太小;
2.偶尔会出现如下图所示页面,页面左右调整(滚动或者调整比例)失效。切换窗口,或者上下左右移动页面多次,才能恢复正常。

改进期望:
1.缩小“引注预览”窗口宽度;或者改为浮动窗口;或者当输入光标移开引文区域之后,“引注预览”窗口自动关闭;
2.“引注预览”所提供的功能仅仅为把光标所在区域的引文“全部删除”,这一个功能就开了一个窗口,不是太划算。可以在这个窗口中把“引文管理”的功能全部集成进来。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

4

主题

89

回帖

390

积分

管理员

积分
390
发表于 2026-9-25 19:24:05 来自手机 | 显示全部楼层
pengchy 发表于 2026-9-25 12:22
针对红豆wps/word的插件“引注预览“功能,提一个小建议:
这是为了测试插入引文后,把输入光标放到引文区 ...

好的。谢谢反馈,马上修复这个问题
回复

使用道具 举报

11

主题

129

回帖

585

积分

高级会员

积分
585
发表于 2026-9-25 21:20:18 | 显示全部楼层
本帖最后由 pengchy 于 2026-9-25 21:35 编辑

反馈一个从NoteExpress ndb文件导入红豆的问题:

阶段一:
1. 导入的NoteExpress文献库包含18个文件夹,4410篇文献;
2. 我刚开始选择全部导入,但是等了大概5分钟没有反应,所以就强制关掉,重启;
3. 最后一次尝试导入一个文件夹2篇文献。到目前为止,等了12分钟,没有任何反应,如下图所示的界面。
4. 在这个界面下,hongdou其他功能无法使用了。

阶段二:
1. 重启hongdou之后,发现阶段一的两篇文献成功导入了;
2. 又多次尝试导入更多文献,大部分都成功了(有一次失败,强制重启,重启后发现,之前规划的导入任务都成功了);
3. 唯一的问题是:无法把NoteExpress的附件抓取过来。

改进需求:
1. 修复偶尔会出现的卡壳问题;
2. 把附件也抓取过来。



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

256

主题

1万

回帖

3万

积分

管理员

积分
37779
 楼主| 发表于 2026-9-25 23:30:57 | 显示全部楼层
pengchy 发表于 2026-9-25 21:20
反馈一个从NoteExpress ndb文件导入红豆的问题:

阶段一:

收到,附件是支持一起导入的,可能就是因为您卡住了,附件也没完成导入。

@hengtao   尽快修复此问题。


@pengchy感谢您的反馈,已经为您赠送1500万token, 请查收。
回复

使用道具 举报

11

主题

129

回帖

585

积分

高级会员

积分
585
发表于 2026-9-26 10:51:16 | 显示全部楼层
aegeansupport 发表于 2026-9-25 23:30
收到,附件是支持一起导入的,可能就是因为您卡住了,附件也没完成导入。

@hengtao   尽快修复此问题。

感谢站长🙏🙏。
再报告一个bug,关于导出文献库的:
1. 图一,是配置页面;
2. 图二是配置完导出文件的位置和名称后,出现的界面。
3. 已经确认,导出的文件内容符合预期。但是,导出后,hongdou整个卡在图二这个界面了。只能强制重启。






本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

51

主题

1693

回帖

5552

积分

论坛元老

积分
5552
发表于 2026-9-26 12:38:50 | 显示全部楼层


一、"卡壳/无反应"的根因(按可能性排序)
1. 整库放在一个 DB 事务里,且全程不让出事件循环 —— 最致命 noteExpressImport.js:830 importArticles:

4410 篇全部塞进一个 executeTransaction,循环里只有 await(微任务),XUL 的 UI 重绘发生在宏任务/下一帧,所以 _reportProgress(noteExpressImport.js:850 附近,40%→70%)改了 progressBar.value 也永远刷不出来——这就是"等了 5 分钟/12 分钟界面纹丝不动"的直接原因。提交一个几千条的写事务在 SQLite 上本身就是长时间主线程阻塞。

2、2. 全库被完整扫描两次,且和用户的选择无关

readPreviewData → readArticles(:582,SELECT * FROM reference 在 :524,再加 _groupNEAuxRows 对 4 张附表按 chunk=400 查询)
真正导入时 _importOpenedDatabase → readArticles 再来一遍(:207)
即使用户只勾"1 个文件夹 2 篇文献",预览和导入仍然把 4410 篇全读出来,再在前端 filter。所以"只导 2 篇"也照样卡十几分钟。

3. 附件/笔记阶段也是全表遍历 importAttachments 的 SQL(:1024)和 importNotes 的多条 relations 查询都没有按 selectedArticleIDs 下推过滤,先取全库再在 JS 里 Map.get 跳过。选 2 篇 ≠ 只处理 2 篇。

4. 模态 + 禁止取消,放大了观感 showImportDialog 用 'chrome,modal,...'(:66),主窗口被完全冻结;_disableUI 还把 Cancel 一起禁用了(noteExpressImportDialog.js:650),所以用户只能"强制关掉"。

二、"附件抓不过来"的根因
先说明:论坛管理员的判断("卡住了,附件没完成")与代码顺序一致——附件在 65% 才执行(noteExpressImport.js:221),任何一步卡死/强杀,结果就是"题录进了、附件 0"。但即使不卡,这里也有独立的脆弱点:

路径解析候选太窄:_resolveNdbAttachRoot(:388)只用 dbstrings.attach_dir,否则退到 ndb 同级的 FullText/;_buildNdbAttachmentCandidates(:427)只认 <AttachFilePath> 占位符和相对路径。若用户的附件目录被移动、attach_dir 为空、或 resource.url 是 Windows 绝对路径(D:\...),在 macOS 上全部解析失败。
表结构假设单一:只查 relations src_type=2 AND dest_type=4 JOIN resource,且只取 res.url;不同 NE 版本若用别的列/别的关联方式,会直接返回 0 条。
失败被静默吞掉:找不到文件只 Zotero.debug(:1057 附近),不写入 result.errors、不显示给用户,所以用户只看到"附件 0"却不知原因。
扩展名逻辑有 bug::1067 if (PathUtils.filename(attachFile).includes('.')) fileExt='',随后回退 _getFileExtension 默认返回 .pdf——源文件名带点但 title 不带扩展名时,会把 docx 之类错标成 .pdf。

三、导出一完成就卡住(帖子里 17# 的第二个 bug)
导入导出应是同一种写法(模态 + 同步收尾 + 不关窗)。1.2.8 的自定义导出对话框我在本机 1.2.5 的 omni.ja 里没找到对应模块,需要 1.2.8 的包才能精确定位;但从模式看,大概率是"导出逻辑同步阻塞 + 完成后没有 window.close()/没有让出事件循环"这一类问题。

四、最小修复建议
分批事务:把 importArticles 的那个大事务改成每 200–300 条一个 executeTransaction,批间 await Zotero.Promise.delay(0) 让出事件循环,让进度条能刷新、UI 不完全锁死。
只读选区:预览阶段就支持按 selectedFolderIDs 过滤;导入时复用预览已读数据,删除 :207 的第二次 readArticles;readArticles/importAttachments/importNotes 用 WHERE item_id IN (...) 把选择集下推到 SQL。
可取消:保留 Cancel,提供 abort(停止后续批次即可,已提交批次不回滚);完成后复位 _importing(现在 _showResult 后仍为 true,Done 按钮点击会被 doImport 直接 return,只能等 3 秒自动关)。
附件健壮化:扩充路径候选(绝对路径、相对 attach_dir 各前缀、大小写/分隔符变体)、对所有失败写进 result.errors 并在结果页显示;把附件做成独立、可重试的步骤,并提供"仅补抓附件"。修掉上面的扩展名判断。
验证方式:开 Zotero.debug 日志跑一次,重点看 Found N attachments 与 Skipped N attachments 两个计数——若 Found=0 是表结构/SQL 假设问题,若 Skipped 很大则是路径解析问题。
回复

使用道具 举报

11

主题

129

回帖

585

积分

高级会员

积分
585
发表于 2026-9-27 09:38:04 | 显示全部楼层
提交一个小建议:
1. “重复条目”识别逻辑设为可配置。当前识别重复条目是系统使用默认的规则,但是,并不能覆盖所有需求。比如,我想看一下仅仅按照题目(标题)进行查重的结果。
两个例子:1. 不同时间,同一篇专利会有公开版和授权版,如果这两个时间不一样,就会识别为两篇专利;2. 文章已接收就提前公开(但还没有具体的卷期页信息),等正式发表(有卷期页信息)时,文章的发表时间就会变化,甚至是不同的年。
回复

使用道具 举报

4

主题

89

回帖

390

积分

管理员

积分
390
发表于 2026-9-27 15:09:26 | 显示全部楼层
pengchy 发表于 2026-9-27 09:38
提交一个小建议:
1. “重复条目”识别逻辑设为可配置。当前识别重复条目是系统使用默认的规则,但是,并不 ...

好的,谢谢反馈,下个版本优化这个
回复

使用道具 举报

*滑块验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|NoteExpress

GMT+8, 2026-11-18 10:54 , Processed in 0.059024 second(s), 28 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表