找回密码
 立即注册

用户中心登录

通过NE账号安全登录

搜索
热搜: NE3 NE 3 已解决
楼主: aegeansupport

【红豆智能文献】V1.3.0 更新啦!优化NE数据导入

[复制链接]

51

主题

1693

回帖

5552

积分

论坛元老

积分
5552
发表于 2026-9-30 16:41:27 | 显示全部楼层
hengtao 发表于 2026-9-27 15:09
好的,谢谢反馈,下个版本优化这个

下个版本在哪里?什么时间?优化的方案是什么?
回复

使用道具 举报

11

主题

129

回帖

585

积分

高级会员

积分
585
发表于 2026-9-30 17:14:39 | 显示全部楼层
又发布新版本了👍👍👍
提一个关于“查找全文”的改进建议:
1. 当前存在的问题:能够开源下载的全文无法自动下载。
比如这篇论文:https://pubmed.ncbi.nlm.nih.gov/32761097/,通过pubmed可以查到该论文在pmc数据库有全文可下载。但是,hongdou的“查找全文”的结果是“未找到文件“。
2. 改进方案:可以通过几个路径找全文:1. pmc;2. 论文本身为open access;3. 通过google scholar(会把网络公开的全文链接给出来);
🙏🙏🙏
回复

使用道具 举报

51

主题

1693

回帖

5552

积分

论坛元老

积分
5552
发表于 2026-9-30 17:39:32 | 显示全部楼层
pengchy 发表于 2026-9-30 17:14
又发布新版本了👍👍👍
提一个关于“查找全文”的改进建议:
1. 当前存在的问题:能够开源下载的全文无法自 ...

对他们这种新版不发新帖的恶习相当无奈
回复

使用道具 举报

11

主题

129

回帖

585

积分

高级会员

积分
585
发表于 2026-10-2 15:46:29 | 显示全部楼层
本帖最后由 pengchy 于 2026-10-2 15:47 编辑

提交一例文献导入失败的案例:
1. 问题:通过多种方式导入重症肺炎免疫演化的时序规律与精准干预启示这篇文献均遭失败,或者有bug;
1.1 通过pdf文件直接导入:失败。系统无法提取pdf文件的元信息,直接作为独立的附件存在。

1.2 通过在线检索导入:输入标题,尝试了多个数据库和多种检索字段,均没有找到这篇文献。已经确认,在cnki中是存在的,见上述链接
1.3 通过文献的引文信息进行导入(从剪贴板导入),尝试了BibTex/NoteExpress/Refworks格式。BibTex成功导入,但是这个格式缺少摘要等内容;NoteExpress格式的内容最全,但是hongdou不支持(报错信息如下图);Reworks格式可以导入,但是字段解析有错误。

这种问题目前碰到的零星的几篇,并没有什么规律。辛苦开发团队看看🙏🙏🙏

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

51

主题

1693

回帖

5552

积分

论坛元老

积分
5552
发表于 2026-10-2 16:01:23 | 显示全部楼层
pengchy 发表于 2026-10-2 15:46
提交一例文献导入失败的案例:
1. 问题:通过多种方式导入重症肺炎免疫演化的时序规律与精准干预启示这篇文 ...

😓,居然不支持NoteExpress 格式
回复

使用道具 举报

11

主题

129

回帖

585

积分

高级会员

积分
585
发表于 2026-10-2 16:52:01 | 显示全部楼层
本帖最后由 pengchy 于 2026-10-2 16:54 编辑

刚测试了下导入微信公众号文章的新功能,非常赞,使用体验很不错,直接把微信原文保存为了独立的pdf文件。但是还存在以下问题:
1. 测试用例为这篇公众号文章:https://mp.weixin.qq.com/s/MQe7fR5Ft2UmW20tSBptJg
2. pdf文件分页,导致内容丢失,如下图所示。
原始内容截图(红色圈的内容转pdf的时候丢失了)

----------图一------------

------------

转pdf之后的内容:
---------图二-------

----------------
3. 另外,导入的速度有点慢,我这边测试上述文件导入,需要30s。
4. 为了解决上述两个问题,是否直接保存为一个html文件更好?
辛苦了🙏🙏🙏

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

4

主题

89

回帖

390

积分

管理员

积分
390
发表于 2026-10-2 17:16:22 来自手机 | 显示全部楼层
pengchy 发表于 2026-10-2 15:46
提交一例文献导入失败的案例:
1. 问题:通过多种方式导入重症肺炎免疫演化的时序规律与精准干预启示这篇文 ...

这是导入后缀的文件呢?是导入单条文献是吗?
回复

使用道具 举报

11

主题

129

回帖

585

积分

高级会员

积分
585
发表于 2026-10-2 19:54:28 | 显示全部楼层
hengtao 发表于 2026-10-2 17:16
这是导入后缀的文件呢?是导入单条文献是吗?

1.1: 导入pdf文件;
1.3: 通过剪贴板导入。在cnki网站可以直接复制特定格式(BibTex/NoteExpress等)的内容到剪贴板,如下图。是单条文献,就是上面说的这篇文献。没有测试过多篇文献的情况。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

51

主题

1693

回帖

5552

积分

论坛元老

积分
5552
发表于 2026-10-3 04:04:18 | 显示全部楼层
hengtao 发表于 2026-10-2 17:16
这是导入后缀的文件呢?是导入单条文献是吗?

三个子问题其实共用同一条链路,我按代码把线索串起来。以下行号基于本机 Hongdou.app(1.2.5)的 omni.ja,已提取到 .analysis/hongdou/;注意论坛现在是 1.3.0,这几个文件版本间可能有出入,但需要复查的就是它们。

三个子问题在代码里的落点
flowchart TD
  P["1.1 导入PDF"] --> R[recognizeDocument.js\n_recognizePDF]
  R --> Pv["_recognizeWithProviders\n青提110 > 万方100 > CNKI90"]
  Pv --> C1[cnkiProvider.recognize]
  O["1.2 在线检索"] --> C2["cnki/search.js\nsearch()"]
  C1 --> C2
  C2 --> HTML["_getExportList\n解析结果页DOM"]
  HTML --> EXP["OST /dm8/FileToText\nDisplayMode=NoteExpress"]
  EXP --> PA["cnki/parser.js\nparseExportData(NE格式)"]
  CL["1.3 剪贴板导入"] --> FI["fileInterface.js\nimportFromClipboard"]
  FI --> TR["Zotero.Translate.Import\ngetTranslators() 探测"]
  TR --> B["BibTeX.js"]
  TR --> RW["RefWorks Tagged.js"]
  TR --> NE["没有 NoteExpress translator → 报错"]
1.1 PDF 导入 → 只留独立附件
入口 recognizeDocument.js:413 _recognizePDF。文件名是中文,_extractTitleFromFileName(:640)会从 重症肺炎免疫演化的时序规律与精准干预启示.pdf 提出标题,_isValidTitle 通过 → 本地元数据有效。所以"读不出元信息"不是提取失败,而是后续检索没匹配上。
之后走 _recognizeWithProviders(:1030),按优先级依次试 青提(110) → 万方(100) → CNKI(90)(recognizer/providers/*.js)。三个都返回 null,才会退到上传服务器识别;再失败就 throw Zotero.Exception.Alert("recognizePDF.noMatches")(:276),附件保持独立。
关键:CNKI provider 判定成功的条件很严:
if (!cnkiDetail || !cnkiDetail.title || !cnkiDetail.authors || cnkiDetail.authors.length === 0)
  return null;   // cnkiProvider.js recognize()
也就是说,只要 CNKI 那条 NE 导出里标题对上了但作者字段没解析出来,就宁可判定"没识别",也不会建条目。这解释了"内容明明存在、却作为独立附件存在"。
上报也弱:失败只有 Zotero.debug,没把原因(未登录/超时/解析空)回传到界面,所以用户看到的是"就是没反应"。
1.2 在线检索搜不到
同一套 CNKI 搜索(provider 也复用它)。可核查的具体缺陷:

检索字段被写死为"主题(SU)" —— cnki/search.js:82 _buildRequestData 里:
Items: [{ Field: "SU", Value: queryText, Operator: "TOPRANK", Logic: 0 }]
而 cnki/config.js 里定义的"检索字段"列表(全部/主题/题名/第一作者/作者/作者单位/关键词/摘要/DOI)根本没被用上。用户切"篇名/作者"等字段,实际请求仍是主题检索;如果 UI 只是把 题名: 前缀塞进 query,那 Value 会变成 题名:重症肺炎… 被当普通词去搜 → 0 结果。只有 query 里出现 小写字母+%或= 才走专业检索(_isZjReg,:67)。
结果页 DOM 选择器非常脆 —— _getExportList(:798)依赖 a.fz14/a.fz14-w、td.seq input.cbItem、.pagerTitleCell em;开头还有一句 if (!doc.querySelector('a.fz14, a.fz14-w')) return {articles:[], totalCount:0}。CNKI 一改类名或页面结构,这里静默返回 0,表现得就是"搜不到",且随机性很强——契合用户说的"零星几篇、没规律"。
索引错位 bug:_getExportList 用 textData.split('\r\n\r\n').filter(非空) 得到记录数组,再拿 resultMetadata 去对齐 exportId/详情URL。一旦导出文本中间有空块被 filter 掉,i 就整体错位,会把 A 的标题配到 B 的链接/元数据上 —— 这也会造成"字段解析有错误"。
30s 超时会吞掉慢查询:引擎注册处 searchMultiple 用 options.timeout || 30000(index.js:1541),CNKI 一次检索要串两次请求(结果页 + NE 导出)+ Cookie/登录校验,慢一点就被 as-allSettled 判失败,前端显示"未找到"。
强依赖登录 Cookie:_withCookieRetry / _checkVerify / _responseRequiresLogin(search.js:326/576/358),未登录或 IP 被限流都会抛错,被上层 catch 成"无结果"。
1.3 剪贴板导入(BibTeX 可用 / NoteExpress 报错 / RefWorks 解析错)
剪贴板入口是 fileInterface.js:519 importFromClipboard → Zotero.Translate.Import → getTranslators() 按各 translator 的 detectImport 正则探测。
NoteExpress 格式报错的根因:整个 translators/ 里没有任何 NoteExpress 导入 translator(我全量扫过,只有 RefWorks Tagged.js 的文档字符串里出现过 "Reference Type",那不是导入逻辑)。所以 NE 那种
{Reference Type}: Journal Article
{Title-题名}: …
{Author-作者}: …
的文本,translators.length === 0,_finishImport 直接弹 fileInterface.unsupportedFormat(就是截图里那个报错)。但系统里其实已有能解析它的代码:cnki/parser.js 的 parseExportData/_parseExportFields 正是按 {字段}: 值 解析 NE 格式(在线检索的 DisplayMode:'NoteExpress' 导出就是靠它)。结论:这是"有能力但没接上"的遗漏,加一个 NoteExpress import translator(复用该 parser)即可。
BibTeX 缺摘要:CNKI 的 BibTeX 导出本身就不含 abstract,BibTeX translator 无从生成,属数据源限制而非解析 bug;合理修法是导入后用标题/DOI 回查 CNKI/Crossref 补全摘要。
RefWorks 字段解析错:用的是标准 RefWorks Tagged.js,其行格式正则 RW_format = /^([A-Z][A-Z0-9]) (?.*))?$/(:713)只认 2 字符 tag。CNKI 的 RefWorks 导出里若出现 3–4 字符 tag(如 PMID/PMCID)或换行/续行方式与欧美库不同,这些行不会匹配,会被 getLine() 当作上一字段的续行拼进去 → 字段错位。detectImport(:28)还要求前 150 个非空行内出现 ^RT ,头部稍有差异也会影响探测。建议拿用户那条 RefWorks 原文 + Zotero.debug 的翻译日志复现确认。
建议的最小修复方向
在线检索:让 _buildRequestData 真正消费 config.js 的检索字段(把"题名/作者/摘要/DOI"映射到 CNKI 的 Field 代码,如 TI/AU/AB/DOI),而不是恒用 SU;专业检索判定与字段选择统一。
解析健壮性:_getExportList 不因单个选择器缺失就整体返回 0,缺 authors 不应让 cnkiProvider 直接判负;去掉 filter 造成的索引错位(保留占位再过滤,或直接按 exportId 映射)。
补 NE 剪贴板导入:新增 NoteExpress translator(detectImport 匹配 ^\{Reference Type\}:),import 实现复用 Zotero.CNKI.Parser.parseExportData。
可观测性:provider/搜索失败时把原因(未登录、超时、0 结果、字段解析空)写入识别错误提示,而不是只 Zotero.debug,这样"零星案例"才可复现定位。
RefWorks:放宽 tag 正则以支持 3–4 字符 tag,或为 CNKI RefWorks 变体单独处理。
回复

使用道具 举报

51

主题

1693

回帖

5552

积分

论坛元老

积分
5552
发表于 2026-10-3 04:18:31 | 显示全部楼层
导入微信文章的代码我手头还没有。

“这条链路大概率复用的现成组件
chrome/content/zotero/xpcom/singlefile.js —— 自包含 HTML 快照引擎,配置里明确 loadDeferredImages: true、loadDeferredImagesMaxIdleTime: 1500、blockScripts/blockVideos 等。
chrome/content/zotero/HiddenBrowser.mjs —— ***面加载页面。
chrome/content/zotero/zoteroPane.js:6140 Zotero.Attachments.importFromDocument({document, parentItemID}) —— Zotero 原生"网页快照"就是存 HTML。
resource/SingleFile/lib/* —— 实际序列化逻辑。
即:加载微信页 → SingleFile 序列化 → 转 PDF → 作为独立附件。你看到的"独立 pdf"就是最后一步的产物。

为什么"分页导致内容丢失"(图一红圈内容)
这几乎可以断定不是抓取丢了,而是 HTML→分页 PDF 这一步的问题,微信正文的排版恰好全是高危样式:

微信正文大量使用 position:absolute/relative、overflow:hidden、flex,以及 position:fixed 的悬浮元素。转分页 PDF 时,跨越页边界的块会被裁切或整块丢弃——这正是红圈内容消失的典型表现。
微信图片是滚动懒加载(真实地址在 data-src)。SingleFile 的 loadDeferredImages 只等待 1500ms 且需要触发滚动;若渲染前没滚到底,图片元素在 PDF 里就是空的。
若微信页带"展开全文/继续阅读",未展开的节点本就不在 DOM 里,转 PDF 自然缺内容。
为什么慢(30s)
链路里串了多件事,且都是重活:隐藏浏览器首次冷加载公众号页 → 等懒加载图片(含 1.5s idle 兜底)→ SingleFile 把所有 CSS/图片内联成 base64(HTML 体积暴涨)→ 再做分页 PDF 渲染。图片多时,网络 + 内联 + 渲染三段叠加,30s 很正常。若再走服务端渲染,还有上传/下载往返。

第 4 问:直接存 HTML 更好吗——是,明显更好
而且这正是代码里已经有的能力(Zotero.SingleFile + importFromDocument):

维度        PDF(现状)        HTML 快照
保真        分页裁切/丢图        自包含、原样
速度        需渲染分页,慢        序列化即可,快
可检索/可复制        受渲染影响        原生
图片/链接        易丢        保留
建议改成 HTML 快照为主附件,PDF 作为可选的"导出为 PDF";若产品上必须给 PDF,也就地生成,而不是只给 PDF。

若保留 PDF,最小修复点
渲染前 scrollToBottom 触发懒加载 + 等 networkidle,并适当放大 loadDeferredImagesMaxIdleTime。
注入打印样式:@page、把 position:fixed/absolute 降级、overflow:visible、*{break-inside:avoid}、img{max-width:100%},避免跨页裁切。
先落 HTML 快照(秒级,用户已有可用结果),再后台异步转 PDF,别让用户等 30s。
用 Zotero.debug 打出各阶段耗时,区分是"加载慢"还是"PDF 渲染慢"。”
回复

使用道具 举报

*滑块验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|NoteExpress

GMT+8, 2026-11-18 10:55 , Processed in 0.066902 second(s), 28 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表