虽然多模态大模型都能挑西瓜了，但 理解复杂文档 方面还是差点意思。
面对 文字密集、多栏混排 等文档时往往力不从心，区域级别的细粒度理解，就更是无从谈起了。
最近，旷视团队打造了一支多模态大模型的“点读笔”——，轻松实现对8页文档（中英混合，单栏多栏格式混合的极端场景）的交互式感知理解。
对于信息密集的PDF文档，Fox支持高可控性的细粒度理解，比如在用户感兴趣区域内进行文字识别、段落翻译以及页面内部的图片内容描述等。
论文中，团队进一步突破了对于文档的视觉感知理解的上限，高密度的信息被真正压缩，LVLM真正地“看”懂图，才能真正做好、做出能用的文档多模大模型。
正所谓 “一图胜千言”—— one image token >> one text token 。
接下来，看看Fox在实战中表现如何？
中英混排，单栏多栏组合都不怕
对于中英混合、单栏多栏混合的8页PDF文档，可实现任意区域的OCR：
下图左侧展示了8页文档内跨页的VQA，右侧展示了双栏中文页面的前景OCR。
双栏密集英文页面的前景OCR：
在页面内图片描述方面，Fox能给出文档内内容关联的回答（young Dual Language Learners）。
当然Fox还支持line-level OCR，以及对RoI区域的翻译、总结等。
Fox可以结合页面内文字，认识到这是一张关于global seismic hazards的图。此外，Fox还支持RoI内的latex格式转换，例如下面的table转latex。Fox还支持更加灵活的颜色引导的RoI区域OCR。
对于卡通绘本，也可以哪里不会点哪里：
那么Fox是如何做到这些的呢？
多词表协同，多页面文档统一打包
在细粒度文档理解上，Fox有着三大创新：
Fox引入了一系列基于位置的文本提示，如点击位置、拖动框、涂色框等。这使得模型可以直接定位到感兴趣的任意区域，而不受文档格式的限制。同时，Fox还把全页OCR重新定义为”前景聚焦”任务，进一步增强了对密集文字的感知。
为了更好地理解图文混排页面，Fox采用了两个不同特长的视觉词表——CLIP主攻自然图像，Vary专攻人工文档。但单纯叠加两种数据，往往会造成视觉偏置。为此，Fox合成了大量含混合视觉元素的数据，迫使两个视觉分支充分协作。
得益于高压缩率(每页1024×1024图像对应256个图像token)，Fox将多页面文档统一打包输入。这不仅让跨页面的上下文理解成为可能，也大幅降低了计算开销。值得一提的是，这种打包微调模式并不需要重新训练视觉词汇。
在这些创新基础上，Fox模型结构如图所示。
Fox支持单页/多页文档图像输入，所有图像的image token被统一到一个sequence中进行多页文档理解。团队设计了基于point、color、box的prompt，来实现在文档页面上聚焦任意位置。团队合成了图文交织的文档数据，来充分催化两个视觉词表，以更好地适用于实际文档应用场景。
此外，为了促进对文档细粒度理解的研究，作者还打造了一个中英双语的benchmark，已经开源了数据和评测代码，共包含以下9种任务：
最后，团队呼吁更多的研究人员能关注到细粒度的单页/多页文档理解，单页的稀疏的问答任务远远不够。
真正做好多模态大模型，视觉编码器的信息压缩率（token转化率）是非常重要的，Fox仅探究了文档这一类应用方向，希望对大家的研究有所帮助。
想了解更多细节，请查看原论文。
论文地址：https://arxiv.org/abs/2405.14295代码地址：https://github.com/ucaslcl/Fox项目主页：https://ucaslcl.github.io/foxhome/
怎样降低论文检测复制比重复率？
改词、换句、改变描述方式（变原句为倒装句、被动句、主动句等）、打乱段落顺序、删除关键词汇、关键句等。 经过实践证明，使用以上方法结合，可有效降低复制比，保证顺利通过。
有没有好用的伪原创工具，收录率高的?
作为一个平时需要处理大量伪原创文章的seo人员来说，我想我还是用过比较多的伪原创工具的，比如5118，奶盘，火车头，小发猫等，都是比较好用的伪原创工具。 以前我都是用这些来处理我大量的文章需求，但是后面我都是用 智媒ai批量伪原创写作助手 这款工具来处理的，不仅出来的文章通顺度高，优化的文章原创度也符合网络搜索引擎的收录规则和优化规则。 而且更重要的是可以批量文件夹导入导出处理文章，功能非常强大，这些你都可以试试看。
初中没毕业怎样上大学?
通过国家自学考试。 自学考试没有入学考试，选择你喜欢的专业，专科本科一起报读。 专科毕业证书拿到之后即可申请本科毕业。 考生主要有两种学习方式：一是在高等院校举办的助学点学习或进入本校进行全日制学习(学生采用这种学习方式称为应用型考生)。 二是在社会举办的助学单位学习或自学(用这种学习方式的学生称为社会型考生)。 学生在经过系统的学习后，通过毕业论文答辩、学位英语考核达到规定成绩，符合学位申请条件的，可申请授予成人高等教育本科毕业生学士学位。 并可继续攻读硕士学位和博士学位。 扩展资料：自考优点1、国家承认，含金量高。 很多考生在报考自考时总会纠结社会对自考的承认度高不高的问题，其实自考之所以备受青睐，很重要的一部分原因是其文凭认可度高，含金量高。 它是成人学历教育中考试难度相对较大的，各用人单位也认可自考文凭，愿意提供机会给自考毕业生发展。 2、没有入学考试，报考条件宽松。 一般来说，自考没有设置入学考试，报考条件也比较宽松，因此考生可以自由的报考入学。 3、费用低，相比上统招本科来说，费用低很多了。 4、学习压力小，时间较宽松。 除了报名、审核、考试其余只需自己在家学习即可。 学习难度不高，相对比较容易拿到证书。 5、提升专业层次，增加了选择性，增强了综合素质和就业能力。 在校生套读自考本科，有两种选择：一种是在本专业基础上报考相同本科专业，从纵向上提高学历层次;另一种是在本专业基础上报考自己喜欢和社会需要的本科专业，从横向上拓展专业口径。 参考资料：网络百科-高等教育自学考试
