只要一个大模型，就能解决打工人遇到的表格难题！
字节联手中科大推出了一款统一表格理解大模型，可以以用户友好的方式解决多种表格理解任务。
同时提出的还有一套开源测试基准，可以更好地评估模型在表格理解任务上的表现。
该模型名为TabPedia，利用多模态大模型，将不同处理表格任务的专有模型进行了整合。
在这之前，不同的任务都有独立的模型和解决方案，单是找到适合的模型就是已经很让人头疼。
而TabPedia通过概念协同（Concept Synergy）机制来实现多个任务、多种源信息的整合协作，打工人再也不用为找模型而烦恼了。
那么，这款新模型都能实现怎样的效果呢？
无需裁剪识别多表格结构
首先来看，在测试数据集上，TabPedia可以在不借助后处理算法的条件下，精准识别表格位置并直接生成无重叠的检测框。
在判断出表格位置的基础之上，对于表格结构识别任务，TabPedia可以继续生成一系列连续的表格结构元素以及相应的检测框。
不仅判断准确，还有效地解决了标记语言（HTML或者Markdown）处理空间坐标的不足和非法语法潜在造成解析错误的弊端。
而且不再需要将表格从图片中手动裁剪，研究者们借助大模型的理解能力，让模型可以直接在原始文档图像中实现多表格实例的表格结构识别。
值得一提的是，此类任务是由TabPedia团队的作者首次提出的。
当然，只识别表格的位置和结构是远远不够的，而对于表格问答任务，TabPedia不仅可以给出正确的答案，同时还能基于表格的内容给出相应的理由。
实战方面，面对多种不同的开放场景，TabPedia同样表现优异。
比如在论文中的表格检测任务当中，TabPedia可以准确地检测出图像中的所有表格实例。
对于表格结构识别能力，研究者们随机选取了不同论文中的表格图像，对于包含密集文本信息的表格结构，依然预测出准确的结构信息。
而在问答任务上，TabPedia仍然可以像在数据集测试中一样，根据表格内容和表格结构信息，做出合理且正确的回答。
此外，为了更好地评估各种模型在现实世界表格图像上的TQA性能，作者还构建了一个复杂的TQA数据集（ComTQA）。
与现有的基准WTQ和TabFact相比，ComTQA具有更具挑战性的问题，例如多个答案、数学计算和逻辑推理。
通过专家标注，作者们从大约1.5k张图像中注释了约9k个高质量的表格问答对。该数据集的标注目前已经在Huggingface开源。
那么，TabPedia具体是如何实现的呢？
高低分辨率分别训练
如下图所示，TabPedia包含两个视觉编码器以及各自的映射层，一个分词器以及大语言模型。
在预训练阶段，TabPedia主要学习如何对齐视觉表征和语言模型的输入空间；在微调阶段，TabPedia进一步专注于视觉表格理解。
其中，高分辨率视觉编码器用于2560x1920的高分辨文档图像，可以提供丰富的细粒度视觉信息；
低分辨率视觉编码器为了保持整图的结构信息，编码224x224的低分辨图像。
为了更好地让语言模型理解视觉信息，该工作沿袭了主流多模态大模型的对齐策略，设计了两个简单的映射层。
对于高分辨率支路的映射层，TabPedia采用2D的卷积层来聚合近邻的视觉特征，同时有效地缓解视觉token数量冗余的现状。
给定大量的视觉tokens以及文本指令的嵌入特征，TabPedia采用Vicuna-7B作为语言模型生成回答。
考虑到表格感知和理解任务之间的差异，TabPedia引入了Meditative Tokens M 来实现概念协同机制，它可以自适应地激活不同区域的视觉tokens，并理解特定任务问题的意图。
整体的输入序列为 X = [Q;IMG_S; V_l ;IMG_SEP; V_h,IMG_E; M]
其中IMG_S，IMG_E和IMG_SEP都是可学习的特殊token，分别代表视觉tokens的开始、结束，以及区分不同分辨率的视觉tokens。
由于TabPedia和其它LLMs一样执行next token预测，因此仅需要简单的交叉熵损失函数作为目标函数来优化整个框架。
通过预训练，TabPedia能够很好地理解各种文档图像的文本和结构，但无法根据指示执行不同的表格理解任务。
为了增强模型的指令跟随能力，该工作首先构建了一个用于视觉表格理解的大规模数据集。
基于该数据集，研究者引入了四个与表格相关的任务，即表格检测，表格结构识别，表格查询以及表格问答，来同步执行感知和理解任务。
在该阶段，LLM也参与训练微调，进一步增强大模型的指令跟随和视觉信息抓取的能力。
开源数据集与合成数据共同训练
同时，对于不同任务的指令设计，作者也给出了对应的示例以便模型更好地理解。
其中最值得注意的是，表格检测和表格结构识别的任务摆脱了之前繁琐的后处理的弊端，TabPedia直接可以预测无重叠的检测框，高效率地输出用户需要的答案。
除此之外，研究者们进一步借助大模型的理解能力，克服之前工作需要将表格从原文档中裁剪出来做结构识别的流程，直接在原文档图像中实现多表格实例的表格结构识别。
该任务为利用大语言模型实现更复杂的表格理解奠定了强有力的基础。
对于表格问答任务，现有的数据绝大多数是基于文本的表格中生成的，仅在背景颜色和字体大小存在变化，导致在现实世界的表格中泛化能力较差。此外，TQA数据的量级远远落后于其他任务。
为了克服这些障碍，研究者们利用开源多模态大模型，基于FinTabNet和PubTab1M中部分图像数据生成了大量的TQA数据。
另外作者表示，尽管TabPedia已经在视觉表格理解展现出强大的能力，仍然有很多未解决的挑战激发研究者更深入的探索：
总体来说，视觉表格理解任务依然有很多技术难点等待攻克。TabPedia初步探究了多模态大模型的表格理解能力，作者希望能对大家的研究有所帮助。
论文地址：https://arxiv.org/abs/2406.01326ComTQA数据集：https://huggingface.co/datasets/ByteDance/ComTQA
国内有哪些ai大模型
国内人工智能领域的发展迅猛，涌现出多个大模型。 以下是几个具有代表性的AI大模型：1. 网络大脑：作为网络的人工智能平台，其拥有全球最大规模的人工智能模型之一，参数规模达到100亿。 该模型能够跨越不同语言和领域，被应用于搜索、语音识别、自然语言处理、推荐系统以及信息流等多个场景。 2. 阿里云PaddlePaddle大模型：阿里巴巴开源的这一框架支持多种图像、文本和语音领域的大模型，例如PLATO和PGL。 这些模型在电商、金融、医疗等行业中得到了广泛应用。 3. 昆仑加速智能平台：这一平台基于昆仑AI芯片，提供了包括文本、视觉、医疗等多个领域的预训练大模型，旨在加速智能计算。 4. 腾讯混元AI大模型：腾讯开发的这一大模型基于Transformer架构，拥有万亿级别参数，涵盖了自然语言处理、计算机视觉等多个领域。 5. 华为盘古大模型：华为的这一超大规模人工智能模型同样基于Transformer架构，拥有万亿级别参数，能够在图像、语音、自然语言处理等领域发挥作用。 除此之外，还有如京东言犀、字节跳动等公司开发的大模型，它们在电商、金融、医疗等行业中提供了诸如自然语言处理、图像识别、语音识别等服务，极大地推动了人工智能技术的应用。 这些AI大模型通过海量数据的训练，不断提升其智能处理能力，并在技术创新和优化方面持续取得进展。
RoBERTa模型原理总结
RoBERTa，BERT的升级版，以其卓越的性能和深度优化的训练策略，赢得了语言理解领域的广泛关注。 相比于基础模型，它在模型规模和数据上做出了显著的提升。 首先，RoBERTa通过显著增加模型参数量，借助1024块V100 GPU的强大计算能力，日以继夜地训练，实现了前所未有的深度学习。 不仅如此，它将数据集的规模扩大到160GB，包含了CC-NEWS等多种丰富来源，每个训练样本的批大小也由原来的256提升至惊人的8000，这样的海量数据和大批次处理，为模型提供了更广阔的知识视野。 在训练方法上，RoBERTa摒弃了BERT的下一句预测任务和动态掩码，代之以全新的输入掩码策略，每次输入都会生成独特的掩码模式。 同时，它采用了Byte-Pair Encoding技术，使用更大的50K字节级别BPE词汇表，这使得模型能够理解和处理更复杂的语言结构。 在优化层面，RoBERTa调整了Adam优化函数的β2值至0.98，对训练过程进行精细调校。 在掩码策略上，动态生成的掩码与静态掩码的结合，为模型提供了更多的训练灵活性。 实验对比证明，这种策略显著提高了模型的性能和泛化能力。 最值得一提的是，RoBERTa在NSP训练策略上的革新。 它不再依赖Next Sentence Prediction任务，转而探索了多个句子组合方式，如SEGMENT-PAIR、SENTENCE-PAIR、FULL-SENTENCES和DOC-SENTENCES。 实验结果显示，FULL-SENTENCES策略在去除NSP任务后，整体表现最为出色，尽管单个句子处理有所影响，但整体性能得到了显著提升。 RoBERTa的中文版特别针对中文语言特性进行了预训练，提供了roberta_l24_zh、roberta_l12_zh和roberta_l6_zh等不同规模的模型，以及在TensorFlow和PyTorch框架下的实现。 其基础是基于30G的丰富文本数据和2.5亿训练实例，预训练过程充分挖掘了语言的丰富信息。 总的来说，RoBERTa的崛起在于其对数据、训练方法和策略的深度优化，尤其是在处理中文场景时，通过全词mask技术，它展现出了超越BERT的强大性能。 随着9月14日的测试和对比，我们有理由期待RoBERTa在NLP领域的更多突破。
什么是大模型
大模型（Large Model）是指具有数百万或数十亿个参数的深度神经网络模型，这种模型经过专门的训练过程，能够对大规模数据进行复杂的处理和任务处理。
大模型需要占用大量的计算资源、存储空间、时间和电力等资源来保证它的训练和部署。 相比之下，小模型（Small Model）是指具有较少参数的深度神经网络模型。 小模型常常运行速度更快，也更加轻便，适用于一些计算资源和存储空间较少的设备或场景，例如移动设备或嵌入式设备。
在实际应用中，选择大模型或小模型取决于需要解决的问题和可用资源。 大模型通常在自然语言处理、计算机视觉、推荐系统等方面表现良好，它们通常需要高性能计算资源的支持，例如标准的GPU或云端集群。
小模型适合解决一些简单的、小规模的问题，例如信用卡欺诈检测等，它们具有更快的推理速度，可以在低功耗设备上运行，例如智能手机或物联网设备。
大模型能解决的问题
大规模预训练可以有效地从大量标记和未标记的数据中捕获知识，通过将知识存储到大量的参数中并对特定任务进行微调，极大地扩展了模型的泛化能力。 在应对不同场景时，不再从0开始，只需要少量的样本进行微调。
再比如BERT已经训练好了，我们要做下游任务，做一个句子的情感分析。 那么就会在BERT的输入token中加入一个class token，这个和vit的做法一样，encoder以后用class token的向量做一下linear transoformation和softmax和gt做损失训练，所以这一步可以直接初始化BERT模型的预训练参数做finetune，效果要更好。 收敛的又快，loss又低。
以上内容参考网络百科-大模型
