如何使用Python+ChatGPT批量生成论文
用Python+ChatGPT批量生成论文概述
做算法研究离不开阅读大量论文。从海量论文中找到需要的论文往往耗费算法团队不少的精力。
ChatGPT官方例子中有一个“TL;DR”摘要生成，非常适合生成论文摘要。
于是我用python+GPT-3 API开发了一个工具，可以直接从arxiv地址生成论文概述。实现步骤如下：
下载论文
第一步，我们要先拿到论文正文。
从arxiv上下载论文非常简单，如果你知道论文编号（比如2302.08996），那么论文的pdf下载地址为：https://arxiv.org/pdf/[论文编号].pdf。我们只需要发起网络请求即可将论文下载到本地。
我这里使用requests库发起网络请求，你可以使用任何你喜欢库完成论文下载。
def download_paper(paper_id: str, file_name: Optional[str] = None) -> Optional[str]:
""" 根据论文id将论文下载到本地
Parameters
-----------
paper_id: str
论文id
file_name: Optional[str]
本地文件名，如果为空则用论文id做文件名
Returns
-------
result: Optional[str]
论文下载结果。成功则返回本地文件路径，失败则返回None
"""
paper_url = f"https://arxiv.org/pdf/{paper_id}.pdf"
if not file_name:
file_name = f"{paper_id}.pdf"
res = requests.get(url=paper_url)
if res.status_code == 200:
with open(file_name, "wb") as f:
f.write(res.content)
return file_name
return Nonepdf转文本
ChatGPT只接受文本输入，所以拿到论文后，我们需要将pdf格式的论文转换为纯文本。这里给大家推荐一个好用的pdf转文本库——pdfplumber。
pdfplumber使用非常简单，只要打开文件，即可通过pdfplumber.pages获取到每一页pdf内容。然后调用pdfplumber.Page类的extract_text()方法就能提取页面的文本。示例代码如下：
def pdf2txt(file_name: str | pdfplumber.PDF, page_start: int, page_end: int) -> str:
"""
Parameters
-----------
file_name: str | pdfplumber.PDF
pdf文件路径或pdfplumber.PDF实例
page_start: int
要转换的起始页页码
page_end: int
要转换的结束页页码
Returns
-------
content: str
转换后的文本
"""
content = ""
if isinstance(file_name, str):
pages = pdfplumber.open(file_name).pages
elif isinstance(file_name, pdfplumber.PDF):
pages = file_name.pages
else:
raise AttributeError("需要传入pdf路径或PDF对象")
for page in pages[page_start:page_end]:
content += page.extract_text()
return content上面的代码会逐页提取给定pdf文档指定页码范围内的内容并返回。
用GPT-3生成概述
有了文本，我们就可以用ChatGPT来生成概述了。
首先我们导入openai库，并配置好参数：
import openai
openai.api_key = "YOUR_API_KEY"
TLDRParameter = {
"model": "text-davinci-003",
"max_tokens": 2048,
"temperature": 0.3,
"top_p": 1.0,
"frequency_penalty": 0.0,
"presence_penalty": 0.0,
"stop": ["\n\n"]
}
tldr_tag = "\n\n tl;dr:" # 给ChatGPT明确的文本补全意图这里的tldr_tag需要稍微解释一下，这段字符串会添加在我们论文文本的末尾，用于提示ChatGPT我们要做的是上面文本的摘要。为了让ChatGPT能够将论文内容和我们给出的提示区分开来，在参数中我们设置了stop，用于告诉ChatGPT输入到哪里结束。
输出概述
ChatGPT对输入长度是有限制的，因此我们不能一次性将整个论文内容输入进去，需要一页一页得输入并生成每一页的概述。
pages = pdfplumber.open(file_name).pages
for p in pages:
content = p.extract_text() + tldr_tag
response = openai.Completion.create(prompt=content, **TLDRParameter)
print(f"Page1 {index + 1}:\n")
print(response["choices"][0]["text"])
print("\n\n")集成测试
将上面的代码集成到一起，我们就可以得到一个完整可用的论文概述工具
import requests
import pdfplumber
import openai
from typing import Optional
openai.api_key = "YOUR_API_KEY"
TLDRParameter = {
"model": "text-davinci-003",
"max_tokens": 2048,
"temperature": 0.3,
"top_p": 1.0,
"frequency_penalty": 0.0,
"presence_penalty": 0.0,
"stop": ["\n"]
}
tldr_tag = "\ntl;dr:"
def download_paper(paper_id: str, file_name: Optional[str] = None) -> Optional[str]:
""" 根据论文id将论文下载到本地
Parameters
-----------
paper_id: str
论文id
file_name: Optional[str]
本地文件名，如果为空则用论文id做文件名
Returns
-------
result: Optional[str]
论文下载结果。成功则返回本地文件路径，失败则返回None
"""
paper_url = f"https://arxiv.org/pdf/{paper_id}.pdf"
if not file_name:
file_name = f"{paper_id}.pdf"
res = requests.get(url=paper_url)
if res.status_code == 200:
with open(file_name, "wb") as f:
f.write(res.content)
return file_name
return None
if __name__ == '__main__':
file_name = download_paper('2302.08996')
pages = pdfplumber.open(file_name).pages
for index, page in enumerate(pages):
content = page.extract_text() + tldr_tag
response = openai.Completion.create(prompt=content, **TLDRParameter)
print(f"Page {index + 1}:\n")
print(response["choices"][0]["text"])
print("\n\n")
我用最新发出的2302.08996做测试，输出如下：
Page 1:
We employ meta reinforcement learning to model short-duration trading in financial markets as a sequential decision-making problem. We incorporate symbolic features based on frequently occurring patterns in price series to improve the performance of our meta-RL algorithm. Preliminary results on real data indicate that meta-RL and logical features are more effective than vanilla RL or primary price features alone.
Page 2:
Meta-learning techniques, such as Inductive Logic Programming (ILP) and RL2, can be used to train a trading agent on a new task with limited data.
Page 3:
We propose a meta-RL agent that can rapidly adapt to new reward patterns. We use PPO to train the agent and an LSTM agent. We also use hand-crafted features and learned logical features to augment the agent's neural network model. Results show that the agent outperforms vanilla reinforcement learning.
Page 4:
上面每一页的输出都很好地概括了该页的核心内容，其中第四页为空是因为这一页绝大部分内容是参考文献，ChatGPT也很聪明的没有返回概述。
总结
试用了一天，我认为模型对论文总结得很棒，用这个工具读起论文来效率大增。尽管它永远可能取代实际阅读整篇论文的重要过程，但却可以作为探索发现更广泛有趣科学的工具。
这篇文章更多的是一个概念的证明，如果想大规模用于生产还有很多细节要处理，比如pdf转换的文本的格式，按页转换文本带来得章节错位等问题。然而，我觉得这些问题都可以解决。在ChatGPT的加持下，我认为我们比以往任何时候都更高效地处理更多科学信息。
到此这篇关于用Python+ChatGPT批量生成论文的文章就介绍到这了,更多相关Python+ChatGPT批量生成论文内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了Django RBAC权限管理设计过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08
使用Python+OpenCV进行卡类型及16位卡号数字的OCR功能
本文将使用Python+OpenCV实现模板匹配算法，以自动识别卡的类型和以及16位卡号数字，通过实例代码给大家介绍的非常详细，需要的朋友参考下吧2021-08-08
这篇文章主要对Python中常见的数据类型进行了总结归纳，很有参考借鉴价值，需要的朋友可以参考下2015-08-08
python通过自定义isnumber函数判断字符串是否为数字的方法
这篇文章主要介绍了python通过自定义isnumber函数判断字符串是否为数字的方法,涉及Python操作字符串判断的相关技巧,需要的朋友可以参考下2015-04-04
本文给大家简单介绍了下在ubuntu下安装pyv8的方法和注意事项，非常的实用，有需要的小伙伴可以参考下2016-03-03
今天小编就为大家分享一篇python实现在函数中修改变量值的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
本文给大家简单介绍了在windows以及linux下实现python版本的按任意键继续/退出功能，非常的简单实用，linux下稍微复杂些，有需要的小伙伴可以参考下2016-09-09
Python非常简单而又非常强大,它的功能之一就是画出漂亮的图表,实现数据的可视化,下面这篇文章主要给大家介绍了关于Python直接使用plot()函数画图的相关资料,需要的朋友可以参考下2022-05-05
这篇文章主要介绍了Python调用JavaScript代码的方法，帮助大家在不同场景里，采用的最佳调用方式，提高程序的性能，感兴趣的朋友可以了解下2020-10-10
在Python中，字典（dict）是一种常用的数据类型，其使用键（key）和值（value）来存储和访问数据，在字典中，键必须是可哈希（hashable）的类型，否则会导致运行时错误，因此，在Python中，有一些可散列的数据类型可以作为字典的键2023-06-06
最新评论