这个GPT爬虫,获16.3k颗星,爬取网站生成知识文件

2024/02/04
这个GPT爬虫,获16.3k颗星,爬取网站生成知识文件

这个GPT爬虫程序,最近在Github上火起来了,猛获16.3k颗星,强势登上Github趋势榜。这个程序之所以能如此受欢迎,当然受益于今年的GPT强势市场。现在我们来介绍一些这个GPT爬虫程序。

什么是GPT爬虫(GPT Crawler)

GPT爬虫是一个程序,可以抓取网站并生成知识文件,从而从一个或多个网站URL创建自定义的GPT。

gpt爬虫

这里有个例子:https://chat.openai.com/g/g-kywiqipmR-builder-io-assistant,可以快速的帮助回答如何通过简单的URL去构建文档。这只是一个简单的演示。

如何开始使用GPT爬虫

环境要求Node.js版本至少是v16。

本地运行方式:

获取代码,运行:

git clone https://github.com/builderio/gpt-crawler

安装命令:npm i

配置爬虫:

打开config.ts文件,编辑url和selector属性。

例如如果你想从Builder点io文档建立自定义GPT,则需要:

export const defaultConfig: Config = {
url: "https://www.builder.io/c/docs/developers",
match: "https://www.builder.io/c/docs/**",
selector: `.docs-builder-container`,
maxPagesToCrawl: 50,
outputFileName: "output.json",
};

查看config.ts所有适合的选项:

type Config = {
/** URL to start the crawl, if sitemap is provided then it will be used instead and download all pages in the sitemap */
url: string;
/** Pattern to match against for links on a page to subsequently crawl */
match: string;
/** Selector to grab the inner text from */
selector: string;
/** Don't crawl more than this many pages */
maxPagesToCrawl: number;
/** File name for the finished data */
outputFileName: string;
/** Optional resources to exclude
*
* @example
* ['png','jpg','jpeg','gif','svg','css','js','ico','woff','woff2','ttf','eot','otf','mp4','mp3','webm','ogg','wav','flac','aac','zip','tar','gz','rar','7z','exe','dmg','apk','csv','xls','xlsx','doc','docx','pdf','epub','iso','dmg','bin','ppt','pptx','odt','avi','mkv','xml','json','yml','yaml','rss','atom','swf','txt','dart','webp','bmp','tif','psd','ai','indd','eps','ps','zipx','srt','wasm','m4v','m4a','webp','weba','m4b','opus','ogv','ogm','oga','spx','ogx','flv','3gp','3g2','jxr','wdp','jng','hief','avif','apng','avifs','heif','heic','cur','ico','ani','jp2','jpm','jpx','mj2','wmv','wma','aac','tif','tiff','mpg','mpeg','mov','avi','wmv','flv','swf','mkv','m4v','m4p','m4b','m4r','m4a','mp3','wav','wma','ogg','oga','webm','3gp','3g2','flac','spx','amr','mid','midi','mka','dts','ac3','eac3','weba','m3u','m3u8','ts','wpl','pls','vob','ifo','bup','svcd','drc','dsm','dsv','dsa','dss','vivo','ivf','dvd','fli','flc','flic','flic','mng','asf','m2v','asx','ram','ra','rm','rpm','roq','smi','smil','wmf','wmz','wmd','wvx','wmx','movie','wri','ins','isp','acsm','djvu','fb2','xps','oxps','ps','eps','ai','prn','svg','dwg','dxf','ttf','fnt','fon','otf','cab']
*/
resourceExclusions?: string[];
/** Optional maximum file size in megabytes to include in the output file */
maxFileSize?: number;
/** Optional maximum number tokens to include in the output file */
maxTokens?: number;
};

运行爬虫:npm start

另外你还可以通过在Docker或API的方式运行。

生成自定义GPT

这个爬虫生成的文件名为output.json,位于项目根目录。然后把这个文件上传到OpenAI,用于创建你自己的助手或GPT。

然后生成自定义的GPT。(注意:您现在可能需要付费的 ChatGPT 计划才能创建和使用自定义 GPT。)

  1. 转到 https://chat.openai.com/
  2. 点击左下角的名称
  3. 在菜单中选择“我的 GPT”
  4. 选择“创建 GPT”
  5.  选择“配置”
  6. 在“知识”下,选择“上传文件”并上传您生成的文件
  7. 如果收到有关文件过大的错误,可以尝试将其拆分为多个文件,并使用config.ts文件中的 maxFileSize 选项分别上传它们,或者使用config.ts文件中的 maxTokens 选项使用标记化来减小文件大小。

上传文件

创建自定义助手

可对生成的知识进行 API 访问,这些知识可以集成到产品中。通过下面的方式创建自定义助手:

  1. 前往 https://platform.openai.com/assistants
  2.  点击“+ 创建”
  3. 选择“上传”并上传您生成的文件

创建自定义助手

 

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注