实时

您的位置:首页>企业 >

OpenAI推出网络爬虫GPTBot,但用户可以选择禁止被爬

作者 | 虞景霖


(资料图)

编辑 | 邓咏仪

AI模型的升级依靠海量的公开数据,而科技公司大多通过网络爬虫来获取用户数据。但这个过程并不一定被用户、网站所有者所允许。

8月8日,OpenAI推出了一款名为GPTBot的网络爬虫机器人,用于收集训练AI模型所需的数据信息。有市场消息称,OpenAI将利用这些数据升级GPT-4和其他大语言模型(如可能即将推出的GPT-5和开源的G3PO)。

根据OpenAI介绍,GPTBot和其他所有网络爬虫一样,从互联网上搜集能够用于训练AI模型的有用数据。但它并不会收集需要付费的、或者违反隐私政策的数据。此外,网站所有者还可以选择限制或者禁止GPTBot爬取网页数据。

如何识别GPTBot?

来源:OpenAI

如何禁止GPTBot访问?

将GPTBot添加到网站的robots.txt:

来源:OpenAI

如何限制GPTBot访问,使其只爬取网站的一部分数据?

将下列命令添加至网站的robots.txt:

来源:OpenAI

此外,根据OpenAI发布的有关GPTBot的文档,还列出了GPTBot使用的IP范围(目前只列出了一个,之后将继续添加)。

来源:OpenAI

数据的爬取是AI模型训练不可或缺的一环,而由此所带来的伦理和法律和法律问题也一直是公众关注的焦点。不少国家和地区出台了相应法案,Reddit和X(前Twitter)等网站也采取了相应措施打击AI公司爬取用户数据的行为。

喜剧演员兼作家Sarah Silverman曾在美国法院起诉OpenAI的侵权行为,原因是ChatGPT会总结她的书籍,这一行为构成了侵权。

GPTBot是对围绕版权、公开信息合理使用的一次尝试,使数据收集尽可能在监管范围之内。

尽管网络爬虫网站信息引发了部分网站所有者、版权所有者的反对,但也有支持的声音。

网站信息和ChatGPT等大语言模型可以是相辅相成、互相促进的,但并不绝对。网络爬虫在获取网站信息的时候能够改善网站的流量,网页数据信息能够帮助大语言模型生成更加可靠完善的回答。但网络爬虫所爬取的数据并不一定是信息的源链接,因此无法为网站带去流量。

尽管如此,正如Perplexity和其他大语言模型展示的那样,生成式人工智能机器人的回答还可能包括链接和引用,在未来也有可能成为ChatGPT的特性之一。因此,网站内容发布者也可能希望网站信息被用于AI模型,以换取可能的流量。

关键词:

推荐阅读
市绿化市容局介绍,夏秋交替之时,色彩斑斓的石蒜怒放,花色如梦似幻,

2023-09-09 13:26:53

据朝中社今天(9日)报道,朝鲜民主主义人民共和国成立75周年民间防卫

2023-09-09 11:32:03

潜心教书育人(主题)金秋九月,1800多万名人民教师迎来属于自己的节日

2023-09-09 10:00:41

为加快农贸市场升级改造民生工程项目建设进度,9月7日,大连市商务局在

2023-09-09 08:18:13

2023年9月8日艾可蓝(300816)发布公告称公司于2023年9月8日召开业绩说

2023-09-09 05:54:43

美国前众议院议长佩洛西周五表示,将于明年11月再次竞选众议院议长

2023-09-09 00:49:27

谈及未来,彭寿认为,材料是显示产业的关键,推动显示进步,引领显示未

2023-09-08 21:45:56

中新社北京9月8日电(记者刘育英)中国工业和信息化部、教育部等五部门8

2023-09-08 20:52:47

摄图网_4021847882023沈阳中秋节活动汇总演唱会1、蓝心羽《藍》2023全

2023-09-08 18:36:14

7月底,CEC中国汽车耐力锦标赛首次于鄂尔多斯国际赛车场迎接赛事周末,

2023-09-08 17:01:40

按照公安部和省委、省政府的统一部署,9月8日上午,陕西省公安厅在韩城

2023-09-08 16:19:47

观点香港网讯:9月8日,汇丰银行将会大加H按(拆息按揭)封顶息率半厘。

2023-09-08 14:52:22

备受瞩目的张艺谋新片《坚如磐石》即将上映,发布会现场,张国立、雷佳

2023-09-08 13:42:22

江苏东成生物科技15万吨 年木薯普级乙醇装置停机,企业普级对外报价680

2023-09-08 12:17:11

近日网上关于RedmiNote13系列的爆料越来越多,不出意外的话,这款新机

2023-09-08 11:08:16

即日起至2023年11月15日,澄迈县将再次发放百万元消费券,消费者可以在

2023-09-08 10:40:12

近日,青岛西海岸新区辛安街道执法中队联合交警二中队在街道辖区开展“

2023-09-08 09:42:10

数字雄安论坛活动将于9月6日在河北正定举行。论坛以“智能绿色创新——

2023-09-01 10:16:46

今年以来,永川区临江镇始终把农村人居环境整治作为一项重要工作来抓,

2023-09-01 09:17:41

昨日市场遇阻力回落,形成下有政策,上有阻力的夹板震荡形态。指数方面

2023-09-01 09:04:52