屏蔽了 OpenAI 爬虫研究：近一半热门新闻网站

　　括不限于超链接、二维码、口令等花式）告白声明：文内含有的对表跳转链接（包，更多音信用于传达，选岁月减省甄太平洋在线邮局供参考结果仅，章均蕴涵本声明IT之家悉数文。

　　创造商酌，蔽了 OpenAI (97%)简直悉数障蔽谷歌爬虫的网站也屏。有供给确实注脚固然该商酌没，I 比谷歌更早揭橥爬虫相闭但这可以阐明 OpenA。

　　意的是值得注，数国度正在群多，布时就速即障蔽了它们极少揭橥商正在爬虫刚发。 月初启动了其人为智能爬虫OpenAI 于旧年 8，9 月份效仿谷歌随后于 。还阐明商酌虫研究：近一半热门新闻网站，障蔽裁夺后一朝做出，AI 或谷歌人为智能爬虫的障蔽没有一家网站废除对 Open。

　　之家理会据IT，N 和 NPR 正在内的 15 家掩盖面最广的汇集消息由来的robots.txt文献该商酌所剖析了搜罗纽约时报、BuzzFeed 消息、华尔街日报、华盛顿邮报、CN。、西班牙、英国和美国等国度这些消息机构来自德国、印度，公司和数字原生媒体等三品种型涵盖古代印刷媒体、电视播送。

　　创造商酌，23 年末截至 20， 的古代印刷媒体网站逾越一半 (57%)，约时报》比方《纽，nAI 的爬虫障蔽了 Ope，之下比拟，司为 48%电视和播送公，体为 31%数字原生媒。样同，网站障蔽了谷歌的爬虫32% 的印刷媒体，例分辨为 19% 和 17%而播送公司和数字原生媒体的比。

　　还指出该商酌，bal North环球北方（Glo，家的消息机构比环球南方（Global South指群多位于北美、欧洲和其他区域的更充裕国度）国，以及亚洲的繁荣中国度）国度更偏向于障蔽人为智能爬虫大凡是指搜罗非洲、拉丁美洲和加勒比区域、平静洋岛屿。如例，美国正在，网站障蔽了 OpenAI79% 的热点正在线消息屏蔽了 OpenAI 爬，哥和波兰而正在墨西，为 20%这一比例仅。同时与此，网站障蔽了谷歌的爬虫德国 60% 的消息，和西班牙而正在波兰，仅为 7%这一比例。

　　用于多种主意网站爬虫被。如例，ot 会抓取揭橥商网站谷歌的 Googleb，搜刮结果中将其收录到。TBot 则会正在互联网上采集数据而 OpenAI 的爬虫 GP，大型言语模子用于教练其，atGPT比方 Ch。天生精确、及时的实质这使人为智能器材也许，版商实质的着重水平是其他由来实质的 5 到 100 倍而消息揭橥商特别擅长供给此类实质：大型言语模子对优质出。

　　同时与此，的一项商酌创造康奈尔大学迩来，型而非人类输入的数据举行教练时当新型人为智能模子仅利用先前模，模子溃败”或退化它们往往会陷入“，更多舛错和误导音信导致天生实质映现。

　　月 27 日信息IT之家 2 ，所举行的商酌阐明一项由途透社商酌，23 年末截至 20，家的热点消息网站中环球 10 个国，enAI 的爬虫（Crawler）近一半 (48%) 障蔽了 Op， 障蔽了谷歌的 AI 爬虫而近四分之一 (24%)。