AI爬站引发的思考

Reverie

查看网站日志时发现gptbot来爬，国内的AI可能不带机器人UA来爬；
那么问题来了，AI爬了之后并不像搜索引擎一样给你流量，AI爬走数据后直接回答用户，导致你的网站没人来，小网站就会倒闭，大站会开启登录可见圈用户，新一轮的互联网大战不远了

机长

早就屏蔽了  爬的卡的一比

dapeng

你可以写规则不让它爬

Reverie

dapeng 发表于 2024-6-22 10:10
你可以写规则不让它爬

它可以假装是搜索引擎、用户

美女约吗

怎么判断是ai还是蜘蛛？

梅东

chatgpt这类的AI就是纯纯的窃取劳动果实，内容给你爬完了变成他的，还不给你任何曝光流量。

以后各家内容会越来越封闭，防止chatgpt这个窃贼

Reverie

美女约吗 发表于 2024-6-22 10:17
怎么判断是ai还是蜘蛛？

国外的会带上UA，国内的流氓假装是搜索引擎、正常用户

Reverie

梅东 发表于 2024-6-22 10:17
chatgpt这类的AI就是纯纯的窃取劳动果实，内容给你爬完了变成他的，还不给你任何曝光流量。

以后各家内容 ...

国外的好禁，国内的难搞

华盛顿

我一年前就发帖质疑过，这类AI越强大，个人站长越吃亏，都是窃取的大家的劳动果然，然后它又在卖会员赚钱