微商品牌网手機版 推广

AI帮助编写爬虫,是真的吗? CodeWhisperer:当然!

2023-10-19 13:59:30 來源: 微商网 作者:青鸾传媒

  

2023年科技圈最流行什么? 答案无疑是AIGC。 随着这项技术的发展,新的编程方法也出现了,那就是利用AI辅助编程。 在AI的加持下,开发者的效率和生产力能够得到实质性的提升。 今天我们将介绍一个很棒的人工智能编程工具。 相信我,使用它之后,你的工作效率至少可以提高一倍。

爬虫编写_爬虫代码是什么意思_

在日常的编码工作中,您是否遇到过以下问题?

1、接触到一个全新的模块,不知道如何打开hello world;

2、模块的某个方法中,参数和返回值忘记,反复切换手册会打断思路;

3、不想写评论;

4.我写了一段代码,但不健壮,担心有漏洞,很难发现;

5.…

如果你被这些问题所困扰,它可以很好的解决以上问题。

按照我下面的步骤开始练习吧!

初始化

支持的 IDE 包括 (VS)Code(本博客中使用的 IDE)和 IDE(CLion、Rider 和)。 安装过程只需几分钟。 我们这里就不详细解释了。 你可以参考官方文档。 ,官方还贴心准备了视频教程~

在这篇博客中,我们完成了一次爬虫项目实践。 可以直接在插件里搜索【】直接安装(已经有近200W的安装量了,一定要跟上大家的步伐)。 安装完成后,在侧边栏中会出现插件图标,如下图。

爬虫编写_爬虫代码是什么意思_

初始化过程中最重要的是账户链接。 点击上图中的[to...]链接,然后按照步骤登录帐户。 经过一系列操作后,浏览器会显示如下图所示的绿色状态提示界面。 此时,账户对接已经完成。

爬虫代码是什么意思__爬虫编写

返回 ,您会发现帮助手册已打开。 建议阅读。 插件的基本使用说明已经整理完毕。

爬虫编写__爬虫代码是什么意思

同时,左下角的开发者工具(TOOLS)也显示了ID的链接。 至此,我们的准备工作已经完成,我们可以开始使用工具了。

爬虫代码是什么意思_爬虫编写_

使用

简单逻辑示例

插件安装后,默认开启Auto-(自动建议模式)。 这个时候,当我们写注释或者代码的时候,就会自动给我们提供代码提示。 这个过程就像一个超级版本的语法提示。 如果你还没有安装它,这是一个很好的插件。 大家可以先看一下动画,有一个整体的感受。

_爬虫编写_爬虫代码是什么意思

对于代码提示,可以使用左右方向键选择,使用Tab键确认。 按其他键则提示码不被采用。 初次体验后,正如插件名称(:)所描述的那样,就像编辑器正在温柔地和我们谈论我们即将敲入的代码。 如果您同意,可以一键采纳。 如果您不同意,请忽略它。 就是这样。

代码翻译示例

有了这个功能,可以根据智能提示编写很多简单的程序,但这绝对是不够的。 我们需要完成更有挑战性的事情。 在爬虫领域,经常需要重新实现一段前端JS代码。

_爬虫编写_爬虫代码是什么意思

_爬虫编写_爬虫代码是什么意思

直接在 中输入您的需求,我们将给出完整的实施示例。 可以看到代码重写完全正确。

爬虫编写__爬虫代码是什么意思

加密函数示例

除了翻译代码之外,在编写爬虫案例时,如果忘记了某些加密函数的使用细节,可以直接举例,快速唤醒记忆。

下图为输入注释#并使用实现加密函数获取函数的示例代码。

爬虫编写__爬虫代码是什么意思

如果在使用过程中按错键,即没有使用Tab确认密码,可以随时按快捷键Alt+C,再次出现密码提示,可以继续加速您的开发效率。

混合加密示例

如果将上面的逻辑定义为单一逻辑,那么下面的需求就是复合逻辑的例子。 在实际编码中,你会遇到需要混合使用两种加密方式的情况。 要求如下:

# 使用实现+AES加密字符串

在IDE中输入上述注释信息并回车,后续代码就会自动生成。 可以一次性完成部分逻辑。 效果如下。 核心逻辑部分,性能非常好,秒级输出答案,直接可用。

_爬虫代码是什么意思_爬虫编写

算法模板示例

_爬虫编写_爬虫代码是什么意思

在编写业务逻辑的过程中,有时会用到常见的算法,比如快速排序、堆排序、哈希等,这些算法很多都类似于模板代码。 编写时,如果能一键生成,可以大大提高代码的质量。 写入速度,包括算法重写速度,可以快速生成注释。

用于生成快速排序代码

爬虫代码是什么意思_爬虫编写_

体验了5个例子后,使用起来非常简单,不需要切换编辑窗口。 AIGC的问答过程直接在IDE的代码文件中完成。 响应速度非常快,代码准确率非常高。

单例配对没有困难。 接下来,我们将尝试完成一个完整的爬虫案例(看看仅靠写注释能否完成一个合格的爬虫采集程序)。

项目实战

目标采集站为作者博客,不存在侵权问题。

编写爬虫基本框架注释,包括以下内容:

1.程序使用的采集模块

2. 目标采集点地址

3. 收集目标标签

4. 将数据存储到文件

5.将收集到的数据发送至指定邮箱

爬虫编写__爬虫代码是什么意思

第一步:输入以下注释获取网页响应内容

_爬虫编写_爬虫代码是什么意思

写完注释并回车后,直接为我们生成了相应的代码。 在此过程中,我们只需要按Enter键和Tab键即可。

如果你觉得上面的代码有点简单,你可以在代码的基础上继续完善,比如改进请求头,添加host参数,需要修改的地方直接添加注释等。

爬虫代码是什么意思_爬虫编写_

第二步:编写目标数据采集函数

这一步我们需要使用lxml模块中的etree来提取目标标签,继续将我们的逻辑输入到注解注释中,然后回车。

# 使用etree模块提取网页响应中的所有标签

# 使用etree模块提取网页响应中的所有标签

爬虫代码是什么意思_爬虫编写_

打印()

至此,目标博客标签已经初步提取出来。 接下来,将再次提取标题和超链接地址。 这里的注释需要写得尽可能清楚。 如果你对爬虫技术栈有一定的了解,你会发现这里代码编写速度加快了。 影响。

爬虫编写__爬虫代码是什么意思

步骤 3:将数据保存到 csv 文件中

写文件的逻辑是一个常见的操作。 如果直接输入功能需求,相信会直接生成。 输入参考注释如下:

爬虫编写__爬虫代码是什么意思

()函数调用被放置在上面的循环中来完成这一步。 再次运行代码,就会在爬虫目录下生成对应的文件。 打开文件即可获取目标数据。 效果图如下图。

爬虫编写__爬虫代码是什么意思

至此,一个简单的爬虫就已经写好了,但是我们的工作还没有完成。 我们需要继续优化这个程序。

第四步:将收集到的数据发送至163邮箱

输入注释: # 编写一个邮件发送函数,将刚刚生成的.csv文件发送到指定邮箱。 它将帮助我们立即生成参考函数。 实际效果如下图所示。

爬虫编写__爬虫代码是什么意思

将上述代码中的账号和密码修改为您的真实数据,即可一键发送邮件。

当您打开收件箱时,您可以看到刚刚发送的电子邮件已成功发送。 它为我们提供了邮件发送的实现,您可以在其基础上进行修改,以满足您的个性化需求。

_爬虫代码是什么意思_爬虫编写

使用总结

在博客的一开始,我就提出了编码过程中几个比较麻烦的问题,特别是第二个。 程序员在编码过程中总是出去寻找代码示例和文档手册,从而打断了编码思路,也就完美了。 这个问题就解决了。 在编码过程中,自动提供编码建议。 同意就用,不同意就放弃,真正实现沉浸式编程。

另外,还可以根据代码和注释生成新的业务代码。 尤其是当我们的工程师接触到一个新的模块时,他可以很快地生成示例代码,并且生成的代码与我们的编码风格非常相似,甚至编码风格和命名约定都完美学习。 在编码过程中,会自动为我们的代码提供注解引用,让我们能够将更多的精力投入到业务逻辑上。

只要使用它,几分钟后,您就会深深感受到编码效率的提升!

上一篇: 中国前首富被自家APP骂?

發佈評論:
  名字:   驗證碼:

  相关新闻
广告位
闽ICP备15016134号-3   Copyright © 2017-2018   
Copyright © 2017 微商网 www.shixunjie.cn 版权所有 青鸾传媒
统计代码