Summary of autumn term in the third college

本文最后更新于：7 个月前

学业

大三老狗了，已经对学业厌倦了，不过还是先康康这学期学了些啥

数值分析，数学系 bcl 老师的，老师人非常好，课间经常到座位上一个一个问我们上课情况，每章留一次作业，还有两次写代码的大作业，分别是解线性方程组和插值，都不算很难。期末复习的时候把《数值分析基础》整本书刷完，其实书上讲得蛮详细的，看完的话问题也不是很大，期末最难的一道使用拉格朗日插值证明恒等式的题目也就是书后的练习题。

期末复习的时候发现 GPT-4-All-Tools 基本能解决大部分问题，这里写了一份数值分析笔记以及往年题解析。据说这是老师第一次开课时的卷子，平均分惨不忍睹，但 GPT-4 十拿九稳，~~说明这门课就应该取消，LLM 能办的事情就不用人来操心了~~，这次期末考完回来用 GPT-4 验算的时候发现自己还算错一道题。。。

计算机组成原理，软院 yz 老师的，老师人也非常好，喜欢对同一个知识点过很多 epoch，属于慢热型，上课内容和作业参考 CSAPP，主要讲了信息是怎么编码在计算机中的、编译器是如何操纵运行代码的，Y86 指令架构是如何设计并运行的、高速缓存机制是什么、如何优化代码增加运行速度这几方面。

这课的确是原理课，上课过程中回想起大一大二犯的一些错误：

程序设计基础：编译大作业最终代码的时候一直不懂报一百多个有关 vector size() 的 warning，现在才知道这是一个 unsigned_int 类型，和其余 int 作用时会全部转为 unsigned_int，编译器会警告这类转换
数据结构：写 kd 树以 \(\mathcal{O}(\sqrt{n})\) 返回所在区间，判断两个 int 变量大小关系写成 return (a - b) >= 0，没有考虑到溢出的情况，在最后一次提交十成测试时才发现修改过来
算法分析与设计基础：在编写各种字符串匹配算法，如 KMP、BM 算法时，加入不同 -O1 优化等级能出现完全不同的测试结果，编译器还是很聪明的

课程有几次小作业，以及三个 CSAPP 的大作业，分别涉及位级编码运算、Buflab、Y-86 框架实现，Y-86 的框架比较老了，环境配置还挺麻烦，不过作业都还算好写。

统计推断，数理基础课组中的课，如果不上这门课的话，就只能上泛函分析、微分几何、数理方程这些硬课，不是课程上不起，而是科研更有性价比。不过这课还是挺有趣的，介绍了充分统计量、完全统计量，学会了如何估计一个点，估计区间，以及使用各种检验接受或者拒绝原假设。课程还是非常有应用价值，之前有个验证 GPT-4 变懒的文章就用了假设检验，以及孟德尔🫛实验数据也可以检验性状比是否符合 \(9:3:3:1\)。

英语进阶读写，phm 老师的课程，老师人非常 nice，考核对我这种英语不好的比较友好，虽然到期末背的比较多，体验还不错，老师上课喜欢讲许多其他领域的知识，很有趣。或许是之前发生过什么事吧，老师上课有点过于谨慎了哈哈。

软件工程探索与实践(1)，书院专属课程，软件学院四个研究所每个所出一个老师介绍自己的研究方向，这学期是 zxb 老师和 wjl 老师。

前半学期学习网络安全，在模拟平台上复现一句话木马、系统漏洞、中间人攻击等等，还是很有趣的。期中拿着其余同学攻击的数据进行分析，不得不说手工分析还是很难的，日志文件太多了而且相互之间联系紧密，其实到最后就直接搜索可疑指令还原攻击场景了hh，向那些防守 or 溯源的“红客”们致敬！所以当黑客还是难，想干点坏事还是挺容易的，但干了坏事不留痕迹难如登天。

后半学期学习物联网，讨论了目前网络编码信息、发送信息、解码信息中间的技术细节，有关傅立叶变换、正交复用、卷积等内容，以及老师上课讲了降噪耳机的原理，非常妙！期末大作业是写一组程序把一个长度为 50 的随机字符串编码成音频，用手机播放，在距离 1m 处的电脑接受音频并解码对。调试的过程非常曲折，如果所有声音的振幅一样，那么由于噪声就很难精准定位第一个比特对应的位置，并且只要错位 1 个比特整个字符串就崩溃了。开始想使用纠错码，但发现错位后根本无法纠错，因为 0 1 概率几乎是随机的，之后想到使用不同的振幅并切分 batch，每次相当于前后“夹击”定位中间的信息片段，经过不断地调试，最终发送并解码字符串匹配率 \(100\%\)。

科研

欢迎关注我们在 2023 年暑假期间的工作 AgentTuning ～😊（以下是朋友圈原文）

欢迎关注 star ⭐️ 我们最新的 Agent 方向工作 AgentTuning

现有 Agent 系统大多基于 GPT-3.5/4 开发，开源模型即便是 Llama2-70b 也几乎无法胜任大多数 Agent 任务。

AgentTuning 旨在提升 LLM 的 Agent 能力，通过结合 6 个 Agent 任务的高质量交互轨迹和通用指令数据对 Llama 2 进行微调，我们得到 AgentLM 系列模型。AgentLM 展现出强大的泛化性，AgentLM-70B 在分布外 Agent 任务可与 GPT-3.5-turbo 媲美（+176% vs Llama2-70b），同时依然保留通用对话能力。我们开源所有数据和模型，希望 AgentLM 能成为 Agent 任务开发的有力开源替代。

网站：https://thudm.github.io/AgentTuning

论文：https://arxiv.org/abs/2310.12823

代码：https://github.com/THUDM/AgentTuning

模型：https://huggingface.co/THUDM/agentlm-70b

数据：https://huggingface.co/datasets/THUDM/AgentInstruct