2024年终总结
我向来是没有这个习惯的,但是今年发生的事情实在太多了,如果这么重要的一年都不写点东西记录下来以后会很遗憾的!但是诶诶,我怎么一摸到键盘就没活了。。。
我向来是没有这个习惯的,但是今年发生的事情实在太多了,如果这么重要的一年都不写点东西记录下来以后会很遗憾的!但是诶诶,我怎么一摸到键盘就没活了。。。
南大的 OS Lab 还挺有意思的,这个 M2 是用 C 语言写一个小的有栈协程库,虽然比不上工业级协程库,但也是加深了对不少东西的认识,搓出来还是比较有成就感的。回头再讲一下有栈/无栈协程和协程怎么用罢。
最近在嗯看 shared memory(共享内存), 感觉要似了。这是一种 ipc 手段(不是 cuda 那个啦),具体来讲是通过将不同进程的虚拟地址映射到同一块物理内存,从而让这块内存能够被跨进程访问。由于通信实际上就是直接 memcpy, 速度上会比较快,但是需要一些跨进程同步手段(比如信号量之类),这方面会比较难写。下面具体讲讲罢。
Transformer是一个基于自注意力机制的深度学习模型,它完全摒弃了传统的RNN和LSTM结构,而是完全依赖于注意力机制来捕获序列中的依赖关系。
自从2017年被Vaswani等人在论文《Attention Is All You Need》中提出后,已经成为了NLP领域乃至整个AI领域的一个重要里程碑。它的出现为Seq2Seq的任务带来了革命性的变化,特别是在机器翻译、文本摘要和问答系统等领域。如今,绝大部分NLP领域的SOTA模型,如GPT、BERT等,都是基于Transformer。
这个 Lab 对应的是 CSAPP 第 6 章,首先是手写一个缓存模拟器,然后去优化一个矩阵转置。