学习笔记

各位牛友大家好！近期准备具身智能/机器人/控制类算法岗的同学，是不是经常被面试官追问 PPO 的截断机制、贝尔曼方程的手推，或者 DDPG 和 TD3 的区别？为了复习这些硬核考点，我整理了一份 200 页的强化学习笔记。没有废话，全是面试和手撕代码最爱考的底层数学原理与算法架构，现免费分享给大家当复习资料！笔记提纲速览：👉 核心数学推导篇（夯实基础）：MDP与贝尔曼公式：吃透状态价值与动作价值的推导。DP / MC / TD 对比：从值迭代/策略迭代，到蒙特卡洛，再到 Sarsa 和 Q-learning 的收敛性分析及区别。PG与AC定理推导：重点整理了策略梯度的目标函数计算，以及 Ac...

搬砖了也两个多月了，虽然一直在写 React 的代码，但很多都是写写 useState 或者 setState 更新下数据，然后在TSX里面用大括号包着展示下数据，或者传个 props，或者后端提供接口过来，写个网络请求的接口什么的。简单的需求也不可以一直写下去的是吧，这样对个人成长帮助不大。所以，为了迎接今后更加困难的挑战，我决定补一下 React 基础和 JavaScript 进阶。关于学习方式，React 的文档我一直也在看，只不过笔记不好做，因为你会发现文档里面到处都是重点。犹豫的时候第一时间就想到了我的前端大导师：coderwhy老师。其实他的React这门课我去年暑假就买了，Vue3那门我也买了。但一直放着吃灰，因为当时没时间看啊。终于，今天它有用武之地了。今天周末看完第一课，coderwhy 老师 yyds！深入浅出，循序渐进，讲得很细适合新手。工作前在看 coderwhy 视频，工作后还在看...在这更新下我上课做的笔记吧，方便今后回顾，感兴趣的可以看看：https://juejin.cn/column/7281840911796781068

4 - 集合篇4.1 集合基础4.1.1 算法复杂度**时间复杂度：**表示算法的执行时间与数据规模之间的增长关系。常见：O(1)、O(logn)、O(n)、O(n^2)、O(n!)。 找出算法中重复执行的基本操作，如循环、递归等。分析基本操作在不同输入规模下的执行次数。将基本操作的执行次数用大O表示法表示出来，忽略常数因子和低阶项。**空间复杂度：**表示算法的存储空间与数据规模之间的增长关系。常见：O(1)、O(n)、O(n ^2)。 找出算法中使用的额外空间，如变量、数据结构等。分析额外空间在不同输入规模下的使用量。将空间使用量用大O表示法表示出来，忽略常数因子和低阶项。4.1.2 Li...

1. 方法 在 C# 中，方法定义的格式如下： [访问修饰符] <返回值类型> <方法名> ([参数列表]) { // 方法体; }  “[ ]”中括号意为选填项。 下面是对上述语法的解释：   [访问修饰符]：指定方法的访问级别，可以是public、private、protected、internal等。访问修饰符决定了方法可以被哪些其他代码访问。   public：公共访问修饰符表示成员可以从任何地方访问，没有访问限制。   private：私有访问修饰符表示成员只能在声明它们的类或结构中访问。私有成员对于类外部是不可见的。   protected：受保护访问修饰符...

UCD (User Centred Design)作为ISO92400标准的一部分，以用户为中心的设计（UCD）是软件行业为关注用户的开发者制定的一种实践方法。它提供了一个流程，通过提高产品交互中的可用性、可访问性和愉悦感来增强用户满意度。UCD采用：调查方法（如调查和访谈）生成方法（如头脑风暴）和工具构造方法（如构建原型）评估方法（如测试）The Six HatsThe Double Diamond Model双钻模型清晰地向设计师和非设计师传达了一个设计流程。两个钻石分别代表了广泛或深入探索问题（发散思维）和采取聚焦行动（收敛思维）的过程。发现（Discover）：第一个钻石帮助人们理解问...

1.1 网络基础1.1.1 TCP/IP 网络模型有哪几层？1.1.1.1 应用层功能：应用层是最靠近用户的一层，它提供了用户与网络的接口，使得用户可以通过应用程序访问网络服务。协议：HTTP (网页浏览)、HTTPS (安全的HTTP)、FTP (文件传输)、SMTP (邮件发送)、POP3 (邮件接收)、DNS (域名解析) 等。作用：应用层负责处理特定应用程序的细节，如数据格式、传输方式等。1.1.1.2 传输层功能：传输层负责在网络中的两个节点之间提供可靠的数据传输服务。协议：TCP（传输控制）和UDP（用户数据报）。TCP提供可靠的、面向连接的服务，而UDP提供不可靠的、无连接的服务...

1. 什么是类？ 在C#中，类（Class）是一种重要的概念，它是面向对象编程的基本构造块之一。类用于定义对象的结构和行为，并作为对象的模板或蓝图。 类具有以下特点：   对象的模板：类是用于创建对象的模板。它定义了对象的属性（字段）和行为（方法），以及可能的初始状态（构造函数）和销毁操作（析构函数）。   封装性：类提供了封装机制，将数据和相关的操作（方法）封装在一起。这样可以隐藏内部实现细节，只暴露对外的接口，提高代码的可维护性和安全性。   继承性：C#中的类支持继承关系。一个类可以派生出一个或多个子类（派生类），从而继承父类（基类）的属性和行为。通过继承，子类可以扩展、修改或重写父类的...

关于HashMap和HashSet区别的最后一行内容的修正：(修正的内容只是自己对Java8-HashMap源码的理解，如有错误之处，还请各位大佬，不吝指教)HashMap和HashSet在存储一个新元素时，计算hashcode的方式都是通过调用HashMap中的put()方法去进行的，然后在找到对应的插入位置，在这之前二者没有什么区别，但是在对插入位置上存在相同元素的处理上就出现了不同：HashMap在存储一个新元素时调用的是put()方法，如果这个元素已经存在了，那么HashMap的put()方法会将新元素把就元素覆盖掉，然后返回旧元素；HashSet在存储一个新元素时调用的是add()方...

1. 面向对象 1.1 面向对象概念 在C#中，面向对象编程（Object-Oriented Programming，简称OOP）是一种编程范式，它将程序中的数据和操作数据的方法组织为对象，通过相互之间的交互来实现程序的功能。 面向对象编程的主要概念包括类（Class）、对象（Object）、封装（Encapsulation）、继承（Inheritance）和多态（Polymorphism）。   类（Class）：类是面向对象编程的基本构建块，它定义了一个对象的属性和行为。类可以看作是对象的蓝图或模板。在C#中，可以使用class关键字定义类。   对象（Object）：对象是类的实例化结果...

笔记07｜发掘优势，确定产品定位什么是产品定位？ 产品的用户是谁？ 产品能满足用户在哪些场景下的什么需求？ 产品的核心能力是什么？ 产品的边界在哪里？ 如何定位？ 产品、渠道、生态08｜确定产品的商业化模式互联网常见的商业模式：直接售卖、增值服务、流量变现【比—产品策略模块】避坑指南避免为了竞争而竞争 避免为了商业化收入，损害用户体验09｜紧盯产品需求的管理目标需求规划三步法锚定目标（极致满足用户需求；留住用户，落地生根；巩固商业模式；建设产品的影响力） 围绕目标，多角度判断需求价值（定性评估：用户价值、商业价值、社会价值；定量评估：A/B Test、建立产品自身的价值评估模型）基于目标，制定...

第五集-匠心对核心能力的持续打磨耐得住寂寞，坚持产品信念不动摇关注细节，追求极致用户体验第六集-危机危机的来源技术和环境的变化用户的变化团队自身能力局限如何应对危机？对技术和环境的变化保持敏感密切关注用户的变化跳出舒适区，主动变革第七集-合作产品团队内部合作跨团队合作--市场化的合作方式构建产品生态第八集-商业化产品能为用户提供价值基于场景挖掘商业模式商业化不能损害用户体验

1. 引用方法 委托是寻址方法的 .NET 本。在 C++ 中，函数指针只不过是一个指向内存位置的指针，它不是类型安全的。我们无法判断这个指针实际指向什么，像参数和返回类型等项就更无从知晓了。而 .NET 委托完全不同；委托是类型安全的类，它定义了返回类型和参数的类型。委托类不仅包含对方法的引用，也可以包含对多个方法的引用。 lambda 表达式与委托直接相关。当参数是委托类型时，就可以使用 lambda 表达式实现委托引用的方法。 2. 委托 委托只是一种特殊类型的对象，其特殊之处在于，我们以前定义的所有对象都包含数据，而委托包含的只是一个或多个方法的地址。 在C#中，委托（Delegate...

在 C# 中，对象（Object）和类型（Type）是面向对象编程中的重要概念。 对象是一个实际存在的实体，它具有特定的属性和行为。在 C# 中，所有的数据都是通过对象来表示和操作的。对象可以是事物的具体实例，也可以是抽象的概念或概念模型的实例。 类型是对象的蓝图或模板，用于定义对象的结构和行为。每个对象都属于一个特定的类型，它决定了对象可以具有的属性和可以执行的操作。在 C# 中，类型可以是内置类型（如整数、浮点数等，在 C# 基础篇中有简单的介绍），也可以是自定义的类、结构体、接口或枚举。 C# 是一种强类型语言，这意味着每个对象都有一个确定的类型，并且类型在编译时就已经确定，不能随意更改...

1. 泛型概述 有了泛型，就可以创建独立于被包含类型的类和方法。我们不必给不同的类型编写功能相同的许多方法或类，只创建一个方法或类即可。 另一个减少代码的选项是使用 Object 类，但使用派生自 Object 类的类型进行传递不是类型安全的。泛型类使用泛型类型，并可以根据需要用特定的类型替代泛型类型。这就保证了类型安全性：如果某个类型不支持泛型类，编译器就会出现错误。 泛型不仅限于类，还有用于接口和方法的泛型。 下面几节介绍泛型的优点和缺点，尤其是：   性能   类型安全性   二进制代码重用   代码的拓展   命名约定   1.1 性能 泛型的一个主要优点是性能。 对值类型使用非泛型集...

1. 简单数组 当需要存储多个相同类型的元素时，C# 数组是一种非常常用的数据结构。数组是一种固定长度的数据结构，它由连续的内存单元组成，每个内存单元存储一个元素。 1.2 数组的声明 // elementType[] arrayName; // elementType 是数组中元素的类型，arrayName 是数组的名称 int[] myArray;  1.3 数组的初始化 静态初始化：指定数组元素的初始值。 // elementType[] arrayName = { value1, value2, value3, ... }; int[] myArray = { 1, 2, 3 };  ...

1. 什么是结构 在C#中，结构（Structure）是一种用户定义的值类型（Value Type）。它类似于类（Class），但有一些重要的区别。 结构在C#中用struct关键字定义，并且通常用于表示简单的数据结构，如坐标、日期、时间等。与类不同，结构是值类型，而不是引用类型。这意味着结构的实例在被赋值或传递给其他变量时会被复制，而不是传递引用。 结构的特点包括：   值类型：结构是值类型，它存储在栈上，并直接包含其数据。当结构被赋值给另一个变量或作为参数传递时，将进行值的复制。   默认构造函数：结构可以有自己的构造函数，但如果没有显式定义构造函数，编译器会为其提供一个默认的无参构造函数...

hashmap和hashtable，一个线程不安全，一个线程安全，一个key可以存储一个null值，value可以存储null值，一个key和value都不允许存储null值，现在基本不用hashtable了使用线程安全的话可以使用concurrenthashmap，底层也是数组+链表或红黑树。concurrenthashmap乐观锁悲观锁都有用到，当插入该数组中是空的时候使用volatile和cas(乐观锁)，当插入的位置已有值的时候，使用synchronized(悲观锁)，判断是否同一个key，同的话新值替换旧值，不是同一个key，直接添加到链表的前端。

1. 概述 前面介绍了数组和 Array 类实现的接口。数组的大小是固定的。如果元素个数是动态的，就应使用集合类。 List 是与数组相当的集合类。还有其他类型的集合：队列、栈、链表、字典和集。其他集合类提供的访问集合元素的 API 可能稍有不同，它们在内存中存储元素的内部结构也有差别。本文将介绍所有的集合类和它们的区别，包括性能差异。 2. 集合接口和类型 大多数集合类都可在 System.Collection 和 System.Collection.Generic 名称空间中找到。 泛型集合类位于 System.Collection.Generic 名称空间中；专用于特定类型的集合类位于 ...

1. 运算符 1.1 运算符的简化操作 为什么用两个例子来分别说明 ++ 递增和 -- 递减运算符？把运算符放在表达式的前面称为前置，把运算符放在表达式的后面称为后置。要点是注意它们的行为方式有所不同。 递增或递减运算符可以作用于整个表达式，也可以作用于表达式的内部。当 i++ 和 ++i 单独占一行时，它们的作用是相同的，对应于语句 i = i + 1。但当它们用于较长的表达式内部时，把运算符放在前面会在计算表达式之前递增 i；换言之，递增了 i 后，在表达式中使用新值进行计算。而把运算符放在后面会在计算表达式之后递增 i ——使用 i 的原始值计算表达式。 例子：   i++（后增量运算符...