Nastul's Blog

we coding design and change the world.

记录 - Basic Python

"Traditional NLP"

#!/usr/bin/env python3 # -*- coding: utf-8 -*- 虽然代码最近两年一直都用的python, 但是都是现查文档,现写,所以记录下基本的东西在这里 input() 读取输入的str Python 中的基本数据类型: Number, 数字类型,包括了 整数 (int,hex,bin) 浮点数(float, double 这里有...

记录 - Basic Python

"Code"

#!/usr/bin/env python3 # -*- coding: utf-8 -*- 虽然代码最近两年一直都用的python, 但是都是现查文档,现写,所以记录下基本的东西在这里 input() 读取输入的str Python 中的基本数据类型: Number, 数字类型,包括了 整数 (int,hex,bin) 浮点数(float, double 这里有...

LeetCode Two-Add Two Numbers

"Algorithm"

Add Two Numbers 两个链表求和 构造链表 class ListNode: def __init__(self, x): self.val = x self.next = None #实例化链表 node = ListNode(2) tail = node tail.next = ListNode(4) tail=tail.next...

LeetCode One 2Sum

"Algorithm"

Two Sum 蛮力求解: 遍历所有的变量的和,得到target Time: Space: class Solution: def twoSum(self, nums: List[int], target: int) -> List[int]: for i in range(len(nums)): for j in range...

NLP Word2vec

"Traditional NLP"

One-Hot 每一个单词用向量中的一维来表示,会导致维度灾难的问题 后来就有了Distributed representation来表示,将one-hot 编码映射到一个较短的词向量。通过训练。 Word2Vec CBOW && Skip-gram 一个数据集小的情况,一个数据集大的情况。 CBOW是周围的单词预测目标单词, SKip 目标单词预测周围单词。

HMM Hidden Markov Model

"Traditional NLP"

通信的本质就是一个编解码和传输的过程。 随机过程中各个状态的概率分布只与前一个状态有关。 某一个状态只由前一个状态决定,这就是一个一阶马尔可夫模型。而像天气这样,天气状态间的转移仅依赖于前 n 天天气的状态,即状态间的转移仅依赖于前 n 个状态的过程。这个过程就称为n 阶马尔科夫模型. 两个基本假设,三个基本问题。 齐次,观测独立。 概率计算,学习,预测。 1.概率计算问题 输入:...

NLP Pytorch Linear Reg

"Traditional NLP"

In Pytorch 写了两次, 第一次数据量大的时候就会出现loss nan, 原因是因为没有做特征缩放,导致爆炸。 特征缩放,可以都直接映射到[0,1] 但是会存在 sensitive to outlier import matplotlib.pyplot as plt import numpy as np import torch import torch.nn as nn impo...

PRML Read Note Tree -Exponential Family Distribution

"Traditional NLP"

Exponential Family Distribution 可以划分成指数形式的分布:p(x \eta )=h(x)g(\eta )exp(\eta ^{T}u(x)) 确保了概率分布是归一化的。 伯努利分布,写成指数的对数,得到的u 就是logistic sigmoid函数, 多项式分布-> softmax,归一...

NLP With Pytorch Note Two

"Traditional NLP"

Corpora, Tokens, and Types 原始文本是字符(字节)序列,但是大多数时候将字符分组成连续的称为令牌(Tokens)的连续单元是有用的。在英语中,令牌(Tokens)对应由空格字符或标点分隔的单词和数字序列。将文本分解为令牌(Tokens)的过程称为令牌化(tokenization)。世界语的句子,”Maria frapis la verda sorĉistino,“1...

NLP With Pytorch Note One

"Hello Coding, Hello World "

Some Definitions: • Words     * Sequence of characters with a meaning and/or function • Sentence     * “The student is enrolled at the University of Melbourne.” • Word token: each instance of “the”...