如何搭建一个神经元
实现方法
神经元(Neurons):它是神经网络的基本单元。神经元先获得输入,然后执行某些数学运算后,再产生一个输出。比如一个2输入神经元的例子:
实验二:词频统计与可视化
实验二:词频统计与可视化 Design by W.H Huang | Direct by Prof Feng
1 实验目的通过本次实验,你应该:
熟悉 hadoop+ Spark下编程环境
掌握基于Spark的基本MAP REDUCE 操作
掌握基本大数据可视化工具
独立完成本次青年群体择偶观分析实验
【新增】远程开发相关知识
本次实验需小组内分工合作完成两个任务:
WordCount 词频统计
你将会使用到 jieba 分词 & 基于 pySpark 的基本 MAP REDUCE 操作进行词频统计,在指定数据集上大数据分析青年群体择偶观倾向。
大数据可视化
你将使用 echars & WordCloud 两个可视化库来进行大数据可视化,小组独立完成核心代码编写、测试。
2 实验准备2.0 成绩说明本次实验,根据各位同学选择的不同环境搭建方式,不同的成绩分数说明如下。
【注】本次实验不要求使用分布式。
实验环境
最高分
云服务器
100
VM虚拟机
95
在本次实验我们给予学有余力的同学,在完成本次实验的基础上提出了扩展要求。
...
Brigram模型用于预测
1、 基于训练语料,训练一个基于字的Bigram语言模型。当用户输入某个字序列,程序可以自动推荐该序列的后一个字(依次列出概率最大的5个可能字选项),根据提示用户选择某个字后,程序可以继续推荐下一个字的列表。例如:输入“长江大”,程序猜测下一个可能的字为“桥”、“河”、“学”、“道”等。
要求:(1)要求至少使用一种平滑方法。(2)提交电子文档一份(word),内含两部分内容:程序源码文本,程序运行结果截图(至少包含三个测试语句运行结果);(3)同时提交源程序文件(可采用任意语言开发)。
在这里我使用的是美团评论的数据集,具体地址找不到了。主要是为我们国创项目来学一些比较新的东西,然后基于老师的作业来做的一些东西。希望大家只是借鉴,要有自己的灵感,也欢迎交流!后续会周更
12345678910111213141516171819202122232425262728291.#构建数据库,并将最终数据库保存为一个npy文件!2.doubleWords = {} 3.def train02(filename): 4. ...
云服务器远程连接失败处理
某天晚上突然遇到这个问题,远程连接怎么也连接不上,后来查了很多资料,终于发现了问题所在。具体如下
我们在华为云网页打开使用VPN登录,并在命令行下输入如下命令:
这个时候我们会发现如上问题,network和NetworkManager都没开。
而NetworkManager 是一个为系统提供检测和配置功能以便自动连接到网络的程序。NetworkManager 的功能对无线和有线网络都很有用。对于无线网络,NetworkManager 偏好已知的无线网络,并能切换到最可靠的网络。能感知 NetworkManager 的应用程序可以切换在线和离线模式。这个可能是导致我们出现问题的最大弊端之一
解决方法,请输入如下命令即可
1systemctl enable NetworkManager
使用Numpy存字典类型文件时再调用改文件时可能出现的问题
12345678910import numpy as npexample_dict = {(1, 0): 1, (1, 1): 2, (2, 0): 3, (2, 1): 4}np.save('filename', example_dict)loaded_dict = np.load('filename.npy', allow_pickle=True)print(loaded_dict) # Works just fine, prints out the example dictprint(type(loaded_arrs)) # Outputs <class 'numpy.ndarray'>print(loaded_dict.shape) # Outputs ()print(loaded_dict[(1, 0)]) # Does not work, Error below
输出如下:
1234{(1, 0): 1, (1, 1): 2, (2, 0): 3, (2, 1 ...
Wsl2 Linux子系统搭建
1.使用WSL的优点:
(1)与在虚拟机下使用 Linux 相比,WSL 占用资源更少,更加流畅
(2)WSL 可以对 Windows 文件系统下的文件直接进行读写,文件传输更方便;
(3)剪贴板互通,可以直接在 Windows 下其它地方复制文本内容,粘贴到 WSL;
2.开启WSL支持:
使用管理员权限的Shell才能安装WSL。
(1)按下 Win+X,找到 Windows PowerShell (管理员),并复制执行命令。
1Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Windows-Subsystem-Linux
以上命令会激活 WSL 服务,然后需要重启系统
重启之后,Win + R,输入 appwiz.cpl,左上角找到“启动或关闭 Windows 功能”,会看到这个选项处于选中状态。(备注)
备注:
其实吧,上面的命令就相当于手动去勾选这个功能。直接命令执行效率可能更高些。
3.安装WSL发行版
在 Windows 应用商店搜索 ubunt ...
机器学习:对数几率回归简写
一个简单的对数回归实例
问题: 求西瓜数据集3.0上对数几率回归的结果
LogisticsRegression类
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152import numpy as np#逻辑回归模型class LogisticsRegression: def __init__(self): ''' 初始化逻辑回归模型 θ向量 ''' self.theta = None #定义sigmoid函数 def sigmoid(self,x): ''' :param x: 转换前的输入 :return: 转换后的概率 ''' ...
实验一:环境搭建
1 实验目的
本次实验预估耗时较长,因此将给出所有详细步骤,如若不能及时完成可在课后完成。
通过本次实验,你应该完成以下部分:
组内合作完成 Hadoop & Spark单机版环境搭建
组内合作完成 Hadoop & Spark分布式环境搭建
最终需搭建相关详细环境如下:
操作系统:centOS 7.6.64
图形界面:GNOME
语言环境:python 3.6.8
相关软件:Hadoop 2.8.5 、Spark 2.4.4
2 实验准备本次实验将详细介绍三种方式来搭建 Hadoop & Sapak分布式环境 :
云服务器分布式搭建
伪分布式搭建
多台机器分布式搭建
考虑到大家IP是动态分配(DHCP), 没有使用固定IP。使用第三种方式 多台实际机器搭建 不方便。因此推荐大家使用前两种方式:云服务器分布式搭建、伪分布式搭建进行环境搭建。
3 云服务器分布式搭建
出于最简化演示目的,本次搭建将采用两台云服务器进行Hadoop+Spark 详细搭建记录。
:slightly_smiling_face: 如果小组成员>2,分布式搭建过 ...
实验零:Linux 初识
1 实验目的
:cloud_with_lightning: 本次实验并非系统介绍Linux系统理论知识,注重实操 ,而且是针对后续实验需要用到Linux相关知识,而特别设计的实验。
通过本次实验,你应该:
安装Linux系统环境,了解云服务器相关知识;
掌握Linux基本知识,如:vim 的操作使用、Linux系统常用命令、用户与权限相关知识等;
相关工具FTP、SSH 等使用。
或许你是第一次接触Linux,相信会给你带来不一样的体验。接下来让我们正式进入实验环节吧。
2 实验准备2.0 计分说明在正式开始接触Linux前,我们需要搭建好Linux平台。
一般而言,我们有三种方式选择安装Linux系统。在大家正式选择前,先和同学们罗列一下各个选择的利弊。
Linux平台选择
最高分
优点
缺点
备注
云服务器
-
1.后续所有相关实验最高分按100计算
1.分布式会出现较多的网络、病毒攻击问题 2.会涉及到更多端口、网络问题比较难Debug
推荐
虚拟机VM
-
1.后续涉及到分布式实验问题会少很多,特别是网络、端口问题 2.操作相比云服务器更简单
1. ...