技术前沿网

我们不支持 IE 10 及以下版本浏览器

It appears you’re using an unsupported browser

为了获得更好的浏览体验,我们强烈建议您使用较新版本的 Chrome、 Firefox、 Safari 等,或者升级到最新版本的IE浏览器。 如果您使用的是 IE 11 或以上版本,请关闭“兼容性视图”。
博客专区 - 技术前沿网社区

精彩阅读

  • 最新推荐

  • 今日热门

  • 本周热门

  • 每日一博

  • 最新文章

编辑部的故事

个性满满!那些有意思的艺术图像生成工具推荐

随着深度学习的快速发展以及技术的开源,越来越多的人开始接触和了解深度学习,也出现了越来越多的开源的深度学习项目。其中不乏一些非常有意思的项目,在帮助用户了解深度学习原理的同时,还能生成一些奇特、颇具艺术感的图像。 1、DeepDream DeepDream 是 Google 开源的用来分类和整理图像的 AI 程序 Inceptionism 。Google 把一个人工神经网络项目放到了互联网上“造梦”,它可以挖掘可视的数据,“增强”图像中某些部分,而且其特性是依靠自己的数据集来“识别”里面(的内容)。出图效果是朦胧的、旋涡状有噪点的彩釉色,里面的物体可以反复变化。 2、Neural style Neural style 可以说是一款画风迁移工具,就是让机器模仿已有画作的绘画风格来把一张图片重新绘制的算法。它将计算机算法和艺术相结合,可以将照片风格化为名家大师的画风,而且整个过程十分迅速,在笔记本 CPU 上十几秒就可以风格化一张图片。 3、Neural Doodle Neural Doodle 则是一款将涂鸦变成艺术画的工具。比如说随手涂鸦一幅画,它会使用深层神经网络借鉴真实艺术家的风格,将这幅画变成充满艺术感的画像。整个过程差不多类似于人脑对物体的解析和重构的过程。 4、Image Analogies Image Analogi...
编辑部的故事 发布于 20小时前 阅读 1618 评论 9 点赞 10

这个六足机器人想成为你的朋友和舞伴

一家创业公司创造了一个外形像昆虫的机器人,还为之打造了应用商店,并希望它能成为机器人界的iPhone。
宋庆离 发布于 1周前 阅读 331 点赞 1

【世界知名量子科学家加盟阿里】施尧耘出任阿里云量子技术首席科学家

量子技术领域重量级人物施尧耘已经确认加入阿里巴巴,担任阿里云量子技术首席科学家。施尧耘教授在阿里巴巴的主要工作和角色是组建并负责阿里云量子计算实验室。施教授说,阿里云不仅强力支撑量子,也是未来量子应用的输出渠道。
OSC_Lucy 发布于 3周前 阅读 552

Vincross孙天齐:人机界面的突破将将引发科技革命

8月23—27日,世界机器人大会在北京举办,全球各国机器人领域的优秀企业悉数亮相,五花八门的机器人及产业链上下游最新技术均能在这次盛会上找到踪迹,整个会场充满了未来感与时代发展的气息。
宋庆离 发布于 1个月前 阅读 761

杭州云栖大会10月起航,这里有一份最全的大会剧透

10月11-14日,为期四天的2017杭州云栖大会将再度在杭州云栖小镇起航,作为全球最具影响力的科技展会之一,本届大会不仅有阿里集团专家以及各企业行业领袖的精彩演讲,众多黑科技也将集体亮相。
OSC_Lucy 发布于 1个月前 阅读 257

【合集】云栖大会珍贵技术资料:20+覆盖容器技术、智能工业、大数据、开源数据库等(下)

摘要: 云栖社区从几百位讲师中精挑细选了若干精华,其中涵盖了智能物流、大数据、开源数据库、智能工业、容器技术以及智能应用实践等。
OSC_Lucy 发布于 1个月前 阅读 438
小帅帅丶

Java分布式神经网络库Deeplearning4j 环境搭建和运行一个例子

deeplearning4j是一个Apache 2.0-licensed,开源的,分布式神经网络库编写的java和Scala。 开源的学习框架也不少,这么多大企业贡献了自己的部分产品,开源供大家学习研究和完善。例如:Tensor flow,caffe,Theano,Torch,Brainstorm,Chainer,Deeplearning4j 等等,其中Deeplearning4j 是基于 JVM 开发的机器学习工具,完全开源,天行支持JVM 上运行的程序,如:spark ,Hadoop 等。本文介绍一下 Deeplearning4j 的环境搭建,及运行一个官方的例程。
小帅帅丶 发布于 1个月前 阅读 1159 评论 1 点赞 3
小帅帅丶

调用腾讯优图开放平台进行人脸识别-Java调用API实现

调用腾讯优图开放平台进行人脸识别-Java调用API实现
小帅帅丶 发布于 1个月前 阅读 2635 评论 10 点赞 5

科技解放生产力之语音转换文字

语音转写,顾名思义就是把语音转换成文本 在实际的应用场景中,可以是讲演转文稿,可以是在IM工具交流,等等等等 可以说,这项技术的出现,极大的解放了生产力,提高了工作、沟通效率 今天这里拿出一个实例,大家一起看一看在这个应用场景中语音转文本所带来的便利 对于记者朋友来说,一场发布会后整理出文字稿件永远是第一主题 在以前,他需要在现场录制音频,回到单位后一句一句听写,纯人工转写,随后再一次形成报道 那么现在,他可以在现场直接调用服务,实时把语音转换为文字。回到办公室,他可以根据文稿直接形成报道 也或者他依旧用录音笔录制了现场的录音,在回办公室的路上,他把音频文件通过软件转换到了文本稿件,同样的,回到办公室,他只需要根据文稿形成报道 了解了这样的案例,今天要介绍的主角就可以闪亮登场了 IBM Watson! 你可能以为它只是一个简单的语音转文本的服务(接口),其实,它是一个标准的计算机认知系统! 让我们把时间退回到2011年,当时有这样一则报道 “2011年,Watson 在美国最受欢迎的智力问答电视节目《危险边缘》(Jeopardy)中亮相,一举打败了人类智力竞赛冠军。如今,Watson 已经发展为一个商业化、基于云的认知系统,应用到各行各业...
qwerttaa 发布于 1个月前 阅读 1853 评论 5 点赞 5

微信小程序——智能小秘“遥知之”源码分享(语义理解基于olami)

##微信小程序智能生活小秘书开发详解 **>>>>>>>>>>>>>>>>>>>>>>>> 欢迎转载 <<<<<<<<<<<<<<<<<<<<<<<<** **本文原地址:[http://blog.csdn.net/happycxz/article/details/75432928](http://blog.csdn.net/happycxz/article/details/75432928)** **“遥知之”微信小程序完整源码下载:** 码云:[http://git.oschina.net/happycxz/nlp_olami_yaozhizhi_wechat_littleapp_demo](http://git.oschina.net/happycxz/nlp_olami_yaozhizhi_wechat_littleapp_demo) CSDN: [http://download.csdn.net/download/happycxz/9919690](http://download.csdn.net/download/happycxz/9919690) github: [https://github.com/happycxz/nlp_olami_yaozhizhi_wechat_littleapp_demo](https://github.com/happycxz/nlp_olami_yaozhizhi_wechat_littleapp_demo) ###实现功能 实现一个智能生活信息查询的小秘书功能,支持查天气、新闻、日历、汇率、笑话、故事、百科、诗词、邮编、区号、菜谱、股票、节目预告,还支持闲聊、算24点、数学计算、单位换算、购物、搜索等功能。 使用方式上支持摇一摇、点界面按钮、手动输入、下拉刷新这四种方式。 ###扫码试用(左右皆可) ![小程序码小](http://img.bl...
墨墨迹 发布于 2个月前 阅读 302 评论 2
腾讯开源

Spark on Angel:Spark机器学习的核心加速器

Spark on Angel:Spark机器学习的核心加速器   Spark的核心概念是RDD,而RDD的关键特性之一是其不可变性,来规避分布式环境下复杂的各种并行问题。这个抽象,在数据分析的领域是没有问题的,它能最大化的解决分布式问题,简化各种算子的复杂度,并提供高性能的分布式数据处理运算能力。 然而在机器学习领域,RDD的弱点很快也暴露了。机器学习的核心是迭代和参数更新。RDD凭借着逻辑上不落地的内存计算特性,可以很好的解决迭代的问题,然而RDD的不可变性,却非常不适合参数反复多次更新的需求。这本质上的不匹配性,导致了Spark的MLlib库,发展一直非常缓慢,从2015年开始就没有实质性的创新,性能也不好。 为此,Angel在设计生态圈的时候,优先考虑了Spark。在V1.0.0推出的时候,就已经具备了Spark on Angel的功能,基于Angel为Spark加上了PS功能,在不变中加入了变化的因素,可谓如虎添翼。 我们将以L-BFGS为例,来分析Spark在机器学习算法的实现上的问题,以及Spark on Angel是如何解决Spark在机器学习任务中的遇到的瓶颈,让Spark的机器学习更加强大。 1. L-BFGS算法说明 2.L-BFGS的Spark实现 3.L-BFGS的Spark on Angel实现 3.1 实现框架 Spark on Angel借助Angel PS-...
腾讯开源 发布于 2个月前 阅读 368

使用Bluemix进行chatbot的开发总结

上周我们进行了一次使用Bluemix进行chatbot开发的活动,诸多开发者参与了这次活动,并对此次活动进行了总结。
宋庆离 发布于 2个月前 阅读 2847

FaceRank-人脸打分基于 TensorFlow 的 CNN 模型

## FaceRank-人脸打分基于 TensorFlow 的 CNN 模型 ## 隐私 因为隐私问题,训练图片集并不提供,稍微可能会放一些卡通图片。 ## 数据集 * 130张 128*128 张网络图片,图片名: 1-3.jpg 表示 分值为3 的第3 张图。 你可以把符合这个格式的图片放在 resize_images 来训练模型。 ## 模型 人脸打分基于 TensorFlow 的 CNN 模型 代码参考 : https://github.com/aymericdamien/TensorFlow-Examples/blob/master/examples/3_NeuralNetworks/convolutional_network.py ## 运行 安装好 TensorFlow 之后,直接运行 train_model.py. * 训练模型 * 保存模型到 model 文件夹 ## 测试 运行完 train_model.py 之后,直接运行 run_model.py 来测试. ## 下载 训练好的模型可以在以下网址下载: http://www.tensorflownews.com/ ## 模型效果 * 训练过程 你可以看训练过程: Train_Result.md ,这里有损失函数和准确率变化过程。 * 测试结果 结果并不非常好,但是增加数据集之后有所改善。 ``` (?, 128, 128, 24) (?, 64, 64, 24) (?, 64, 64, 96) (?, 32, 32, 96) ['1-1.jpg', '1-2.jpg', '10-1.jpg', '10-2.jpg', '2-1.jpg', '2-2.jpg', '3-1.jpg', '3-2.jpg', '4-1.jpg', '4-2.jpg', '5-1.jp...
feiwang 发布于 2个月前 阅读 564 评论 1

决策树是如何工作的

决策树算法属于监督学习算法系列。与其他监督学习算法不同,决策树算法也可用于求解关于回归和分类问题。
萝卜坑坑 发布于 2个月前 阅读 728

警卫机器人Steve只是需要一点小帮助

近日,由美国Knightscope公司研发的巡逻机器人在工作中不慎跌进水池的新闻在网络上引起轩然大波。一些媒体和网友嘲笑这个机器人行为笨拙,甚至开玩笑说它“有自杀倾向”。对此,机器人公司Vincross的CEO孙天齐发表了自己的看法,并从技术的角度解释了这个机器人为何会不慎落水。原文为英文,首发在其LinkedIn账户,此文为授权转载的译文。
Vincross 发布于 2个月前 阅读 456 评论 3 点赞 1

张志华:关于机器学习的领悟与反思

      近年来,人工智能的强势崛起,特别是去年AlphaGo和韩国九段棋手李世石的人机大战,让我们深刻地领略到了人工智能技术的巨大潜力。数据是载体,智能是目标,而机器学习是从数据通往智能的技术、方法途径。因此,机器学习是数据科学的核心,是现代人工智能的本质。       通俗地说,机器学习就是从数据中挖掘出有价值的信息。数据本身是无意识的,它不能自动呈现出有用的信息。怎样才能找出有价值的东西呢?第一步要给数据一个抽象的表示;接着基于表示进行建模;然后估计模型的参数,也就是计算;为了应对大规模的数据所带来的问题,我们还需要设计一些高效的实现手段,包括硬件层面和算法层面。统计是建模的主要工具和途径,而模型求解大多被定义为一个优化问题或后验抽样问题,具体地,频率派方法其实就是一个优化问题。而贝叶斯模型的计算则往往牵涉蒙特卡罗(Monte Carlo) 随机抽样方法。因此,机器学习是计算机科学和统计学的交叉学科。       借鉴计算机视觉理论创始人马尔 (Marr) 的关于计算机视觉的三级论定义,我把机器学习也分为三个层次:初级、中级和高级。初级阶段是数据获取以及特征的提取。中级阶段是数据处理与分析,它又包含三个方面:首先是...
louise 发布于 2个月前 阅读 2824
编辑部的故事

除了 Python ,这些语言写的机器学习项目也很牛(二)

Python 由于本身的易用优势和强大的工具库储备,成为了在人工智能及其它相关科学领域中最常用的语言之一。尤其是在机器学习,已然是各大项目最偏爱的语言。 其实除了 Python ,也不乏有开发者用其他语言写出优秀的机器学习项目。在上期的文章中(除了 Python ,这些语言写的机器学习项目也很牛(一)),我们已经列了一些其他语言(C、C++、Go、Java、Javascript)值得关注的开源机器学习项目,本期将针对 PHP、Ruby、Objective C、Swift、Scala 进行补全,同时应上期留言要求,在文末列了一些 .NET 平台上的机器学习项目。 1、PHP PHP-ML —— 机器学习库 PHP-ML 是 PHP 的机器学习库,同时包含算法、交叉验证、神经网络、预处理、特征提取等多种特性。要求 PHP 版本 > = 7.0 。 PHP-ML 提供的机器学习算法包括:关联规则学习(Apriori 算法)、分类器(SVC、KNN、贝叶斯)、回归(最小二乘线性回归、支持向量回归)、聚类(KMeans、基于密度的聚类算法)、矩阵运算相关(准确率、混肴矩阵、与分类相关的结论如精确度、召回率、F1 值、支持率)、模型运算管道(Pipeline)、神经网络(多层感知机)等。 2、Ruby Treat ——自然语言处理框架 Treat 是一个自然语言处理和...
编辑部的故事 发布于 3个月前 阅读 4318 评论 23 点赞 3
编辑部的故事

除了 Python ,这些语言写的机器学习项目也很牛

Python 由于本身的易用优势和强大的工具库储备,成为了在人工智能及其它相关科学领域中最常用的语言之一。尤其是在机器学习,已然是各大项目最偏爱的语言。 其实除了 Python ,也不乏有开发者用其他语言写出优秀的机器学习项目。在此,列出其中一些个人认为值得关注的开源机器学习项目。由于篇幅有限,考虑分多期整理。 1、C Darknet —— 神经网络框架 Darknet 是一个用 C 和 CUDA 编写的开源神经网络框架。它快速,易于安装,并支持 CPU 和 GPU 计算。 CCV  —— 计算机视觉库 CCV 是 C-based/Cached/Core Computer Vision Library 的简称, 它是一个现代的计算机视觉库。 CCV 是一种以应用驱动的算法库,比如对静态物体(如人脸)的快速检测算法、对某些不容易定位物体(如猫)的准确检测算法、艺术文本的检测算法、长期目标的跟踪算法和特征点检测算法。 2、C++ CNTK —— 深度学习工具包 微软出品的开源深度学习工具包,它把神经网络描述成一个有向图的结构,叶子节点代表输入或者网络参数,其他节点计算步骤。 CNTK 不仅使深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)和长短时记忆单元(LSTM)的实现变得非常容易,还支持多个 GPU 组合、服...
编辑部的故事 发布于 3个月前 阅读 7129 评论 22 点赞 12

IBM “第8格(Debug)”开发者技术沙龙首站招募中,有胆你就来! 

话说,在1947年9月9日,一只飞蛾(bug)钻进了IBM与哈佛大学合作制造的电子管计算机“马克2号”里。而此时正在对“马克2号”进行测试的科学家们发现机器总是无端出现故障,在无数次调试后,他们惊奇地发现罪魁祸首居然是这只卡在编号为70的继电器触点中的飞蛾。 这只飞蛾被仔细移除,并被贴在日记本上。幽默的科学家们灵机一动,这篇贴着“飞蛾(BUG)”的日志就此诞生,并把它记录为“首个发现bug的真实案例”。不仅如此,他们还提出了 “Debug”这个词,意为排除程序故障。 这个日记本至今仍保存于美国史密森尼国立历史博物馆中,飞蛾还完整地贴在上面。而它,也成为了这个世界上唯一一只流芳百世的昆虫。 流芳百世的Bug (图片来自网络) 女科学家格蕾丝·霍普(Grace Hopper)最早公布了这一“Bug”案例和“Debug”一词,后人又将其发展成为了计算机领域的专业行话。而霍普也因此被世人冠以“Debug 之母”的称号。其实,发现这只飞蛾(Bug)的科学家还包括同在该实验室的威廉姆·比尔·伯克。 智慧与美貌并存的“Debug 之母”——葛丽丝·霍普 (图片来自网络) 在25,468天后的今日,虽然没有出现另一个“Debug之母”,但一个名叫“第8格(Debug)”的开发者沙龙却悄然诞...
OSC_Lucy 发布于 4个月前 阅读 192

Watson人工智能实现创新实践分享-认知解决方案-刘咏梅

主题:快速、安全——可交付的企业级创新 1.      活动介绍: 来自IBM的技术大咖们将带着最新最潮的热点技术来到北京与中小微客户业务决策人进行一场精彩绝伦的线下交流。本次沙龙本着用前沿技术来解决中小微企业难题的初衷,重点讲述前沿场景案例,利用前沿技术/业务领域决策者着重优化过的议题内容,从解决客户实际痛点和开阔客户产品应用思路出发,让大家深入了解前沿技术的同时,把原本大家以为遥不可及的前沿技术应用到实际业务中去。此外,大家还有机会和技术大咖进行面对面的交流切磋,全方位了解和提高公司业务技能。 2.      主办方:IBM     协办方:技术前沿网 3.      活动时间:2017年5月20日下午13:30-17:00 4.      活动地点:北京市海淀西大街70号(中关村创业大街)3W咖啡2层多功能会议厅 5.      活动规模:50-60人 6.      有开发需求的中小微企业众包平台活跃用户, 码云活跃用户或者有意愿参与用户 7.      沙龙活动,嘉宾演讲&观众问答,有奖互动 ,我要报名! 8.      日程安排: 9.      嘉宾介绍: a)     胡香冬——IBM Bluemix解决方案架构师。2005年加入IBM中国软件开发中心,先后从事Rat...
OSC_Lucy 发布于 5个月前 阅读 447

PyTorch快速入门教程七(pytorch下RNN如何做自然语言处理)

上节中我们介绍了LSTM如何处理图像分类问题,本质上是将图像看成一个序列做处理,但是RNN的长处并不是做图像分类,而是做自然语言处理,本节讲解pytorch下RNN如何做自然语言处理。
earnpls 发布于 3个月前 阅读 136

2017 知乎看山杯机器学习挑战赛经验总结(一)

机器学习 挑战赛
qinhui99 发布于 2个月前 阅读 72 点赞 1

pyspider爬虫学习-文档翻译-About-Tasks.md

首次尝试读取源码的同时翻译文档,大家多多指正,勿喷
sijinge 发布于 1个月前 阅读 19
开拓者-2017

机器学习实战之第一章 机器学习基础

机器学习实战(Machine Learning in Action) 的第一章 机器学习基础
开拓者-2017 发布于 1个月前 阅读 8

Tensorflow 基本概念

tensor可简单的理解为多维数组,但是张量对象并未正真保存计算的结果值, 而是保存要获得这个值的计算过程。 import tensorflow as tf a = tf.constant([[1, 2, 3, 4, 5], [1, 2, 3, 4, 5]], dtype=tf.float32) b = tf.constant([[1, 2, 3, 4, 5], [1, 2, 3, 4, 5]], dtype=tf.float32) result = a+b print(result) with tf.Session() as session: b = session.run(result) print(b)   tensorflow  Graph: import tensorflow as tf # 新建一个计算图 g1 = tf.Graph() with g1.as_default(): v = tf.get_variable("v", [1], initializer=tf.zeros_initializer()) # 设置初始值为0 # 新建另一个计算图 g2 = tf.Graph() with g2.as_default(): v1 = tf.get_variable("v1", [1], initializer=tf.ones_initializer()) # 设置初始值为1 result = v1 + 1 # 新建一个session对话 with tf.Session(graph=g1) as sess: tf.global_variables_initializer().run() with tf.variable_scope("", reuse=True): print(sess.run(tf.get_variable("v"))) # 新建另一个session对话 with tf.Session(graph=g2) as sess: tf.global_variables_i...
marjey 发布于 3周前 阅读 14

matplotlib绘图基础

 sin函数绘图示例: import numpy as np import matplotlib.pyplot as plt from matplotlib.widgets import Cursor #np.arange()的用法,与range()的区别 #他们的用法相同,返回的对象类型不同 #range(5) 返回的是一个list: [0,1,2,3,4] #arange(5) 返回的是一个array: array([0,1,2,3,4]) #接收三个参数时,分别表示起点、终点、间隔 t = np.arange(0.0, 2.0, 0.01) #对t中的每个值求sin值 s1 = np.sin(2 * np.pi * t) #plot意为以图表画出,两个参数分别表示x/y轴的值 plt.plot(t, s1) #将光标放在图片上时,显示以光标为原点的十字轴 cursor = Cursor(plt.gca(), horizOn=True, color='r', lw=1) plt.show() matplotlib.pyplot子库 import matplotlib.pyplot as plt #可接收一个list作为参数,以list下标为x轴值,绘出一条直线 plt.plot([1,2,3,4]) #也可接收两个list作为参数,分别表示xy轴,绘出一条折线 plt.plot([1,2,3],[1,4,9]) #画散点图,加ro参数 plt.plot([1,2,3],[1,4,9],'ro') #同时画多个函数,第三个参数表示线的颜色,形状等属性 t = np.arange(0., 5., 0.2) plt.plot(t, t, 'r--', t, t**2, 'bs', t, t**3, 'g^') #指定坐标轴的范围参数:[xmin,xma...
bithup 发布于 2周前 阅读 3

pycharm 通过 SFTP 远程编辑项目的配置

pycharm 通过 SFTP 远程编辑项目的配置 {这个相当于代码同步,类似git上传,同步后你可以在服务器上直接运行上传的代码;这个配置好后,才能在pycharm远程调试时候将代码上传到服务器正确位置/正确路径上} 打开pycharm,File -> Settings…( Ctrl + Alt + s ) -> Deployment 点击 + 按钮,添加一个 设置连接 设置好IP、端口、用户名、密码, root path:/home/piting/mine/python_workspace, 就是打开remote host时候看到的运程主机的根目录。 Note: Root path 如/home/piting/mine/python_workspace这个路径要在远程服务器上存在,否则并不会自动创建和同步。 设置第二个标签页Mappings 设置本地路径和远程路径,本地路径最好是一个项目路径,直接映射到你想开发的项目中。 路径的解释: 右击项目名称,可以看到下拉菜单中多了一些选项,可以都试试,同步到远程服务器,这样就可以在本地开发,在linux上运行了,非常方便 Deployment相关设置 设置自动上传 每次都要去点击上传,虽然比较有选择性,但毕竟还是不方便,所以设置了自动上传 tools > deployment > automatic upload(always) 查看远程目录 tools > deployment > browse remote host 这样就可以在侧边栏找到远程目...
JungleKing 发布于 2天前 阅读 5

PyTorch快速入门教程九(使用LSTM来做判别每个词的词性)

上一节介绍了一下自然语言处理里面最基本的单边和双边的 ngram 模型,用 word embedding和ngram 模型对一句话中的某个词做预测,今天我们将使用LSTM来做判别每个词的词性,因为同一个单词有着不同的词性,比如book可以表示名词,也可以表示动词,所以我们需要训练一下网络来得到词性的判断。
earnpls 发布于 3个月前 阅读 22

理解矩阵乘法

矩阵加减法比较简单 到乘法时有点难于理解
james_lz 发布于 3个月前 阅读 23

大数据下基于Tensorflow框架的深度学习示例教程

近几年,信息时代的快速发展产生了海量数据,诞生了无数前沿的大数据技术与应用。在当今大数据时代的产业界,商业决策日益基于数据的分析作出。当数据膨胀到一定规模时,基于机器学习对海量复杂数据的分析更能产生较好的价值,而深度学习在大数据场景下更能揭示数据内部的逻辑关系。本文就以大数据作为场景,通过自底向上的教程详述在大数据架构体系中如何应用深度学习这一技术。大数据架构中采用的是hadoop系统以及Kerberos安全认证,深度学习采用的是分布式的Tensorflow架构,hadoop解决了大数据的存储问题,而分布式Tensorflow解决了大数据训练的问题。本教程是我们团队在开发基于深度学习的实时欺诈预警服务时,部署深度学习这一模块时总结出的经验,感兴趣的欢迎深入交流。 安装Tensorflow 我们安装Tensorflow选择的是Centos7,因为Tensorflow需要使用GNU发布的1.5版本的libc库,Centos6系统并不适用该版本库而被抛弃。对于如何联网在线安装Tensorflow,官网有比较详尽的教程。本教程着重讲一下网上资料较少的离线安装方式,系统的安装更需要在意的是各软件版本的一致性,下面教程也是解决了很多版本不一致的问题后给出的一个方案。首先我们先将整个系统搭建起来吧。 ...
孟飞阳 发布于 3个月前 阅读 37

Pytorch v0.1.12版本发布,添加CUDA的Sparse支持

API更改 torch.range被弃用,赞成torch.arange与numpy和python范围一致。 在稀疏的传感器上,contiguous更名为现在,coalesce并且coalesce现在已经不合适。 (提醒Sparse API仍然是实验性和演进性的,所以我们不提供后向兼容性)。 新功能 新层次和功能 torch.topk现在支持所有CUDA类型,不只是torch.cuda.FloatTensor。 增加了三路排名丢失:nn.TripletMarginLoss 添加每个实例规范化层:nn.InstanceNorm1d,1. nn.InstanceNorm2d,nn.InstanceNorm3d 每个通道被视为一个实例进行归一化,并且均值减去和标准化完成。当处理较大的图像和更小的迷你批次时,这对BatchNorm喜欢效果是有用的。 nn.ZeroPad2d并nn.ConstantPad2d添加。 nn.Bilinear 被添加,它计算 Y = X1 W X2 + b 负尺寸将从最后一维度索引张量。 使用维度参数的每个单个函数也将允许采取负面维度。 负尺寸将从最后一维度索引张量。 例如: x = torch.randn(10, 20, 30) y = torch.mean(x, dim = -1) 在这里,由于x具有3个维度,而dim = -1是最后一个维度,即dim=3采取平均值。 具有维参数的函数是: narrow, transpose, size, cat, chunk, gather, index_select, split, squeeze, stack, unbind, unsqueeze,...
earnpls 发布于 3个月前 阅读 55

关于使用哪种分类算法的总结

尝试将quora上的这个回答翻译了下。第一次翻译,不好之处请见谅。 What are the advantages of different classification algorithms? 以下是我这些年总结的指南 训练集有多大? 如果你的训练集很小,高偏差/低方差的分类器(如朴素贝叶斯)比低偏差/高方差的分类器(如K近邻或Logistic回归)更有优势,因为后者容易过拟合。但是随着训练集的增大,高偏差的分类器并不能训练出非常准确的模型,所以低偏差/高方差的分类器会胜出(它们有更小的渐近误差)。 你也可以从生成模型与鉴别模型的区别来考虑它们。 某些分类器的优势 朴素贝叶斯(Naive Bayes, NB) 超级简单,就像做一些数数的工作。如果条件独立假设成立的话,NB将比鉴别模型(如Logistic回归)收敛的更快,所以你只需要少量的训练数据。即使条件独立假设不成立,NB在实际中仍然表现出惊人的好。如果你想做类似半监督学习,或者是既要模型简单又要性能好,NB值得尝试。 Logistic回归(Logistic Regression, LR) LR有很多方法来对模型正则化。比起NB的条件独立性假设,LR不需要考虑样本是否是相关的。与决策树与支持向量机(SVM)不同,NB有很好的概率解释,且很容易利用新的训练数据来更新模型(使用在线梯度下降...
天蚕宝衣 发布于 2个月前 阅读 11

判断单链表的值是否是回文结构

package com.javause.Algorithm.isPalindrome; import java.util.Stack; import org.junit.Test; /**  *  * 一个链表是否是回文结构  *  */ public class ReturnStruct {  class Node {   public int value;   public Node next;   public Node(int data) {    this.value = data;   }  }  /**   * 方法一:将链表节点依次入栈,入栈完成后,依次出栈,如果可以和原来的链表值对上,那就是回文结构,逆序之后,值相同   *   */  public boolean isPalindromel(Node head) {   Stack<Node> stack = new Stack<Node>();   Node cur = head;   while (cur != null) {    stack.push(cur);    cur = cur.next;   }   while (head != null) {    if (head.value != stack.pop().value) {     return false;    }    head = head.next;   }   return true;  }  /**   * 方法二:并不是将所有节点入栈,压入一半节点即可,如果长度为N,N为 偶数,前N/2的节点叫左边区,后N/2的节点叫右半区   * N为奇数,忽略处于最中间的节点,还是前N/2的节点叫左半区,后N/2的节点 叫右半区。   * 把右边部分压入栈中,压入完成后,...
writeademo 发布于 2个月前 阅读 9

机器学习 F1-Score, recall, precision

在机器学习,模式识别中,我们做分类的时候,会用到一些指标来评判算法的优劣,最常用的就是识别率,简单来说,就是  Acc=Npre/Ntotal 这里的 Npre表示预测对的样本数,Ntotal表示测试集总的样本数。   识别率有的时候过于简单, 不能全面反应算法的性能,除了识别率,还有一些常用的指标,就是我们要介绍的  F1-score, recall, precision. 在介绍这些概念之前,我们先来看一个二分类的问题,给定一组训练集:  D={(xi,yi)|xi∈Rn,yi∈{0,1}}Ni=1 这里假定 yi=1 对应正样本,yi=0 对应负样本。假设我们建立了一个分类模型 H, 对每一个输入的样本 xi会输出一个预测值 H(xi), 那么将预测值 H(xi) 与样本对应的实际值yi做比较,会得到以下四种情况:   H(xi)=1,yi=1 H(xi)=1,yi=0 H(xi)=0,yi=1 H(xi)=0,yi=0 第一种情况,预测为正,实际也为正,我们称为 true positive (TP),第二种情况,预测为正,实际为负,我们称为 false positive (FP),第三种情况,预测为负,实际为正,称为false negative (FN),最后一种情况,预测为负,实际也为负,称为 true negative (TN),每一个样本只可能属于这四种情况中的某一种,不会有其它的可能。  很显然,给定一个测试集...
Airship 发布于 1个月前 阅读 16

经济学人:计算机如何学习人类语言?

#### 经济学人:计算机如何学习人类语言? - 日期:2017年1月11日 - 标题:How machines learned to speak human language - 副标:And what does that mean for the way people use computers? - 来源:[http://www.economist.com/blogs/economist-explains/2017/01/economist-explains-6] 今年圣诞节数以百万计的人将得到一种装有电子设备的盒子——能够快速地提高使用人类语言的能力。亚马逊的 Echo 设备,配备了一个名为 Alexa 的数字助理,现在在500多万户家庭中出现。 Echo 是一个圆筒形的台式电脑,除了声音之外没有其它接口。你可以要求 Alexa 播报天气信息,播放音乐,预定出租车,告知通勤路程或讲一个老掉牙的笑话,它都会响应。来自美国电脑巨头的语音驱动式数字助理(谷歌的 Assistant、微软的 Cortana和苹果的 Siri)也已经取得了很大的进步。计算机是如何处理人类语言的问题呢? ![](http://omaxozji3.bkt.clouddn.com/NLP_Amazon_Echo.jpg) 曾经的想法是将教机器学习语言规则,例如翻译,使用一套语法规则来打破源语言的意义,再用另一组用来重现目标语言中的意思。但是经历过20世纪50年代的乐观情绪过后,业界发现这种系统不能用于复杂的新句子;基于语言...
RiboseYim 发布于 1个月前 阅读 6
编辑部的故事

个性满满!那些有意思的艺术图像生成工具推荐

随着深度学习的快速发展以及技术的开源,越来越多的人开始接触和了解深度学习,也出现了越来越多的开源的深度学习项目。其中不乏一些非常有意思的项目,在帮助用户了解深度学习原理的同时,还能生成一些奇特、颇具艺术感的图像。 1、DeepDream DeepDream 是 Google 开源的用来分类和整理图像的 AI 程序 Inceptionism 。Google 把一个人工神经网络项目放到了互联网上“造梦”,它可以挖掘可视的数据,“增强”图像中某些部分,而且其特性是依靠自己的数据集来“识别”里面(的内容)。出图效果是朦胧的、旋涡状有噪点的彩釉色,里面的物体可以反复变化。 2、Neural style Neural style 可以说是一款画风迁移工具,就是让机器模仿已有画作的绘画风格来把一张图片重新绘制的算法。它将计算机算法和艺术相结合,可以将照片风格化为名家大师的画风,而且整个过程十分迅速,在笔记本 CPU 上十几秒就可以风格化一张图片。 3、Neural Doodle Neural Doodle 则是一款将涂鸦变成艺术画的工具。比如说随手涂鸦一幅画,它会使用深层神经网络借鉴真实艺术家的风格,将这幅画变成充满艺术感的画像。整个过程差不多类似于人脑对物体的解析和重构的过程。 4、Image Analogies Image Analogi...
编辑部的故事 发布于 20小时前 阅读 1618 评论 9 点赞 10

干货 | 机器学习需要哪些数学基础?

过去的几个月中,有几人联系我,诉说他们对尝试进入数据科学的世界,以及用机器学习的技术去探索统计规律并构建无可挑剔的数据驱动型产品的热忱。然而,我发现一些人实际上缺乏必要的数学直觉和知识框架去得到有用的结果。这便是我决定写这篇博文的主要原因。最近涌现出了很多易于使用的机器学习和深度学习的软件包,例如 scikit-learn, Weka, Tensorflow 等等。机器学习理论是统计学、概率学、计算机科学以及算法的交叉领域,是通过从数据中的迭代学习去发现能够被用来构建智能应用的隐藏知识。尽管机器学习和深度学习有着无限可能,然而为了更好地掌握算法的内部工作机理和得到较好的结果,对大多数这些技术有一个透彻的数学理解是必要的。 逻辑回归和神经网络的代价函数的计算方法 为什么要重视数学? 机器学习中的数学是重要的,有很多原因,下面我将强调其中的一些: 1. 选择正确的算法,包括考虑到精度、训练时间、模型复杂度、参数的数量和特征数量。 2. 选择参数的设置和验证策略。 3. 通过理解偏差和方差之间的 tradeoff 来识别欠拟合与过拟合。 4. 估计正确的置信区间和不确定度。 你需要什么水平的数学? 当你尝试着去理解一个像机器学习(ML)一样的交叉学科的...
tantexian 发布于 2个月前 阅读 110
小帅帅丶

Java分布式神经网络库Deeplearning4j 环境搭建和运行一个例子

deeplearning4j是一个Apache 2.0-licensed,开源的,分布式神经网络库编写的java和Scala。 开源的学习框架也不少,这么多大企业贡献了自己的部分产品,开源供大家学习研究和完善。例如:Tensor flow,caffe,Theano,Torch,Brainstorm,Chainer,Deeplearning4j 等等,其中Deeplearning4j 是基于 JVM 开发的机器学习工具,完全开源,天行支持JVM 上运行的程序,如:spark ,Hadoop 等。本文介绍一下 Deeplearning4j 的环境搭建,及运行一个官方的例程。
小帅帅丶 发布于 1个月前 阅读 1159 评论 1 点赞 3
小帅帅丶

调用腾讯优图开放平台进行人脸识别-Java调用API实现

调用腾讯优图开放平台进行人脸识别-Java调用API实现
小帅帅丶 发布于 1个月前 阅读 2635 评论 10 点赞 5

Liunx(Centos6.5)上安装TensorFlow

1,TensorFlow只支持64位平台 2,centos6.5默认安装的python是2.6版本的,TensorFlow要求是2.7.x或3.x 3,升级python到最新的3.6.2版本,过程如下: 1.下载源码文件 wget https://github.com/pypa/setuptools/archive/v36.2.0.tar.gz 2.解压文件 tar xvf v36.2.0.tar.gz 3.安装 cd Python-3.6.2 ./configure --prefix=/usr/local/python3 make && make install 4.此时已完成新版本的安装,但由于老版本还在系统中,所以需要将原来/usr/bin/python链接改为新的连接 a.先修改老的连接,执行 mv /usr/bin/python /usr/bin/python2.6 b.再建立新连接 ln -s /usr/local/python3/bin/python3.6 /usr/bin/python 5.查询python版本 python -V 4,解决升级后YUM无法使用 1.打开/usr/bin/yum vim /usr/bin/yum 2.将#!/usr/bin/python 修改为 #!/usr/bin/python2.6,保存退出 3.测试是否修复 yum list 5,修改pip的版本(两个位置) vim /usr/bin/pip 6,安装TensorFlow install tensorflow 或 pip install --upgrade \ https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-1.2.1-cp34-cp34m-linux_x86_64.whl 7,验证TensorFlow是否安装成功 #pytho...
liuchangng 发布于 2个月前 阅读 184 评论 1
dingdayu

SyntaxNet 中文模型的使用

## 分布操作 ### 0. 克隆 [tensorflow/models](https://github.com/tensorflow/models) ``` git clone https://github.com/tensorflow/models.git // 切换目录到 syntaxnet cd syntaxnet ``` > 推荐在docker下面操作: [tensorflow/syntaxnet](https://hub.docker.com/r/tensorflow/syntaxnet/) ### 1. 下载Chinese模型文件 [tensorflow 官网](http://download.tensorflow.org/models/parsey_universal/Chinese.zip) ### 2. 解压 `Chinese.zip` 到 `syntaxnet` 模型主目录 ``` unzip Chinese.zip ``` ### 3. syntaxnet 目录下运行: ``` MODEL_DIRECTORY=/opt/tensorflow/syntaxnet/Chinese echo '你好,我是丁小雨,能告诉我你的名字吗?' | \ syntaxnet/models/parsey_universal/tokenize_zh.sh $MODEL_DIRECTORY | \ syntaxnet/models/parsey_universal/parse.sh $MODEL_DIRECTORY ``` ## jupyter 操作 > 基于 `tensorflow/syntaxnet` docker ``` cd /opt/tensorflow/syntaxnet wget http://download.tensorflow.org/models/parsey_universal/Chinese.zip unzip Chinese.zip MODEL_DIRECTORY=/opt/tensorflow/syntaxnet/Chinese echo '你好,我是丁小雨,能告诉我你的名字...
dingdayu 发布于 3个月前 阅读 482
小帅帅丶

Java分布式神经网络库Deeplearning4j 环境搭建和运行一个例子

deeplearning4j是一个Apache 2.0-licensed,开源的,分布式神经网络库编写的java和Scala。 开源的学习框架也不少,这么多大企业贡献了自己的部分产品,开源供大家学习研究和完善。例如:Tensor flow,caffe,Theano,Torch,Brainstorm,Chainer,Deeplearning4j 等等,其中Deeplearning4j 是基于 JVM 开发的机器学习工具,完全开源,天行支持JVM 上运行的程序,如:spark ,Hadoop 等。本文介绍一下 Deeplearning4j 的环境搭建,及运行一个官方的例程。
小帅帅丶 发布于 1个月前 阅读 1159 评论 1 点赞 3

PyTorch快速入门教程一(环境配置)

接下来我们将进入Pytorch快速入门系列教程,本系列主要参考深度炼丹的知乎专栏10分钟快速入门PyTorch,并且已经获得了作者的许可转载,同时文章会有较多改动,我将会以一个新手的视角带大家学习PyTorch,同时如果有不对的地方,欢迎大家到Pytorch中文网问答社区给我留言,大家也可以一觉分享交流!如果你还不知道pytorch是啥,可以去看一看以前的文章Pytorch是什么?  环境配置 要学习pytorch,首先当然是需要安装pytorch了,目前pytorch只支持mac和linux,如果你的电脑是windows,装虚拟机或者双系统。如果想要愉快地学习,那么强烈推荐使用linux系统,因为所有的深度学习框架在linux上都有很好的支持,远远好于windows系统,而且linux也没有大家想象中的那么难学,目前linux系统的图形界面让大家上手的时候更加容易。 Linux或者Mac默认安装了python2.7系统,大家安装玩Linux系统以后接下来就是安装Pytorch了,其实安装很简单,大家可以参考:pytorch 如何安装?pip如何安装pytorch? pytorch基础 装好了pytorch之后,正式进入我们的教程,pytorch基础部分,这个部分主要是介绍一下pytorch处理的对象以及操作。 Tensor tensor就是张量的英文,表示多维的矩阵,比如一维就是...
earnpls 发布于 3个月前 阅读 214

73款阿里巴巴开源软件详解!

详细解读阿里巴巴开源技术,包括框架、组件、引擎、数据库/存储、平台/系统、解决方案、工具、中间件、Web Sever、设计等十大类73款!
阿里巴巴
片刻

sklearn API 文档 - 0.18 中文翻译

所有函数和类的确切API,由docstrings给出。API会为所有功能提供预期类型和允许的功能,以及可用于算法的所有参数。   原文链接 : http://scikit-learn.org/stable/modules/classes.html 译文链接 : http://cwiki.apachecn.org/pages/viewpage.action?pageId=10030193   贡献者 : 片刻 ApacheCN Apache中文网   这是scikit学习的类和函数参考。有关详细信息,请参阅完整的用户指南,因为类和功能原始规格可能不足以给出其使用的完整指导。    sklearn.base: Base classes and utility functions(基类和效用函数) 所有估计量的基类。 基础类 base.BaseEstimator scikit学习中所有估计的基础类 base.ClassifierMixin 所有分类器的混合类在scikit学习 base.ClusterMixin 所有聚类估计器的混合类在scikit学习中 base.RegressorMixin 所有回归估计器的混合类在scikit学习 base.TransformerMixin 所有变压器的混合类在scikit学习   函数 base.clone(estimator[, safe]) 构造具有相同参数的新估计器      sklearn.cluster: Clustering(聚类) 该sklearn.cluster模块收集流行的无监督聚类算法。 用户指南:有关详细信息,请参阅“ 集群”部分。 类 cluster.Affi...
片刻 发布于 3个月前 阅读 159
开拓者-2017

scikit-learn sklearn 0.18 官方文档中文版 | ApacheCN

ApacheCN 专注于优秀开源项目维护的组织 不止于权威的文档视频技术支持
开拓者-2017 发布于 2个月前 阅读 54
小帅帅丶

调用腾讯优图开放平台进行人脸识别-Java调用API实现

调用腾讯优图开放平台进行人脸识别-Java调用API实现
小帅帅丶 发布于 1个月前 阅读 2635 评论 10 点赞 5

CNN中文文本分类-基于TensorFlow实现

本章旨在使用TensorFlow API实现卷积神经网络文本分类。
Gaussic 发布于 1个月前 阅读 107

PyTorch快速入门教程六(使用LSTM做图片分类)

上一节我们了解了最基本的RNN,LSTM以及在pytorch里面如何使用LSTM,而之前我们知道了如何通过CNN做MNIST数据集的图片分类,本节我们将使用LSTM做图片分类。
earnpls 发布于 3个月前 阅读 260

PyTorch快速入门教程九(使用LSTM来做判别每个词的词性)

上一节介绍了一下自然语言处理里面最基本的单边和双边的 ngram 模型,用 word embedding和ngram 模型对一句话中的某个词做预测,今天我们将使用LSTM来做判别每个词的词性,因为同一个单词有着不同的词性,比如book可以表示名词,也可以表示动词,所以我们需要训练一下网络来得到词性的判断。
earnpls 发布于 3个月前 阅读 103
小帅帅丶

Java分布式神经网络库Deeplearning4j之上手实践手写数字图像识别与模型训练

简单来说:就是根据示例下载训练和测试数据。进行训练模型。之后可以根据自己手写数字图像或者使用测试数据进行识别测试。
小帅帅丶 发布于 2周前 阅读 43 评论 2

PyTorch快速入门教程四(cnn:卷积神经网络 )

以前的教程中我们已经完成了基础部分,接下来进入深度学习部分,第一个要讲的是cnn,也就是卷积神经网络:
earnpls 发布于 3个月前 阅读 41

张志华:关于机器学习的领悟与反思

      近年来,人工智能的强势崛起,特别是去年AlphaGo和韩国九段棋手李世石的人机大战,让我们深刻地领略到了人工智能技术的巨大潜力。数据是载体,智能是目标,而机器学习是从数据通往智能的技术、方法途径。因此,机器学习是数据科学的核心,是现代人工智能的本质。       通俗地说,机器学习就是从数据中挖掘出有价值的信息。数据本身是无意识的,它不能自动呈现出有用的信息。怎样才能找出有价值的东西呢?第一步要给数据一个抽象的表示;接着基于表示进行建模;然后估计模型的参数,也就是计算;为了应对大规模的数据所带来的问题,我们还需要设计一些高效的实现手段,包括硬件层面和算法层面。统计是建模的主要工具和途径,而模型求解大多被定义为一个优化问题或后验抽样问题,具体地,频率派方法其实就是一个优化问题。而贝叶斯模型的计算则往往牵涉蒙特卡罗(Monte Carlo) 随机抽样方法。因此,机器学习是计算机科学和统计学的交叉学科。       借鉴计算机视觉理论创始人马尔 (Marr) 的关于计算机视觉的三级论定义,我把机器学习也分为三个层次:初级、中级和高级。初级阶段是数据获取以及特征的提取。中级阶段是数据处理与分析,它又包含三个方面:首先是...
louise 发布于 2个月前 阅读 2824

Pytorch v0.1.12版本发布,添加CUDA的Sparse支持

API更改 torch.range被弃用,赞成torch.arange与numpy和python范围一致。 在稀疏的传感器上,contiguous更名为现在,coalesce并且coalesce现在已经不合适。 (提醒Sparse API仍然是实验性和演进性的,所以我们不提供后向兼容性)。 新功能 新层次和功能 torch.topk现在支持所有CUDA类型,不只是torch.cuda.FloatTensor。 增加了三路排名丢失:nn.TripletMarginLoss 添加每个实例规范化层:nn.InstanceNorm1d,1. nn.InstanceNorm2d,nn.InstanceNorm3d 每个通道被视为一个实例进行归一化,并且均值减去和标准化完成。当处理较大的图像和更小的迷你批次时,这对BatchNorm喜欢效果是有用的。 nn.ZeroPad2d并nn.ConstantPad2d添加。 nn.Bilinear 被添加,它计算 Y = X1 W X2 + b 负尺寸将从最后一维度索引张量。 使用维度参数的每个单个函数也将允许采取负面维度。 负尺寸将从最后一维度索引张量。 例如: x = torch.randn(10, 20, 30) y = torch.mean(x, dim = -1) 在这里,由于x具有3个维度,而dim = -1是最后一个维度,即dim=3采取平均值。 具有维参数的函数是: narrow, transpose, size, cat, chunk, gather, index_select, split, squeeze, stack, unbind, unsqueeze,...
earnpls 发布于 3个月前 阅读 55
编辑部的故事

除了 Python ,这些语言写的机器学习项目也很牛(二)

Python 由于本身的易用优势和强大的工具库储备,成为了在人工智能及其它相关科学领域中最常用的语言之一。尤其是在机器学习,已然是各大项目最偏爱的语言。 其实除了 Python ,也不乏有开发者用其他语言写出优秀的机器学习项目。在上期的文章中(除了 Python ,这些语言写的机器学习项目也很牛(一)),我们已经列了一些其他语言(C、C++、Go、Java、Javascript)值得关注的开源机器学习项目,本期将针对 PHP、Ruby、Objective C、Swift、Scala 进行补全,同时应上期留言要求,在文末列了一些 .NET 平台上的机器学习项目。 1、PHP PHP-ML —— 机器学习库 PHP-ML 是 PHP 的机器学习库,同时包含算法、交叉验证、神经网络、预处理、特征提取等多种特性。要求 PHP 版本 > = 7.0 。 PHP-ML 提供的机器学习算法包括:关联规则学习(Apriori 算法)、分类器(SVC、KNN、贝叶斯)、回归(最小二乘线性回归、支持向量回归)、聚类(KMeans、基于密度的聚类算法)、矩阵运算相关(准确率、混肴矩阵、与分类相关的结论如精确度、召回率、F1 值、支持率)、模型运算管道(Pipeline)、神经网络(多层感知机)等。 2、Ruby Treat ——自然语言处理框架 Treat 是一个自然语言处理和...
编辑部的故事 发布于 3个月前 阅读 4318 评论 23 点赞 3
片刻

scikit-learn sklearn 0.18 中文文档

ApacheCN(Apache中文网)- 关于我们 : http://cwiki.apachecn.org/pages/viewpage.action?pageId=10813869 ApacheCN cwiki 地址为 scikit-learn 0.18 中文文档 : http://cwiki.apachecn.org/pages/viewpage.action?pageId=10030181 sklearn :  基于 Python 语言的,简单高效的数据挖掘和数据分析工具,建立在 NumPy,SciPy 和 matplotlib 上。 此外,Apache Spark 2.2.0 官方文档中文版,开始采用 github 迭代维护的方式来更新,欢迎大家一起来迭代维护,地址为 https://github.com/apachecn/spark-doc-zh。 以下是 sklearn 官方文档中文版,如果你也有兴趣,欢迎来一起来维护迭代。 scikit-learn 0.18 中文文档 快速入门 用户指南 监督学习 Generalized Linear Models ( 广义线性模型 ) Linear and Quadratic Discriminant Analysis ( 线性和二次判别分析 ) Kernel ridge regression ( 内核岭回归 ) Support Vector Machines(支持向量机, SVM) Stochastic Gradient Descent ( 随机梯度下降 ) Nearest Neighbors ( 最近邻 ) Gaussian Processes(高斯过程) Cross decomposition(交叉分解) Naive Bayes ( 朴素贝叶斯 ) Decision Trees(决策树) ...
片刻 发布于 2个月前 阅读 74

Pytorch是什么?关于Pytorch!

PyTorch是一个提供两个高级功能的python包: 具有强GPU加速度的张量计算(如numpy) 深层神经网络建立在基于磁带的自动调整系统上 您可以重用您最喜爱的python软件包,如numpy,scipy和Cython,以便在需要时扩展PyTorch。 PyTorch在细粒度级别是由以下组件组成的库: 包 描述 torch 像NumPy这样的Tensor图书馆,拥有强大的GPU支持 torch.autograd 一种基于磁带的自动分类库,支持所有可区分的Tensor操作手电筒 torch.nn 一个神经网络库与autograd设计了最大的灵活性torch.optim 一种与torch.nn一起使用的优化包,具有标准优化方法,如SGD,RMSProp,LBFGS,Adam等。 torch.multiprocessing python多处理,但是具有魔法内存共享的手电筒传感器跨过程。适用于数据加载和hogwild培训。torch.utils DataLoader,Trainer等实用功能为方便起见 torch.legacy(.nn / .optim) 由于向后兼容性原因,已经从割炬移植的旧代码 通常使用PyTorch可以: 使用GPU的功能代替numpy。 一个深刻的学习研究平台,提供最大的灵活性和速度 进一步阐述: GPU准备好的Tensor库 如果你使用numpy,那么你已经使用了Tensors(aka ndarray)。  PyTorch提供可以在CPU或GPU上生活的Tensors,并加速...
earnpls 发布于 2个月前 阅读 63

Liunx(Centos6.5)上安装TensorFlow

1,TensorFlow只支持64位平台 2,centos6.5默认安装的python是2.6版本的,TensorFlow要求是2.7.x或3.x 3,升级python到最新的3.6.2版本,过程如下: 1.下载源码文件 wget https://github.com/pypa/setuptools/archive/v36.2.0.tar.gz 2.解压文件 tar xvf v36.2.0.tar.gz 3.安装 cd Python-3.6.2 ./configure --prefix=/usr/local/python3 make && make install 4.此时已完成新版本的安装,但由于老版本还在系统中,所以需要将原来/usr/bin/python链接改为新的连接 a.先修改老的连接,执行 mv /usr/bin/python /usr/bin/python2.6 b.再建立新连接 ln -s /usr/local/python3/bin/python3.6 /usr/bin/python 5.查询python版本 python -V 4,解决升级后YUM无法使用 1.打开/usr/bin/yum vim /usr/bin/yum 2.将#!/usr/bin/python 修改为 #!/usr/bin/python2.6,保存退出 3.测试是否修复 yum list 5,修改pip的版本(两个位置) vim /usr/bin/pip 6,安装TensorFlow install tensorflow 或 pip install --upgrade \ https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-1.2.1-cp34-cp34m-linux_x86_64.whl 7,验证TensorFlow是否安装成功 #pytho...
liuchangng 发布于 2个月前 阅读 184 评论 1

将Caffe Model转化为Pytorch Model以及Torch Model

将Caffe转化为Pytorch 1、将Caffe Model转化为Pytorch Model 2、将Caffe Model转化为Torch Model 3、将Torch Model转化为Pytorch Model 我已经测试了vgg16,它表现在分类任务。但我不能保证它在其他任务上执行得很好(如对象检测和语义分割)。您可以尝试并根据bug信息修改代码。如果有你的咖啡模型新的组件,你应该在代码中添加相应的部分。Github地址:https://github.com/fanq15/caffe_to_torch_to_pytorch 安装Torch和Caffe 1、Torch安装教程 2、Caffe安装教程 把Caffe转换为Torch 1、将path改变成自己的path 2、把 .prototxt 和 .caffemodel 放在同一个文件夹下. 3、会生成vgg16_torch.t7文件夹. th caffemodel_to_t7.lua 把torch转换为pytorch python convert_torch.py -m vgg16_torch.t7 将会创建2个文件vgg16_torch.py vgg16_torch.pth 在python中加载.pth model 1、确保vgg16_torch.py 和 vgg16_torch.pth 文件在python工作区的同一个文件夹下 2、导入vgg16_torch意味着从vgg16_torch.py导入模型结构。 3、model.load_state_dict 代表从vgg16_torch.pth模型中家在权重 import vgg16_torch model = vgg16_torch.vgg16_torch model.load_state_dict(torc...
earnpls 发布于 2个月前 阅读 136

分类算法---朴素贝叶斯算法

朴素贝叶斯算法常见用于 文本分类,垃圾邮件分类,预测模型等
满小茂 发布于 3个月前 阅读 91

PyTorch快速入门教程二(线性回归以及logistic回归)

上一篇教程中介绍了pytorch里面的操作单元Tensor,以及计算图中的操作单位Variable,相信大家都已经熟悉了;下面这一部分我们就从两个最基本的机器学习,线性回归以及logistic回归来开始建立我们的计算图进行运算。
earnpls 发布于 3个月前 阅读 66

Loading two models from Saver in the same Tensorflow session

Loading two models from Saver in the same Tensorflow session
JungleKing 发布于 19小时前 阅读 3
编辑部的故事

个性满满!那些有意思的艺术图像生成工具推荐

随着深度学习的快速发展以及技术的开源,越来越多的人开始接触和了解深度学习,也出现了越来越多的开源的深度学习项目。其中不乏一些非常有意思的项目,在帮助用户了解深度学习原理的同时,还能生成一些奇特、颇具艺术感的图像。 1、DeepDream DeepDream 是 Google 开源的用来分类和整理图像的 AI 程序 Inceptionism 。Google 把一个人工神经网络项目放到了互联网上“造梦”,它可以挖掘可视的数据,“增强”图像中某些部分,而且其特性是依靠自己的数据集来“识别”里面(的内容)。出图效果是朦胧的、旋涡状有噪点的彩釉色,里面的物体可以反复变化。 2、Neural style Neural style 可以说是一款画风迁移工具,就是让机器模仿已有画作的绘画风格来把一张图片重新绘制的算法。它将计算机算法和艺术相结合,可以将照片风格化为名家大师的画风,而且整个过程十分迅速,在笔记本 CPU 上十几秒就可以风格化一张图片。 3、Neural Doodle Neural Doodle 则是一款将涂鸦变成艺术画的工具。比如说随手涂鸦一幅画,它会使用深层神经网络借鉴真实艺术家的风格,将这幅画变成充满艺术感的画像。整个过程差不多类似于人脑对物体的解析和重构的过程。 4、Image Analogies Image Analogi...
编辑部的故事 发布于 20小时前 阅读 1618 评论 9 点赞 10

ImportError: libcusolver.so.8.0: cannot open shared object file: No such file or directory

有效,已fix,在linux上没问题,就在这个地方出问题
JungleKing 发布于 2天前 阅读 2

73款阿里巴巴开源软件详解!

详细解读阿里巴巴开源技术,包括框架、组件、引擎、数据库/存储、平台/系统、解决方案、工具、中间件、Web Sever、设计等十大类73款!
阿里巴巴

pycharm 通过 SFTP 远程编辑项目的配置

pycharm 通过 SFTP 远程编辑项目的配置 {这个相当于代码同步,类似git上传,同步后你可以在服务器上直接运行上传的代码;这个配置好后,才能在pycharm远程调试时候将代码上传到服务器正确位置/正确路径上} 打开pycharm,File -> Settings…( Ctrl + Alt + s ) -> Deployment 点击 + 按钮,添加一个 设置连接 设置好IP、端口、用户名、密码, root path:/home/piting/mine/python_workspace, 就是打开remote host时候看到的运程主机的根目录。 Note: Root path 如/home/piting/mine/python_workspace这个路径要在远程服务器上存在,否则并不会自动创建和同步。 设置第二个标签页Mappings 设置本地路径和远程路径,本地路径最好是一个项目路径,直接映射到你想开发的项目中。 路径的解释: 右击项目名称,可以看到下拉菜单中多了一些选项,可以都试试,同步到远程服务器,这样就可以在本地开发,在linux上运行了,非常方便 Deployment相关设置 设置自动上传 每次都要去点击上传,虽然比较有选择性,但毕竟还是不方便,所以设置了自动上传 tools > deployment > automatic upload(always) 查看远程目录 tools > deployment > browse remote host 这样就可以在侧边栏找到远程目...
JungleKing 发布于 2天前 阅读 5

对人工智能未来的判断

对未来形式的判断是,在近一至两年内,一些原本比较难实现,或者比较高技术门槛的人工智能技术,会大量以免费开源形式爆发,慢慢地上游厂商会将力量集中到这样几个方向上:一、更加复杂的技术中,像是强人工智能;二、底层能训练模型的大规模GPU(FPU)硬件集群;三、大量数据资源,特别是高质量的数据资源。
s10241024s 发布于 2天前 阅读 5

一个numpy int64的坑

一个numpy int64引起的坑,对类型还是要重视呀~~
Kanonpy 发布于 3天前 阅读 2

TF-IDF词项权重计算

一、TF-IDF 词项频率: df:term frequency。 term在文档中出现的频率.tf越大,词项越重要. 文档频率: tf:document frequecy。有多少文档包含此term,df越大词项越不重要. 词项权重计算公式: tf-idf=tf(t,d)*log(N/df(t)) 1 1 W(t,d):the weight of the term in document d tf(t,d):the frequency of term t in document d N:the number of documents df(t):the number of documents that contain term t 二、JAVA实现 package com.javacore.algorithm; import java.util.Arrays; import java.util.List; /** * Created by bee on 17/3/13. * @version 1.0 * @author blog.csdn.net/napoay */ public class TfIdfCal { /** *calculate the word frequency * @param doc word vector of a doc * @param term a word * @return the word frequency of a doc */ public double tf(List<String> doc, String term) { double termFrequency = 0; for (String str : doc) { if (str.equalsIgnoreCase(term)) { termFrequency++; } } return termFrequency /...
bapleliu 发布于 3天前 阅读 2

拟合工具箱的几个误差参数说明,SSE,MSE,RMSE,R-square

使用过Matlab的拟合、优化和统计等工具箱的网友,会经常遇到下面几个名词: SSE(和方差、误差平方和):The sum of squares due to error MSE(均方差、方差):Mean squared error RMSE(均方根、标准差):Root mean squared error R-square(确定系数):Coefficient of determination Adjusted R-square:Degree-of-freedom adjusted coefficient of determination 下面我对以上几个名词进行详细的解释下,相信能给大家带来一定的帮助!! 一、SSE(和方差) 该统计参数计算的是拟合数据和原始数据对应点的误差的平方和,计算公式如下 SSE越接近于0,说明模型选择和拟合更好,数据预测也越成功。接下来的MSE和RMSE因为和SSE是同出一宗,所以效果一样 二、MSE(均方差) 该统计参数是预测数据和原始数据对应点误差的平方和的均值,也就是SSE/n,和SSE没有太大的区别,计算公式如下 三、RMSE(均方根) 该统计参数,也叫回归系统的拟合标准差,是MSE的平方根,就算公式如下 在这之前,我们所有的误差参数都是基于预测值(y_hat)和原始值(y)之间的误差(即点对点)。从下面开始是所有的误差都是相对原始数据平均值(y_ba)而展开的(即点对全)!!! 四、R-square(确定系数) 在讲确定系数之前,我...
bapleliu 发布于 3天前

计算机宏

所谓宏,就是一些命令组织在一起,作为一个单独命令完成一个特定任务。Microsoft Word中对宏定义为:“宏就是能组织到一起作为一独立的命令使用的一系列word命令,它能使日常工作变得更容易”。Word使用宏语言Visual Basic将宏作为一系列指令来编写。 计算机科学里的宏是一种抽象的,根据一系列预定义的规则替换一定的文本模式。Excel办公软件自动集成了“VBA”高级程序语言,用此语言编制出的程序就叫“宏”。使用“VBA”需要有一定的编程基础,并且还会耗费大量的时间,因此,绝大多数的使用者仅使用了Excel的一般制表功能,很少使用到“VBA”。 解释器或编译器在遇到宏时会自动进行这一模式替换。对于编译语言,宏展开在编译时发生,进行宏展的工具常被称为宏展开器。宏这一术语也常常被用于许多类似的环境中,它们是源自宏展开的概念,这包括键盘宏和宏语言。绝大多数情况下,“宏”这个词的使用暗示着将小命令或动作转化为一系列指令。 宏的用途在于自动化频繁使用的序列或者是获得一种更强大的抽象能力--但这常常是一回事。 计算机语言如C或汇编语言有简单的宏系统,由编译器或汇编器的预处理器实现。C的宏预处理器的工作只是简单的文本搜索和替换,使用附加的文本处...
勇往直前的麻雀 发布于 4天前 阅读 2

Andrew Deeplearning.ai 第二周作业记录

以下只是我自己的做题记录,方便之后自我检查,不代表正确答案: 1. What does a neuron compute? B. A neuron computes a linear function (z = Wx + b) followed by an activation function 2. Which of these is the "Logistic Loss"? D. L(i)(y^(i),y(i))=−(y(i)log(y^(i))+(1−y(i))log(1−y^(i))) 3. Suppose img is a (32,32,3) array, representing a 32x32 image with 3 color channels red, green and blue. How do you reshape this into a column vector? A. x = img.reshape((32*32*3,1)) 4. Consider the two following random arrays "a" and "b": ```python a = np.random.randn(2, 3) # a.shape = (2, 3) b = np.random.randn(2, 1) # b.shape = (2, 1) c = a + b ``` What will be the shape of "c"? A. c.shape = (2, 3) 5. Consider the two following random arrays "a" and "b": ```python a = np.random.randn(4, 3) # a.shape = (4, 3) b = np.random.randn(3, 2) # b.shape = (3, 2) c = a*b ``` A. The computation cannot happen because the sizes don't match. It's going to be "Error"! 6. Suppose you have nx input features per examp...
robinfly 发布于 6天前 阅读 6

Hexa 六足机器人学习--初见

学会学习,学会分享,享受进步的喜乐!
会炒饭的美工 发布于 6天前 阅读 2

strace路径

https://sourceforge.net/projects/strace/?source=typ_redirect   1.下载strace-xxx.tar.xz     下载网址是:http://sourceforge.net/project/showfiles.php?group_id=2861&package_id=2819; 2.解压       $  xz -d   ***.tar.xz       $  tar -xvf   ***.tar         可以看到这个压缩包也是打包后再压缩,外面是xz压缩方式,里层是tar打包方式。       补充:目前可以直接使用 tar xvJf  ***.tar.xz来解压 3.配置         ./configure                          ./configure --host=arm-linux CC=arm-none-linux-gnueabi-gcc 4.编译       make                                            make CFLAGS+="-static" 5.安装     make  install 6.使用 交叉编译 系统环境:Ubuntu 14.04.3 LTS 源码:strace-4.11.tar.xz 交叉编译环境:arm-none-linux-gnueabi-   [[email protected]]# tar -xvf strace-4.11.tar.xz [[email protected]]# cd strace-4.11/ [[email protected]]# ./configure --prefix=/home/zhaojq/strace --host=arm-none-linux CC=arm-none-linux-gnueabi...
青春无极限 发布于 1周前 阅读 1

memwathc 使用心得

1.首先下载memwatch最新版本http://www.linkdata.se/sourcecode/memwatch/ 2.关于使用 首先在程序里需要包含 memwatch.c 和 memwatch.h两个文件,同时在你想要进行检测的程序里包含上头文件memwatch.h,而且在编译的时候加上 -DMEMWATCH -DMW_STDIO两个编译选项。 在板子上执行后会在可执行程序的同一目录下生成一个memwatch.log的文件,会记录程序运行中的错误, 比如double free,内存泄漏啊,有时候错误的度可能并不能导致程序崩溃,但是错误仍是存在的,需要用memwatch检测下,把隐藏的错误给修改掉。
青春无极限 发布于 1周前

卷积神经网络可视化

可视化可以让我们知道一个神经网络正在学习什么。当我们建立一个神经网络结构来进行图片分类预测时,我们想要解释网络预测的原理,例如,我们想要知道为什么网络会预测一张图片是宇宙飞船。 **论文一**:[Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps](https://arxiv.org/pdf/1312.6034.pdf) 论文一为可视化一个正在运行的神经网络提供了两种思路,它们都需要计算输出图片相对于输入图片的梯度。 分类模型可视化:分类任务是产生一个最具代表性的图片。思考:图片的什么地方看起来更像一艘宇宙飞船?我们会发现当图片I的最大分数是Sc(I) 时,这个图片被归类为c。 **注**:得分Sc(I)是卷积神经网络输出经过softmax函数得出的值,并不是预测可能性。 我们可以开始图片I,使用后向传播算法计算相对于I的梯度,使用梯度上升发现一个更好的I。这个过程是非常相似于优化一个神经网络,不同的是,我们保持权重固定不变,优化图片。 ![输入图片说明](https://rajpurkar.github.io/mlx/visualizing-cnns/class_model_vis.png "Class model visualizations for 3 different classes. Source: https://arxiv.org/pdf/1312.6034.p...
clgo 发布于 1周前 阅读 2

python 格式化符

''' 格式化符号: %s 字符串(采用str()的显示) %r 字符串(采用repr()的显示)--优先用repr()函数进行字符串转换 %c 单个字符 --转换成字符 %b 二进制整数 %d 十进制整数 %i 十进制整数 %o 八进制整数 %x 十六进制整数 %e 指数(基底写为e) %E 指数(基底写为E) %f 浮点数 %F 浮点数,与上相同 %g 指数(e) %G 指数(E) %% 字符“%” '''  
ULink 发布于 1周前

深度学习目标检测模型全面综述:Faster R-CNN、R-FCN和SSD

Faster R-CNN、R-FCN 和 SSD 是三种目前最优且应用最广泛的目标检测模型,其他流行的模型通常与这三者类似。本文介绍了深度学习目标检测的三种常见模型:Faster R-CNN、R-FCN 和 SSD。   图为机器之心小编家的边牧「Oslo」被 YOLO 识别为猫   随着自动驾驶汽车、智能监控摄像头、面部识别以及大量对人有价值的应用出现,快速、精准的目标检测系统市场也日益蓬勃。这些系统除了可以对图像中的每个目标进行识别、分类以外,它们还可以通过在该目标周围绘制适当大小的边界框(bounding box)来对其进行定位。这让目标检测技术较传统计算机视觉处理技术——图像分类而言,难度上升了不少。   然而,幸运的是,目前最成功的目标检测方法是对图像分类模型的扩展。几个月前,Google 为 Tensorflow 发布了一个新的目标检测 API。与其同时发布的还有针对一些特定模型预构建的框架和权重。   基于 MobileNets 框架的 Single Shot Multibox Detector(SSD)模型。 基于 Inception V2 框架的 SSD 模型。 使用 ResNet-101 框架的基于 Region 的全卷积网络(R-FCN)模型。 基于 ResNet-101 框架的 Faster RCNN 模型。 基于 Inception ResNet v2 ...
clgo 发布于 1周前 阅读 20

Numpy学习笔记

1. 把[[age1,money1,errror1],[age2, money2,error2],...]这样的二维数组,提取第一列,并转为横向的一维数组 ages, net_worths, errors = zip(*cleaned_data) ages = numpy.reshape( numpy.array(ages), (len(ages), 1)) 2.python数组转numpy.ndarray:  np.array(list)     numpy.ndarray转python数组:myNpArray.tolist() 3. numpy多维数组ndarray 以第三列进行行排序 myNpArray = myNpArray[myNpArray[:,2].argsort()]  
球球 发布于 1周前 阅读 4

e城e家携新奥智慧共创美丽枣庄

2017年9月20日上午10时,由新奥集团董事局董事副总裁赵义峰与枣庄市副市长张成伟于枣庄市共同签订了战略合作框架协议,新奥集团将在能源环保、健康旅游、智能互联(服务型智慧城市)等多个领域,助力枣庄市政府加速建设“转型升级和经济文化融合”,共同打造自然生态、宜居宜业的美丽新枣庄。而作为新奥集团下拥有着丰富的家庭和城市服务经验的e城e家,也将投身枣庄智慧城市建设中,依托丰富的运营经验和先进的技术储备,加速项目落地和实施。e城e家CIO徐刚同行参与了本次签约仪式。 新奥集团是一家创新型的综合企业集团,凭借着多年来在能源环保、文化、旅游、健康、置业和互联网等领域积累的产业优势和技术智慧,正在积极构建着互联网+人工智能时代下的2圈1平台战略版图(即构架在智能互联网平台上的泛能服务生态圈和家庭城市服务生态圈,)分别依托天然气产业链和品质生活产业链为企业更智慧地运营赋能、为百姓更品质地生活服务。其中,e城e家作为承载家庭和城市服务的核心平台,一直以来以“提高人民生活品质”为己任,构建城市本地生活服务平台为战略方向,其服务已覆盖60余座城市,开设近千家服务网点,并配备3万余名专业服务人员已服务惠及了上千万忠实家庭用户。 ...
极客脑司机 发布于 1周前 阅读 18

Ng深度学习 学习资料汇总

浅层神经网络:https://zhuanlan.zhihu.com/p/29500978
杭电任宇翔 发布于 1周前 阅读 6
片刻

【机器学习实战】第4章 基于概率论的分类方法:朴素贝叶斯

第4章 基于概率论的分类方法:朴素贝叶斯 <script type="text/javascript" src="#"></script> 朴素贝叶斯 概述 贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。本章首先介绍贝叶斯分类算法的基础——贝叶斯定理。最后,我们通过实例来讨论贝叶斯分类的中最简单的一种: 朴素贝叶斯分类。 贝叶斯理论 & 条件概率 贝叶斯理论 我们现在有一个数据集,它由两类数据组成,数据分布如下图所示: 我们现在用 p1(x,y) 表示数据点 (x,y) 属于类别 1(图中用圆点表示的类别)的概率,用 p2(x,y) 表示数据点 (x,y) 属于类别 2(图中三角形表示的类别)的概率,那么对于一个新数据点 (x,y),可以用下面的规则来判断它的类别: 如果 p1(x,y) > p2(x,y) ,那么类别为1 如果 p2(x,y) > p1(x,y) ,那么类别为2 也就是说,我们会选择高概率对应的类别。这就是贝叶斯决策理论的核心思想,即选择具有最高概率的决策。 条件概率 如果你对 p(x,y|c1) 符号很熟悉,那么可以跳过本小节。 有一个装了 7 块石头的罐子,其中 3 块是白色的,4 块是黑色的。如果从罐子中随机取出一块石头,那么是白...
片刻 发布于 1周前 阅读 4
小帅帅丶

调用腾讯优图开放平台进行人脸识别-Java调用API实现

调用腾讯优图开放平台进行人脸识别-Java调用API实现
小帅帅丶 发布于 1个月前 阅读 2635 评论 10 点赞 5

TensorFlow入门

TensorFlow入门介绍
随风溜达的向日葵 发布于 5个月前 阅读 4288 评论 17 点赞 8

人工神经网络之几何原理Ⅰ:单(隐藏)层神经网络

本文旨在通过几何方法来阐述为何人工神经网络能够有效地工作。
chishaxie 发布于 8个月前 阅读 2481 评论 16 点赞 4 打赏 1
顶部