Rename webtorrent files (process/node)
This commit is contained in:
Chocobozzz
parent
c4660e08da
commit
c5a8be2b62
8 changed files with 232 additions and 232 deletions
|
|
@ -13,7 +13,7 @@
|
||||||
var reqValidator = middleware.reqValidators.videos
|
var reqValidator = middleware.reqValidators.videos
|
||||||
var Videos = require('../../../models/videos') // model
|
var Videos = require('../../../models/videos') // model
|
||||||
var videos = require('../../../lib/videos')
|
var videos = require('../../../lib/videos')
|
||||||
var webtorrent = require('../../../lib/webTorrentNode')
|
var webtorrent = require('../../../lib/webtorrent')
|
||||||
|
|
||||||
var router = express.Router()
|
var router = express.Router()
|
||||||
var uploads = config.get('storage.uploads')
|
var uploads = config.get('storage.uploads')
|
||||||
|
|
|
||||||
|
|
@ -3,7 +3,7 @@
|
||||||
|
|
||||||
var async = require('async')
|
var async = require('async')
|
||||||
var config = require('config')
|
var config = require('config')
|
||||||
var webtorrent = require('../lib/webTorrentNode')
|
var webtorrent = require('../lib/webtorrent')
|
||||||
|
|
||||||
var logger = require('../helpers/logger')
|
var logger = require('../helpers/logger')
|
||||||
var Videos = require('../models/videos')
|
var Videos = require('../models/videos')
|
||||||
|
|
|
||||||
|
|
@ -1,161 +0,0 @@
|
||||||
;(function () {
|
|
||||||
'use strict'
|
|
||||||
|
|
||||||
var config = require('config')
|
|
||||||
var ipc = require('node-ipc')
|
|
||||||
var pathUtils = require('path')
|
|
||||||
var spawn = require('electron-spawn')
|
|
||||||
|
|
||||||
var logger = require('../helpers/logger')
|
|
||||||
|
|
||||||
var host = config.get('webserver.host')
|
|
||||||
var port = config.get('webserver.port')
|
|
||||||
var nodeKey = 'webtorrentnode' + port
|
|
||||||
var processKey = 'webtorrent' + port
|
|
||||||
ipc.config.silent = true
|
|
||||||
ipc.config.id = nodeKey
|
|
||||||
|
|
||||||
var webtorrentnode = {
|
|
||||||
add: add,
|
|
||||||
app: null, // Pid of the app
|
|
||||||
create: create,
|
|
||||||
remove: remove,
|
|
||||||
seed: seed,
|
|
||||||
silent: false // Useful for beautiful tests
|
|
||||||
}
|
|
||||||
|
|
||||||
function create (options, callback) {
|
|
||||||
if (typeof options === 'function') {
|
|
||||||
callback = options
|
|
||||||
options = {}
|
|
||||||
}
|
|
||||||
|
|
||||||
// Override options
|
|
||||||
if (options.host) host = options.host
|
|
||||||
if (options.port) {
|
|
||||||
port = options.port
|
|
||||||
nodeKey = 'webtorrentnode' + port
|
|
||||||
processKey = 'webtorrent' + port
|
|
||||||
ipc.config.id = nodeKey
|
|
||||||
}
|
|
||||||
|
|
||||||
ipc.serve(function () {
|
|
||||||
if (!webtorrentnode.silent) logger.info('IPC server ready.')
|
|
||||||
|
|
||||||
// Run a timeout of 30s after which we exit the process
|
|
||||||
var timeout_webtorrent_process = setTimeout(function () {
|
|
||||||
logger.error('Timeout : cannot run the webtorrent process. Please ensure you have electron-prebuilt npm package installed with xvfb-run.')
|
|
||||||
process.exit()
|
|
||||||
}, 30000)
|
|
||||||
|
|
||||||
ipc.server.on(processKey + '.ready', function () {
|
|
||||||
if (!webtorrentnode.silent) logger.info('Webtorrent process ready.')
|
|
||||||
clearTimeout(timeout_webtorrent_process)
|
|
||||||
callback()
|
|
||||||
})
|
|
||||||
|
|
||||||
ipc.server.on(processKey + '.exception', function (data) {
|
|
||||||
logger.error('Received exception error from webtorrent process.', { exception: data.exception })
|
|
||||||
process.exit()
|
|
||||||
})
|
|
||||||
|
|
||||||
var webtorrent_process = spawn(__dirname + '/webtorrent.js', host, port, { detached: true })
|
|
||||||
webtorrent_process.stderr.on('data', function (data) {
|
|
||||||
// logger.debug('Webtorrent process stderr: ', data.toString())
|
|
||||||
})
|
|
||||||
|
|
||||||
webtorrent_process.stdout.on('data', function (data) {
|
|
||||||
// logger.debug('Webtorrent process:', data.toString())
|
|
||||||
})
|
|
||||||
|
|
||||||
webtorrentnode.app = webtorrent_process
|
|
||||||
})
|
|
||||||
|
|
||||||
ipc.server.start()
|
|
||||||
}
|
|
||||||
|
|
||||||
function seed (path, callback) {
|
|
||||||
var extension = pathUtils.extname(path)
|
|
||||||
var basename = pathUtils.basename(path, extension)
|
|
||||||
var data = {
|
|
||||||
_id: basename,
|
|
||||||
args: {
|
|
||||||
path: path
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if (!webtorrentnode.silent) logger.debug('Node wants to seed %s.', data._id)
|
|
||||||
|
|
||||||
// Finish signal
|
|
||||||
var event_key = nodeKey + '.seedDone.' + data._id
|
|
||||||
ipc.server.on(event_key, function listener (received) {
|
|
||||||
if (!webtorrentnode.silent) logger.debug('Process seeded torrent %s.', received.magnetUri)
|
|
||||||
|
|
||||||
// This is a fake object, we just use the magnetUri in this project
|
|
||||||
var torrent = {
|
|
||||||
magnetURI: received.magnetUri
|
|
||||||
}
|
|
||||||
|
|
||||||
ipc.server.off(event_key)
|
|
||||||
callback(torrent)
|
|
||||||
})
|
|
||||||
|
|
||||||
ipc.server.broadcast(processKey + '.seed', data)
|
|
||||||
}
|
|
||||||
|
|
||||||
function add (magnetUri, callback) {
|
|
||||||
var data = {
|
|
||||||
_id: magnetUri,
|
|
||||||
args: {
|
|
||||||
magnetUri: magnetUri
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if (!webtorrentnode.silent) logger.debug('Node wants to add ' + data._id)
|
|
||||||
|
|
||||||
// Finish signal
|
|
||||||
var event_key = nodeKey + '.addDone.' + data._id
|
|
||||||
ipc.server.on(event_key, function (received) {
|
|
||||||
if (!webtorrentnode.silent) logger.debug('Process added torrent.')
|
|
||||||
|
|
||||||
// This is a fake object, we just use the magnetUri in this project
|
|
||||||
var torrent = {
|
|
||||||
files: received.files
|
|
||||||
}
|
|
||||||
|
|
||||||
ipc.server.off(event_key)
|
|
||||||
callback(torrent)
|
|
||||||
})
|
|
||||||
|
|
||||||
ipc.server.broadcast(processKey + '.add', data)
|
|
||||||
}
|
|
||||||
|
|
||||||
function remove (magnetUri, callback) {
|
|
||||||
var data = {
|
|
||||||
_id: magnetUri,
|
|
||||||
args: {
|
|
||||||
magnetUri: magnetUri
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if (!webtorrentnode.silent) logger.debug('Node wants to stop seeding %s.', data._id)
|
|
||||||
|
|
||||||
// Finish signal
|
|
||||||
var event_key = nodeKey + '.removeDone.' + data._id
|
|
||||||
ipc.server.on(event_key, function (received) {
|
|
||||||
if (!webtorrentnode.silent) logger.debug('Process removed torrent %s.', data._id)
|
|
||||||
|
|
||||||
var err = null
|
|
||||||
if (received.err) err = received.err
|
|
||||||
|
|
||||||
ipc.server.off(event_key)
|
|
||||||
callback(err)
|
|
||||||
})
|
|
||||||
|
|
||||||
ipc.server.broadcast(processKey + '.remove', data)
|
|
||||||
}
|
|
||||||
|
|
||||||
// ---------------------------------------------------------------------------
|
|
||||||
|
|
||||||
module.exports = webtorrentnode
|
|
||||||
})()
|
|
||||||
|
|
@ -1,92 +1,158 @@
|
||||||
;(function () {
|
;(function () {
|
||||||
'use strict'
|
'use strict'
|
||||||
|
|
||||||
function webtorrent (args) {
|
var config = require('config')
|
||||||
var WebTorrent = require('webtorrent')
|
|
||||||
var ipc = require('node-ipc')
|
var ipc = require('node-ipc')
|
||||||
|
var pathUtils = require('path')
|
||||||
|
var spawn = require('electron-spawn')
|
||||||
|
|
||||||
if (args.length !== 3) {
|
var logger = require('../helpers/logger')
|
||||||
console.log('Wrong arguments number: ' + args.length + '/3')
|
|
||||||
process.exit(-1)
|
|
||||||
}
|
|
||||||
|
|
||||||
var host = args[1]
|
var host = config.get('webserver.host')
|
||||||
var port = args[2]
|
var port = config.get('webserver.port')
|
||||||
var nodeKey = 'webtorrentnode' + port
|
var nodeKey = 'webtorrentnode' + port
|
||||||
var processKey = 'webtorrent' + port
|
var processKey = 'webtorrentprocess' + port
|
||||||
|
|
||||||
ipc.config.silent = true
|
ipc.config.silent = true
|
||||||
ipc.config.id = processKey
|
ipc.config.id = nodeKey
|
||||||
|
|
||||||
if (host === 'client' && port === '1') global.WEBTORRENT_ANNOUNCE = []
|
var webtorrent = {
|
||||||
else global.WEBTORRENT_ANNOUNCE = 'ws://' + host + ':' + port + '/tracker/socket'
|
add: add,
|
||||||
var wt = new WebTorrent({ dht: false })
|
app: null, // Pid of the app
|
||||||
|
create: create,
|
||||||
function seed (data) {
|
remove: remove,
|
||||||
var args = data.args
|
seed: seed,
|
||||||
var path = args.path
|
silent: false // Useful for beautiful tests
|
||||||
var _id = data._id
|
|
||||||
|
|
||||||
wt.seed(path, { announceList: '' }, function (torrent) {
|
|
||||||
var to_send = {
|
|
||||||
magnetUri: torrent.magnetURI
|
|
||||||
}
|
}
|
||||||
|
|
||||||
ipc.of[nodeKey].emit(nodeKey + '.seedDone.' + _id, to_send)
|
function create (options, callback) {
|
||||||
})
|
if (typeof options === 'function') {
|
||||||
|
callback = options
|
||||||
|
options = {}
|
||||||
}
|
}
|
||||||
|
|
||||||
function add (data) {
|
// Override options
|
||||||
var args = data.args
|
if (options.host) host = options.host
|
||||||
var magnetUri = args.magnetUri
|
if (options.port) {
|
||||||
var _id = data._id
|
port = options.port
|
||||||
|
nodeKey = 'webtorrentnode' + port
|
||||||
wt.add(magnetUri, function (torrent) {
|
processKey = 'webtorrentprocess' + port
|
||||||
var to_send = {
|
ipc.config.id = nodeKey
|
||||||
files: []
|
|
||||||
}
|
}
|
||||||
|
|
||||||
torrent.files.forEach(function (file) {
|
ipc.serve(function () {
|
||||||
to_send.files.push({ path: file.path })
|
if (!webtorrent.silent) logger.info('IPC server ready.')
|
||||||
|
|
||||||
|
// Run a timeout of 30s after which we exit the process
|
||||||
|
var timeout_webtorrent_process = setTimeout(function () {
|
||||||
|
logger.error('Timeout : cannot run the webtorrent process. Please ensure you have electron-prebuilt npm package installed with xvfb-run.')
|
||||||
|
process.exit()
|
||||||
|
}, 30000)
|
||||||
|
|
||||||
|
ipc.server.on(processKey + '.ready', function () {
|
||||||
|
if (!webtorrent.silent) logger.info('Webtorrent process ready.')
|
||||||
|
clearTimeout(timeout_webtorrent_process)
|
||||||
|
callback()
|
||||||
})
|
})
|
||||||
|
|
||||||
ipc.of[nodeKey].emit(nodeKey + '.addDone.' + _id, to_send)
|
ipc.server.on(processKey + '.exception', function (data) {
|
||||||
})
|
logger.error('Received exception error from webtorrent process.', { exception: data.exception })
|
||||||
}
|
process.exit()
|
||||||
|
|
||||||
function remove (data) {
|
|
||||||
var args = data.args
|
|
||||||
var magnetUri = args.magnetUri
|
|
||||||
var _id = data._id
|
|
||||||
|
|
||||||
try {
|
|
||||||
wt.remove(magnetUri, callback)
|
|
||||||
} catch (err) {
|
|
||||||
console.log('Cannot remove the torrent from WebTorrent.')
|
|
||||||
return callback(null)
|
|
||||||
}
|
|
||||||
|
|
||||||
function callback () {
|
|
||||||
var to_send = {}
|
|
||||||
ipc.of[nodeKey].emit(nodeKey + '.removeDone.' + _id, to_send)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
console.log('Configuration: ' + host + ':' + port)
|
|
||||||
console.log('Connecting to IPC...')
|
|
||||||
|
|
||||||
ipc.connectTo(nodeKey, function () {
|
|
||||||
ipc.of[nodeKey].on(processKey + '.seed', seed)
|
|
||||||
ipc.of[nodeKey].on(processKey + '.add', add)
|
|
||||||
ipc.of[nodeKey].on(processKey + '.remove', remove)
|
|
||||||
|
|
||||||
ipc.of[nodeKey].emit(processKey + '.ready')
|
|
||||||
console.log('Ready.')
|
|
||||||
})
|
})
|
||||||
|
|
||||||
process.on('uncaughtException', function (e) {
|
var webtorrent_process = spawn(__dirname + '/webtorrentProcess.js', host, port, { detached: true })
|
||||||
ipc.of[nodeKey].emit(processKey + '.exception', { exception: e })
|
webtorrent_process.stderr.on('data', function (data) {
|
||||||
|
// logger.debug('Webtorrent process stderr: ', data.toString())
|
||||||
})
|
})
|
||||||
|
|
||||||
|
webtorrent_process.stdout.on('data', function (data) {
|
||||||
|
// logger.debug('Webtorrent process:', data.toString())
|
||||||
|
})
|
||||||
|
|
||||||
|
webtorrent.app = webtorrent_process
|
||||||
|
})
|
||||||
|
|
||||||
|
ipc.server.start()
|
||||||
|
}
|
||||||
|
|
||||||
|
function seed (path, callback) {
|
||||||
|
var extension = pathUtils.extname(path)
|
||||||
|
var basename = pathUtils.basename(path, extension)
|
||||||
|
var data = {
|
||||||
|
_id: basename,
|
||||||
|
args: {
|
||||||
|
path: path
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!webtorrent.silent) logger.debug('Node wants to seed %s.', data._id)
|
||||||
|
|
||||||
|
// Finish signal
|
||||||
|
var event_key = nodeKey + '.seedDone.' + data._id
|
||||||
|
ipc.server.on(event_key, function listener (received) {
|
||||||
|
if (!webtorrent.silent) logger.debug('Process seeded torrent %s.', received.magnetUri)
|
||||||
|
|
||||||
|
// This is a fake object, we just use the magnetUri in this project
|
||||||
|
var torrent = {
|
||||||
|
magnetURI: received.magnetUri
|
||||||
|
}
|
||||||
|
|
||||||
|
ipc.server.off(event_key)
|
||||||
|
callback(torrent)
|
||||||
|
})
|
||||||
|
|
||||||
|
ipc.server.broadcast(processKey + '.seed', data)
|
||||||
|
}
|
||||||
|
|
||||||
|
function add (magnetUri, callback) {
|
||||||
|
var data = {
|
||||||
|
_id: magnetUri,
|
||||||
|
args: {
|
||||||
|
magnetUri: magnetUri
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!webtorrent.silent) logger.debug('Node wants to add ' + data._id)
|
||||||
|
|
||||||
|
// Finish signal
|
||||||
|
var event_key = nodeKey + '.addDone.' + data._id
|
||||||
|
ipc.server.on(event_key, function (received) {
|
||||||
|
if (!webtorrent.silent) logger.debug('Process added torrent.')
|
||||||
|
|
||||||
|
// This is a fake object, we just use the magnetUri in this project
|
||||||
|
var torrent = {
|
||||||
|
files: received.files
|
||||||
|
}
|
||||||
|
|
||||||
|
ipc.server.off(event_key)
|
||||||
|
callback(torrent)
|
||||||
|
})
|
||||||
|
|
||||||
|
ipc.server.broadcast(processKey + '.add', data)
|
||||||
|
}
|
||||||
|
|
||||||
|
function remove (magnetUri, callback) {
|
||||||
|
var data = {
|
||||||
|
_id: magnetUri,
|
||||||
|
args: {
|
||||||
|
magnetUri: magnetUri
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!webtorrent.silent) logger.debug('Node wants to stop seeding %s.', data._id)
|
||||||
|
|
||||||
|
// Finish signal
|
||||||
|
var event_key = nodeKey + '.removeDone.' + data._id
|
||||||
|
ipc.server.on(event_key, function (received) {
|
||||||
|
if (!webtorrent.silent) logger.debug('Process removed torrent %s.', data._id)
|
||||||
|
|
||||||
|
var err = null
|
||||||
|
if (received.err) err = received.err
|
||||||
|
|
||||||
|
ipc.server.off(event_key)
|
||||||
|
callback(err)
|
||||||
|
})
|
||||||
|
|
||||||
|
ipc.server.broadcast(processKey + '.remove', data)
|
||||||
}
|
}
|
||||||
|
|
||||||
// ---------------------------------------------------------------------------
|
// ---------------------------------------------------------------------------
|
||||||
|
|
|
||||||
95
lib/webtorrentProcess.js
Normal file
95
lib/webtorrentProcess.js
Normal file
|
|
@ -0,0 +1,95 @@
|
||||||
|
;(function () {
|
||||||
|
'use strict'
|
||||||
|
|
||||||
|
function webtorrent (args) {
|
||||||
|
var WebTorrent = require('webtorrent')
|
||||||
|
var ipc = require('node-ipc')
|
||||||
|
|
||||||
|
if (args.length !== 3) {
|
||||||
|
console.log('Wrong arguments number: ' + args.length + '/3')
|
||||||
|
process.exit(-1)
|
||||||
|
}
|
||||||
|
|
||||||
|
var host = args[1]
|
||||||
|
var port = args[2]
|
||||||
|
var nodeKey = 'webtorrentnode' + port
|
||||||
|
var processKey = 'webtorrentprocess' + port
|
||||||
|
|
||||||
|
ipc.config.silent = true
|
||||||
|
ipc.config.id = processKey
|
||||||
|
|
||||||
|
if (host === 'client' && port === '1') global.WEBTORRENT_ANNOUNCE = []
|
||||||
|
else global.WEBTORRENT_ANNOUNCE = 'ws://' + host + ':' + port + '/tracker/socket'
|
||||||
|
var wt = new WebTorrent({ dht: false })
|
||||||
|
|
||||||
|
function seed (data) {
|
||||||
|
var args = data.args
|
||||||
|
var path = args.path
|
||||||
|
var _id = data._id
|
||||||
|
|
||||||
|
wt.seed(path, { announceList: '' }, function (torrent) {
|
||||||
|
var to_send = {
|
||||||
|
magnetUri: torrent.magnetURI
|
||||||
|
}
|
||||||
|
|
||||||
|
ipc.of[nodeKey].emit(nodeKey + '.seedDone.' + _id, to_send)
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
function add (data) {
|
||||||
|
var args = data.args
|
||||||
|
var magnetUri = args.magnetUri
|
||||||
|
var _id = data._id
|
||||||
|
|
||||||
|
wt.add(magnetUri, function (torrent) {
|
||||||
|
var to_send = {
|
||||||
|
files: []
|
||||||
|
}
|
||||||
|
|
||||||
|
torrent.files.forEach(function (file) {
|
||||||
|
to_send.files.push({ path: file.path })
|
||||||
|
})
|
||||||
|
|
||||||
|
ipc.of[nodeKey].emit(nodeKey + '.addDone.' + _id, to_send)
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
function remove (data) {
|
||||||
|
var args = data.args
|
||||||
|
var magnetUri = args.magnetUri
|
||||||
|
var _id = data._id
|
||||||
|
|
||||||
|
try {
|
||||||
|
wt.remove(magnetUri, callback)
|
||||||
|
} catch (err) {
|
||||||
|
console.log('Cannot remove the torrent from WebTorrent.')
|
||||||
|
return callback(null)
|
||||||
|
}
|
||||||
|
|
||||||
|
function callback () {
|
||||||
|
var to_send = {}
|
||||||
|
ipc.of[nodeKey].emit(nodeKey + '.removeDone.' + _id, to_send)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
console.log('Configuration: ' + host + ':' + port)
|
||||||
|
console.log('Connecting to IPC...')
|
||||||
|
|
||||||
|
ipc.connectTo(nodeKey, function () {
|
||||||
|
ipc.of[nodeKey].on(processKey + '.seed', seed)
|
||||||
|
ipc.of[nodeKey].on(processKey + '.add', add)
|
||||||
|
ipc.of[nodeKey].on(processKey + '.remove', remove)
|
||||||
|
|
||||||
|
ipc.of[nodeKey].emit(processKey + '.ready')
|
||||||
|
console.log('Ready.')
|
||||||
|
})
|
||||||
|
|
||||||
|
process.on('uncaughtException', function (e) {
|
||||||
|
ipc.of[nodeKey].emit(processKey + '.exception', { exception: e })
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
// ---------------------------------------------------------------------------
|
||||||
|
|
||||||
|
module.exports = webtorrent
|
||||||
|
})()
|
||||||
|
|
@ -37,7 +37,7 @@
|
||||||
var routes = require('./controllers')
|
var routes = require('./controllers')
|
||||||
var utils = require('./helpers/utils')
|
var utils = require('./helpers/utils')
|
||||||
var videos = require('./lib/videos')
|
var videos = require('./lib/videos')
|
||||||
var webtorrent = require('./lib/webTorrentNode')
|
var webtorrent = require('./lib/webtorrent')
|
||||||
|
|
||||||
// Get configurations
|
// Get configurations
|
||||||
var port = config.get('listen.port')
|
var port = config.get('listen.port')
|
||||||
|
|
|
||||||
|
|
@ -6,7 +6,7 @@
|
||||||
var expect = chai.expect
|
var expect = chai.expect
|
||||||
|
|
||||||
var utils = require('./utils')
|
var utils = require('./utils')
|
||||||
var webtorrent = require(__dirname + '/../../lib/webTorrentNode')
|
var webtorrent = require(__dirname + '/../../lib/webtorrent')
|
||||||
webtorrent.silent = true
|
webtorrent.silent = true
|
||||||
|
|
||||||
describe('Test multiple pods', function () {
|
describe('Test multiple pods', function () {
|
||||||
|
|
|
||||||
|
|
@ -6,7 +6,7 @@
|
||||||
var expect = chai.expect
|
var expect = chai.expect
|
||||||
var fs = require('fs')
|
var fs = require('fs')
|
||||||
|
|
||||||
var webtorrent = require(__dirname + '/../../lib/webTorrentNode')
|
var webtorrent = require(__dirname + '/../../lib/webtorrent')
|
||||||
webtorrent.silent = true
|
webtorrent.silent = true
|
||||||
|
|
||||||
var utils = require('./utils')
|
var utils = require('./utils')
|
||||||
|
|
|
||||||
Loading…
Reference in a new issue