Comments (6)
Hi, can you give info for reproducibility? What language, what model, what min-chunk-size, do you use VAD?
It might be expected behavior. When two consecutive updates do not agree on a prefix, then it takes a long time to.
Someone in #39 suggested Voice Activity controller that would commit right after 500 seconds of silence. I implemented it in a branch. It works fine but it's not yet finished to be merged to master.
from whisper_streaming.
Thank you for your quick response!
I tried Japanese, Chinese and English, in case starting from any of them and then mixed with
another for several minutes and back to the original, the output is like some previous content.
I am using the default and not sure if VAD is selected.
python3 ./whisper_online_server.py --model_dir /faster-whisper-large-v2/ --port 50001 --lan en
output:
Japanese:----------------------------------------------------------------
963850 964230 まあ、
964350 967470 すイストまで書いたから次はあれだな
967590 978550 みたいな。今まで何書いたかっていうのに応じて次を出します。というわけで、今まで書いたやつ一つ前までの単語っていうのを下からバンって突っ込んでやるんですよね。で、次のを出すっていうのが基本的な
978550 978950 エンコーダ
978950 982870 ー、デコーダーモデルでございます。というわけで、前までの単語をバンって突っ込
982870 987230 んで、ポジショナルエンコーディングもボンって突っ込んで、ここからウニョーンとやります。
987710 988930 なんかマルチヘッドアテンション
988930 990790 やって、ノーマリゼーションやって、で、
990790 999310 でここ、2個目のマルチヘッドアテンションのところに入力の意味をバーンって突っ込んで、なんかやってやって、でノーマリゼーションして、でフィードファワード
Chinese:----------------------------------------------------------------
999310 1000950 やってノーマリゼーションしてっていう感じ
1000950 1002370 でなります。というわけ
1002370 1005200 で処理して、処理して、処理して、進む
1005200 1005860 っていう、これまたバ
1005860 1015280 ーって6回繰り返します。えー気になってきた一応マルチヘッドアテンションって何者?こいつが何者かは次に紹介しますけど、とにかくこんなシステムを6回やってボンって出して、
1015550 1017510 でこんなシステムを6回やってボンって出して、
1017910 1019770 そしたらまたベクトル列が出てきてるわけです
1019770 1020850 けど、最後の2つ
1020850 1023250 では、はい、リニ
1023250 1027530 ア変形変換とソフトマックスをやることによって確率にしてやります。
1027970 1032360 ちょっと書きましょう。はい、こんな感じでございます。
1032780 1034220 まあ、とにかくね、入力した数
1034240 1034860 だけ爆音
1034860 1038300 が出ているので、それぞれに線形変換をかましてやって、今まで圧
1038300 1040520 縮した世界の中で処理していたのを一気に単語
1040520 1042400 の次元のベクトルまで伸ばしてやります。
1042820 1045020 単語数まで伸ばしてやったやつにソフトマックスを
1045020 1046020 かけて確率にします
1046020 1046150 ね
1046150 1050670 って、まあ標準的なことが行われております。はい、というわけで
1050670 1052810 トランスフォーマーの全体像については
1052810 1053530 こんな感じです。
1053850 1054990 なんかあんま複雑なこと
1054990 1055650 をやってない
1055650 1058750 んですよね。入力をベクトルにして、まあポジショナルエンコ
1058750 1062590 ーディングってのはちょっと工夫が入ってますね。入力をベクトルにして何文字目だよ
1062590 1068290 っていうのを突っ込んだ後、マルチヘッドアテンションとフィードファワードをやっているのを6回繰り。
1068290 1068290 る。
Japanese:----------------------------------------------------------------
1111890 1244620 電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電子レンジで電
from whisper_streaming.
Lost some transcripts using the vad branch:
32870 33550 コンタクトを取れ
33990 39190 テンサー作動せよ もうやってますよ地域 異常なし
39690 40430 放射能
40830 41550 検知センス
41690 68030 どうしたのかしら立花教授の息子さんだねこちら古生団体の時子何人目なの
169580 170100 ミサイル
170100 171480 だろって誰が誰を打ったって
171480 171720 言うんだ
from whisper_streaming.
When you use --lan en
, it expects that you speak English. Whisper is multi-lingual and robust and sometimes works on the "wrong" language, but it's an undocumented feature.
from whisper_streaming.
thanks for your comments, when I was transcribing a 'wav' file, it spent some time to detect the language until I give the '--lan' option. I will try no-lang option on stream.
BTW, whisper also supports translate, while it only output the translated text.
Is there an option to get both the original and the target languages like google translate?
from whisper_streaming.
thanks for your comments, when I was transcribing a 'wav' file, it spent some time to detect the language until I give the '--lan' option. I will try no-lang option on stream.
Speech language ID is not currently implemented in Whisper-Streaming, unlike in the offline Whisper.
Is there an option to get both the original and the target languages like google translate?
you can use two parallel instances of Whisper-Streaming. Batching for 2 outputs at once is currently not supported.
from whisper_streaming.
Related Issues (20)
- Server and Client for Web App HOT 1
- How to start the command correctly:whisper_online_server.py HOT 1
- can dubbing be done in real-time with 3060 12gb ? HOT 1
- About LocalAgreement HOT 1
- Link about the research paper seem broken HOT 2
- TypeError: Translations.create() got an unexpected keyword argument 'timestamp_granularities' HOT 2
- `tgt_language undefined` problem on `main` HOT 2
- Can't run from windows the command of recording from mic HOT 2
- Tracking down delay HOT 2
- --model_path Never Work! HOT 6
- How to use whisper_online_server.py on macOS HOT 2
- Help to to run the program to transcirbe real time audio from mic HOT 1
- [BUG] Unnecessary socket re-creation inside with statement in whisper_online_server.py HOT 3
- Use of another backend HOT 2
- OpenAi Api not adding punctuation HOT 11
- OpenAI Whisper is not working anymore as a backend for whisper_streaming HOT 7
- Could this impletemented with micphone as voice input? HOT 1
- unexpected slow speed HOT 3
- [Quesion] about embedding whisper on deivce? HOT 1
- bilgi/ instructions notice learning HOT 2
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from whisper_streaming.