Raspberry Pi 4 lėtai siunčia failus iš int erneto

bat0nas, 7th Dec 2020 3:07 pm GMT+0200 permalink

Kas nors turit Pi 4? Išbandykite, kokia sparta siunčia naršyklė ar
torrent klientai (transmission, deluge), kokią spartą duoda per naršyklę
paleistas speedtest.net ar fast.com.

Esmė, kad mano atveju visi tie dalykai duoda max 170Mbps (kas yra ~20MB/s).

Tačiau:

Speedtest CLI (ne naršyklė ir ne kt. appsai) rezultatas - 572Mbps = ~70MB/s
(testuojant tiesiog su speedtest komanda)

Įrašymo į išorinį HDD greitis - ~70MB/s
(Testuojant su sudo dd if=/dev/zero of=./speedTestFile bs=100M count=5
oflag=direct)

Tai kur čia bottleneck'as? Kodėl programos nesugeba tų greičių išnaudoti?

Raspberry instaliacija - default.
Internetas - OK (kituose namų ūkio prie LAN prijungtuose PC gaunam 1Gbps).

Rrr, 7th Dec 2020 3:42 pm GMT+0200 permalink

Ijunk jeigu isjungta ir padidink disk cache torrent kliente. Padaryk
koki 128 MB. Isjunk balooninga (kad kai nenaudojama, cache nesumazetu).

On 2020-12-07 15:07, bat0nas wrote:

Kas nors turit Pi 4? Išbandykite, kokia sparta siunčia naršyklė ar
torrent klientai (transmission, deluge), kokią spartą duoda per naršyklę
paleistas speedtest.net ar fast.com.

Esmė, kad mano atveju visi tie dalykai duoda max 170Mbps (kas yra ~20MB/s).

Tačiau:

Speedtest CLI (ne naršyklė ir ne kt. appsai) rezultatas - 572Mbps = ~70MB/s
(testuojant tiesiog su speedtest komanda)

Įrašymo į išorinį HDD greitis - ~70MB/s
(Testuojant su sudo dd if=/dev/zero of=./speedTestFile bs=100M count=5
oflag=direct)

Tai kur čia bottleneck'as? Kodėl programos nesugeba tų greičių išnaudoti?

Raspberry instaliacija - default.
Internetas - OK (kituose namų ūkio prie LAN prijungtuose PC gaunam 1Gbps).
- bat0nas, 7th Dec 2020 10:28 pm GMT+0200 permalink
  
  On 2020-12-07 15:42, Rrr wrote:
  
  Ijunk jeigu isjungta ir padidink disk cache torrent kliente. Padaryk
  koki 128 MB. Isjunk balooninga (kad kai nenaudojama, cache nesumazetu).
  
  Na čia reikės turbūt ar eksperimentų arba pagalbos.
  Didinant disk casche nustatymą torrent klientuose - greitis lėtėdavo.
  - fanas, 8th Dec 2020 10:00 am GMT+0200 permalink
    
    Man panasiai budavo su win - sukisa viska i cache, o diskas
    apkrautas 100proc ir stovi viskas kol diskas po truputi iraso.
    Pakeitus torrent klienta susitvarke.
    
    --
    
    bat0nas bat0nas.ok@gmail.com Wrote in message:r
    
    On 2020-12-07 15:42, Rrr wrote:> Ijunk jeigu isjungta ir padidink disk cache torrent kliente. Padaryk > koki 128 MB. Isjunk balooninga (kad kai nenaudojama, cache nesumazetu).> > Na čia reikės turbūt ar eksperimentų arba pagalbos.Didinant disk casche nustatymą torrent klientuose - greitis lėtėdavo.
    
    ----Android NewsGroup Reader----
    https://piaohong.s3-us-west-2.amazonaws.com/usenet/index.html
    - bat0nas, 8th Dec 2020 11:55 am GMT+0200 permalink
      
      On 12/8/20 10:00 AM, fanas wrote:
      
      Man panasiai budavo su win - sukisa viska i cache, o diskas
      apkrautas 100proc ir stovi viskas kol diskas po truputi iraso.
      Pakeitus torrent klienta susitvarke.
      
      Pakeitus į qBittorrent - beveik susitvarkė (50MB/s pavyksta).
      Įranga (Internetas, pi 4, USB HDD arba kiekvienas komponentas atskirai)
      pajėgi įrašyti 70MB/s.
      
      Tad įdomu, ar čia kažką dar galima išspausti.
      - Caponi, 8th Dec 2020 12:42 pm GMT+0200 permalink
        
        Apie tuos pradvynutus kalkuliatorius (Pi) nežinau nieko, ale bendro
        pobūdžio pastebėjimas būtų, kad "linijinis" duomenų perdavimo testas yra
        visiškai ne tas pats, kas torrentų siurbimas ir netgi drįsčiau teigt,
        kad tavo skaičiai labai neblogai atrodo.
        
        --
        Caponi
        http://caponi.skelbimai.lt/
        
        On 2020-12-08 11:55, bat0nas wrote:
        
        On 12/8/20 10:00 AM, fanas wrote:
        
        Man panasiai budavo su win - sukisa viska i cache, o diskas
        apkrautas 100proc ir stovi viskas kol diskas po truputi iraso.
        Pakeitus torrent klienta susitvarke.
        
        Pakeitus į qBittorrent - beveik susitvarkė (50MB/s pavyksta).
        Įranga (Internetas, pi 4, USB HDD arba kiekvienas komponentas atskirai)
        pajėgi įrašyti 70MB/s.
        
        Tad įdomu, ar čia kažką dar galima išspausti.
        
        bat0nas, 8th Dec 2020 1:01 pm GMT+0200 permalink
        
        On 12/8/20 12:42 PM, Caponi wrote:
        
        Apie tuos pradvynutus kalkuliatorius (Pi) nežinau nieko, ale bendro
        pobūdžio pastebėjimas būtų, kad "linijinis" duomenų perdavimo testas yra
        visiškai ne tas pats, kas torrentų siurbimas ir netgi drįsčiau teigt,
        kad tavo skaičiai labai neblogai atrodo.
        
        Man irgi jau neblogai atrodo tas 50MB/s su kalkuliatoriumi + USB HDD.
        
        Patikrinsiu idealiom sąlygom tą patį torrent su PC (1Gbps + super duper
        PC su super duper Ryzen + samsung nvme ssd pci 3).
        Gal rimtai aš čia per daug tikiuosi iš to Pi.
        
        Caponi, 8th Dec 2020 3:05 pm GMT+0200 permalink
        
        Jei tau linijinis duomenų srautas per visą Pi sistemą pereina 70MBps
        greičiu, tai su torrentais turėt 50MBps yra kaip minimum labai neblogai.
        Su "super duper" kompu nėr ten ką labai tikrint, ribojantis veiksnys bus
        interneto greitis, t.y. pamatysi skaičių artimą 1Gbps :-)
        
        --
        Caponi
        http://caponi.skelbimai.lt/
        
        On 2020-12-08 13:01, bat0nas wrote:
        
        On 12/8/20 12:42 PM, Caponi wrote:
        
        Apie tuos pradvynutus kalkuliatorius (Pi) nežinau nieko, ale bendro
        pobūdžio pastebėjimas būtų, kad "linijinis" duomenų perdavimo testas
        yra visiškai ne tas pats, kas torrentų siurbimas ir netgi drįsčiau
        teigt, kad tavo skaičiai labai neblogai atrodo.
        
        Man irgi jau neblogai atrodo tas 50MB/s su kalkuliatoriumi + USB HDD.
        
        Patikrinsiu idealiom sąlygom tą patį torrent su PC (1Gbps + super duper
        PC su super duper Ryzen + samsung nvme ssd pci 3).
        Gal rimtai aš čia per daug tikiuosi iš to Pi.
Remigijus, 7th Dec 2020 4:44 pm GMT+0200 permalink

Pažiūrėk ar neapkrautas kontroleris su iotop ar iostat. Dar patikrink ir
cpu apkrovą torrent klientai kiek pamenu naudoja 1 corą ir vienu metu ir
skaito ir rašo daug random operacijų (šitai labai nepatinka USB
kontroleriam). Dar labai priklauso ir nuo failų sistemos (btrfs su
torentais labai nedraugauja).

On 2020-12-07 15:07, bat0nas wrote:

Kas nors turit Pi 4? Išbandykite, kokia sparta siunčia naršyklė ar
torrent klientai (transmission, deluge), kokią spartą duoda per naršyklę
paleistas speedtest.net ar fast.com.

Esmė, kad mano atveju visi tie dalykai duoda max 170Mbps (kas yra ~20MB/s).

Tačiau:

Speedtest CLI (ne naršyklė ir ne kt. appsai) rezultatas - 572Mbps = ~70MB/s
(testuojant tiesiog su speedtest komanda)

Įrašymo į išorinį HDD greitis - ~70MB/s
(Testuojant su sudo dd if=/dev/zero of=./speedTestFile bs=100M count=5
oflag=direct)

Tai kur čia bottleneck'as? Kodėl programos nesugeba tų greičių išnaudoti?

Raspberry instaliacija - default.
Internetas - OK (kituose namų ūkio prie LAN prijungtuose PC gaunam 1Gbps).
- bat0nas, 7th Dec 2020 10:27 pm GMT+0200 permalink
  
  On 2020-12-07 16:44, Remigijus wrote:
  
  Pažiūrėk ar neapkrautas kontroleris su iotop ar iostat. Dar patikrink ir
  cpu apkrovą torrent klientai kiek pamenu naudoja 1 corą ir vienu metu ir
  skaito ir rašo daug random operacijų (šitai labai nepatinka USB
  kontroleriam). Dar labai priklauso ir nuo failų sistemos (btrfs su
  torentais labai nedraugauja).
  
  Įsidiegiau į qBitorrent ir vaizdas kiek geresnis:
  top komanda rodo, kad CPU apkrautas 120% ir daugiau (su deluge ir
  transmission buvo apkrautas lygiai 100%). Tad darau prielaidą, kad
  qBittorrent naudoja daugiau nei 1 core.
  
  Siuntimo greitis pasidarė 45-50MB/s (tarkim topindavo 400Mbps). Jau
  geriau, nes deluge ir transmission - tik 170Mbps.
  
  Įsidiegiau iotop, tačiau kol kas nežinau, kaip suprasti, ką matau ekrane
  (siuntimo metu ten viskas chaotiškai keičiasi).
  
  Faktas, kad jau kažkokia minimali, tačiau jau sėkmė.
  
  Kaip tuos io duomenis interpretuoti?
  qBittorrent turi krūvą nustatymų. Kas nors juos bandėt tiuninti?
  - Pirmininkas, 8th Dec 2020 3:13 pm GMT+0200 permalink
    
    Pabandyt idiegt htop, jis vizualizuoja kiekvieno core apkrova.
    O Deluge ir ant normalaus PC stabdis, tiesiog kreivas softas
    ir tiek
    
    On 2020-12-07 22:27, bat0nas wrote:
    
    On 2020-12-07 16:44, Remigijus wrote:
    
    Pažiūrėk ar neapkrautas kontroleris su iotop ar iostat. Dar patikrink
    ir cpu apkrovą torrent klientai kiek pamenu naudoja 1 corą ir vienu
    metu ir skaito ir rašo daug random operacijų (šitai labai nepatinka
    USB kontroleriam). Dar labai priklauso ir nuo failų sistemos (btrfs su
    torentais labai nedraugauja).
    
    Įsidiegiau į qBitorrent ir vaizdas kiek geresnis:
    top komanda rodo, kad CPU apkrautas 120% ir daugiau (su deluge ir
    transmission buvo apkrautas lygiai 100%). Tad darau prielaidą, kad
    qBittorrent naudoja daugiau nei 1 core.
    
    Siuntimo greitis pasidarė 45-50MB/s (tarkim topindavo 400Mbps). Jau
    geriau, nes deluge ir transmission - tik 170Mbps.
    
    Įsidiegiau iotop, tačiau kol kas nežinau, kaip suprasti, ką matau ekrane
    (siuntimo metu ten viskas chaotiškai keičiasi).
    
    Faktas, kad jau kažkokia minimali, tačiau jau sėkmė.
    
    Kaip tuos io duomenis interpretuoti?
    qBittorrent turi krūvą nustatymų. Kas nors juos bandėt tiuninti?
  - Remigijus, 8th Dec 2020 7:04 pm GMT+0200 permalink
    
    $iotop komanda išrūšiuoja procesus, pagal disko naudojimą. IO stulpelyje
    rodo kiek % visų disko operacijų tenka procesui.
    
    $iostat /m /dev/sd* 1 rodo visų diskų apkrautumą %iowait rodo kiek %
    laiko yra laukiama disko, %idle parodo kiek % laisvas yra cpu
    
    Visai nesenai rinkausi torrent klientą savo celeronui J3355. Jis dėl CPU
    problemų neturį, bet pradėjo stabdyt laptopinis 5400 rpm diskas. Su
    daugiau paleistų torrentų uploadas buvo max 30 Mbps, o iš disko skaitė
    5-15 MB/s. Problema pasirodė btrfs'e. Jis ten skaitydamas duomenis
    skaičiuoja backgrounde cheksumus ir dėl to nuskaito daug daugiau nei
    reikalauja programa. Išsprendžiau šitą bėdą įdėjęs kitą diską su XFS
    sistema (manau ir ext4 būtų užtekę). Detektuot problemai pagelbėjo
    netdata programa.
    
    Tas diskas su btrfs per smb siunčia iki 36 MB/s, kitas labai panašus su
    XFS ~80 MB/s. Nesu užtikrintas ar tas diskas lėtas ar failų sistemos
    tiek skiriasi. Ateityje pabandysiu pakeisti aš jo failų sistemą ir
    įsitikinsiu kas iš tikro kaltas.
    
    Išbandžiau transmission, deluge, qBittorrent ir rutorrent klientus. Tai
    jie visi smarkiai baudžia HDD. programose nustatytas disk kešas visiškai
    nepadeda (tik daugiau RAM ryja), ram kiekis ar 4GB ar 16GB irgi jokio
    skirtumo. Padeda tik įjungtas disk write kešas, bet tik siuntimui.
    Išbandęs pasilikau ruTorrent (pasirodė kad jis labai agresyviai
    uploadina). Lengviausias klientas ir man pasirodė qBittorrent, bet
    netestavu.
    
    Pastebėjau, kad bent jau diską daug mažiau kankina ir greičiau siunčia
    ir išsiunčia tada kai būna mažiau atidarytų download ir upload slotų. 2
    slotai per torrentą ir 10 slotų bendrai labai mažai apkrauna tinklą ir
    diską, bet siunčia max greičiu (nes torentų klientai nedurni ir greit
    susiranda iš ko greičiausiai siųsti).
    
    P.S. savo Raspberį naudoju pagal paskirtį (GPIO), neturiu tiek
    fantazijos, kad kam nors kitam panaudočiau.

Usenet @ RKM

Raspberry Pi 4 lėtai siunčia failus iš int erneto

A short format overview