climateprediction.net home page
One task for all processor cores / threads

One task for all processor cores / threads

Questions and Answers : Wish list : One task for all processor cores / threads
Message board moderation

To post messages, you must log in.

AuthorMessage
Onur Ulusoy

Send message
Joined: 13 Mar 08
Posts: 4
Credit: 303,482
RAC: 0
Message 61747 - Posted: 20 Dec 2019, 17:46:00 UTC
Last modified: 20 Dec 2019, 17:48:29 UTC

Hello. It is no longer up-to-date for a processor with multiple computer units to use only one thread. These more core processors are designed to solve a task quickly and efficiently. This can also be seen in video editing, drawing, coding, decoding, etc. The tasks you distribute are only for a processor that has only one core. This artificially delays or extends the computing time. Not everyone has multiple PCs or servers. Some use the PC at night or during the day. Others only let Boinc work if the PC is idle or not in use. Therefore, many people have left this project and similar applications in Boinc. One should not be surprised if people stay away. You also need to advertise that you use all processor cores (threads) for one task and that you are no longer using only one thread as you used to. Don't you see that yourself, which doesn't progress with just one thread? You have to revise that. I stopped your project. This just doesn't make sense to use a thread for a task under a processor with multiple cores. Please improve this and forward it to those who program it. Translated with Bing from German to English.

Original - deutsch/german

Hallo. Es ist nicht mehr Zeitgemäß für einen Prozessor mit mehreren Rechnereinheiten nur einen thread zu nutzten. Diese mehr Kern Prozessoren sind dafür gedacht eine Aufgabe schnell und Effizient zu lösen. Das zeigt sich auch unter der Videobearbeitung, beim zeichnen, kodieren, dekodieren usw. Die Aufgaben die ihr verteilt sind nur für einen Prozessor der nur einen Kern hat. Dies verzögert bzw. verlängert künstlich die Rechenzeit. Nicht jeder hat mehrere PC´s oder Server. Einige nutzen den PC nachts oder auch tagsüber. Andere wiederum lassen Boinc nur dann arbeiten, wenn der PC im Leerlauf bzw. nicht genutzt wird. Daher haben viele Menschen dieses Projekt und ähnliche Anwendungen in Boinc verlassen. Da darf man sich nicht wundern, wenn die Leute weg bleiben. Ihr müsst auch Werbung machen, dass ihr für eine Aufgabe alle Prozessor Kerne (threads) genutzt werden und nicht mehr wie früher nur ein thread genutzt wird. Seht ihr das selbst nicht, das mit nur einem thread nicht weiter vorankommt? Ihr müsst das überarbeiten. Bei mir habe ich eurer Projekt gestoppt. Das macht einfach keinen sinn nur einen thread für eine Aufgabe unter einem Prozessor mit mehreren kernen zu nutzen. Verbessert diese bitte und leitet es an diejenigen weiter die diese programmieren. Übersetzt mit Bing von deutschen in das englische.
ID: 61747 · Report as offensive     Reply Quote
Les Bayliss
Volunteer moderator

Send message
Joined: 5 Sep 04
Posts: 7629
Credit: 24,240,330
RAC: 0
Message 61748 - Posted: 20 Dec 2019, 18:03:14 UTC - in response to Message 61747.  

That has been tried several times, but it doesn't provide viable science.

The method used here works, and it does the job. And there's thousands of people and computers running the models.
If you have 32 processor cores, then run 32 different models.
Just have LOTS of memory.
ID: 61748 · Report as offensive     Reply Quote
Profile JIM

Send message
Joined: 31 Dec 07
Posts: 1152
Credit: 22,053,321
RAC: 4,417
Message 61751 - Posted: 20 Dec 2019, 19:52:28 UTC - in response to Message 61748.  

That has been tried several times, but it doesn't provide viable science.

If you have 32 processor cores, then run 32 different models.
Just have LOTS of memory.


Maybe, considering the extremely small amount of Windows work available they should find a way to limit the number of cores that these 32 and 64 core processors can download a one time. There is no reason to allow these machines to hog all the available WU’s. I think 8 WU’s per machine at a time would be a reasonable limit.
ID: 61751 · Report as offensive     Reply Quote
Onur Ulusoy

Send message
Joined: 13 Mar 08
Posts: 4
Credit: 303,482
RAC: 0
Message 61759 - Posted: 21 Dec 2019, 17:59:21 UTC - in response to Message 61748.  

@Les Bayliss

Use Bing ore Google translator, please. I understanding from reading only 25 - 75% not more!
ID: 61759 · Report as offensive     Reply Quote
Onur Ulusoy

Send message
Joined: 13 Mar 08
Posts: 4
Credit: 303,482
RAC: 0
Message 61760 - Posted: 21 Dec 2019, 18:01:19 UTC - in response to Message 61751.  

@JIM

Use Bing ore Google translator, please. I understanding from reading only 25 - 75% not more!
ID: 61760 · Report as offensive     Reply Quote
Les Bayliss
Volunteer moderator

Send message
Joined: 5 Sep 04
Posts: 7629
Credit: 24,240,330
RAC: 0
Message 61762 - Posted: 21 Dec 2019, 19:01:48 UTC

Das wurde schon mehrmals versucht, aber es liefert keine brauchbare Wissenschaft.

Die hier verwendete Methode funktioniert und sie erledigt den Job. Und es gibt Tausende von Menschen und Computern, auf denen die Modelle laufen.
Wenn Sie 32 Prozessorkerne haben, führen Sie 32 verschiedene Modelle aus.
Habe einfach VIEL Gedächtnis.
ID: 61762 · Report as offensive     Reply Quote
Roland Harm Koopman

Send message
Joined: 9 May 19
Posts: 1
Credit: 150,049
RAC: 0
Message 62294 - Posted: 10 Apr 2020, 6:39:36 UTC

GPU grid got the answer.
You can only download 2 workunits for each computer.
This can not be a difficult thing to program in to te server.
ID: 62294 · Report as offensive     Reply Quote
Andreas Kübrich

Send message
Joined: 26 Jan 17
Posts: 1
Credit: 690,094
RAC: 0
Message 62296 - Posted: 10 Apr 2020, 15:27:12 UTC

@Onur:

Ich bin bei so einigen BOINC-Projekten dabei und bei allen von denen sind CPU-Applications single-threaded. Es ist bei BOINC Standard, dass einzelne CPU-Applications nur mit einem Thread Berechnungen anstellen und dass Clients dann aber immer mehrere Tasks gleichzeitig am Laufen haben. Im Endeffekt ist es ja bei BOINC auch egal, wie schnell eine einzelne Workunit durchläuft – das ganze Prinzip ist ja, dass ganz viele verschiedene WUs parallel von vielen verschiedenen Rechnern verarbeitet werden!

Es hat noch einen weiteren Vorteil: du kannst verschiedene Kerne für verschiedene Projekten rechnen lassen. Ich habe z. B. ein Linux, auf dem grundsätzlich einmal cpdn und gleichzeitig auch zweimal Rosetta@home laufen.



I’m participating in quite a few BOINC projects and in all of them, CPU applications are single threaded. It’s the standard with BOINC that single CPU applications only use one thread for computation while clients are always running multiple tasks in parallel. And it doesn’t matter in the end how quickly one workunit gets done – it’s the whole principle of BOINC that many different WUs are processed in parallel by many different machines!

There’s another advantage: you can have different cores computing for different projects. For instance, I have a Linux machine that generally runs one cpdn and two Rosetta@home tasks at the same time.
ID: 62296 · Report as offensive     Reply Quote
KAMasud

Send message
Joined: 6 Oct 06
Posts: 204
Credit: 7,608,986
RAC: 0
Message 62341 - Posted: 26 Apr 2020, 10:51:06 UTC

1) You can use Google Translate also if you want to convert from English to whichever language required. Just copy and paste it in to translate. Maybe not 100% correct but legible.

1) Sie können Google Translate auch verwenden, wenn Sie von Englisch in die gewünschte Sprache konvertieren möchten. Kopieren Sie es einfach und fügen Sie es ein, um es zu übersetzen. Vielleicht nicht 100% korrekt, aber lesbar.

2) Les, there are lots of Work Units out in the bright blue yonder for years. Their completion dates have come and gone but still being shown as work under progress. There should be a cut off date after which they should be reissued. "UK Met Office Coupled Model Full Resolution Ocean" 927 WU under progress with no response for ages. "UK Met Office HadCM3 short" 1399 WU under progress rest, ditto. Then we have "Weather At Home 2 (wah2) (region independent)" 4759 WU under progress rest, ditto.
As to how many of these are in limbo 28017 with 17 reporting ", Weather At Home 2 (wah2)" God knows or maybe the server does.
It seems Housekeeping or Housecleaning is required bad.

While we are sitting at home and twiddling our thumbs looking towards Climateprediction.net.
I only do GPU computing for other projects while all my CPU's are dedicated to Climate and sitting idle. Maybe I might wire brush them so they do not rust.
Regards.

2) Les, es gibt seit Jahren viele Arbeitseinheiten im hellblauen Jenseits. Ihre Fertigstellungstermine sind gekommen und gegangen, werden aber immer noch als laufende Arbeiten angezeigt. Es sollte einen Stichtag geben, nach dem sie erneut ausgestellt werden sollten. "UK Met Office Coupled Model mit voller Auflösung Ocean" 927 WU in Bearbeitung, seit Ewigkeiten ohne Antwort. "UK Met Office HadCM3 kurz" 1399 WU in Bearbeitung ruhen, dito. Dann haben wir "Weather At Home 2 (wah2) (region unabhängig)" 4759 WU in Bearbeitung, dito.
Wie viele davon sich in der Schwebe befinden 28017 mit 17 Berichten ", Weather At Home 2 (wah2)" Gott weiß oder vielleicht tut es der Server.
Es scheint, dass Housekeeping oder Housecleaning schlecht erforderlich sind.

Während wir zu Hause sitzen und mit den Daumen nach Climateprediction.net schauen.
Ich mache GPU-Computing nur für andere Projekte, während alle meine CPUs dem Klima und dem Leerlauf gewidmet sind. Vielleicht bürste ich sie mit Drahtbürsten, damit sie nicht rosten.
Grüße.

Help us poor souls, someone.
ID: 62341 · Report as offensive     Reply Quote
Profile Dave Jackson
Volunteer moderator

Send message
Joined: 15 May 09
Posts: 4314
Credit: 16,378,503
RAC: 3,632
Message 62344 - Posted: 27 Apr 2020, 8:59:15 UTC - in response to Message 62294.  

GPU grid got the answer.
You can only download 2 workunits for each computer.
This can not be a difficult thing to program in to te server.


There are big differences in how GPUs and CPUs operate and this is reflected in the BOINC server code. If you have a computer with 4 GPU cards installed, it can download 4 GPU tasks from GPU grid. As far as I am aware the GPUgrid limit is 2 tasks/GPU card. I suspect the limit is more down to the type of tasks GPU grid send out than any attempt to limit how much work individual computers can hog.
ID: 62344 · Report as offensive     Reply Quote
Onur Ulusoy

Send message
Joined: 13 Mar 08
Posts: 4
Credit: 303,482
RAC: 0
Message 62674 - Posted: 3 Sep 2020, 18:32:29 UTC - in response to Message 62296.  

@Andreas Kübrich <> ich bin seit seti@home (damals über analoges Modem) dabei bzw. habe auch später BOiNC installiert & hatte auch mal über 20 Projekte am laufen. Also daher kenne ich das schon bzw. weiß ich schon worüber ich schreibe. Dieses Wissen habe ich am Anfang dieses Beitrags nicht geteilt. Vor einigen Monaten habe ich die Projekte eingestellt bzw. BOiNC deinstalliert. Was die schreiben mit einer Aufgabe nur einen Kern zu beauftragen ist einfach für ein mehr Kern Prozessor nicht optimal. Ich kenne Projekte bei denen alle Kerne genutzt werden. Wenn die einen meinen es wurde schon oft versucht und hat nicht funktioniert, schreibe ich nur schlampige Programmierung!

I have been there since seti@home (then via analog modem) or have also later installed BOiNC & had more than 20 projects on the run. So that's why I already know this or I already know what I'm writing about. I did not share this knowledge at the beginning of this post. A few months ago I stopped the projects or uninstalled BOiNC. What the write with a task to assign only one core is simply not optimal for a more core processor. I know of projects where all the cores are used. If some think it's been tried many times and hasn't worked, I'm just writing sloppy programming! ---Bing translator---
ID: 62674 · Report as offensive     Reply Quote
Profile Dave Jackson
Volunteer moderator

Send message
Joined: 15 May 09
Posts: 4314
Credit: 16,378,503
RAC: 3,632
Message 62675 - Posted: 4 Sep 2020, 5:06:14 UTC

It is not so much sloppy programming that stops this project doing multi-core tasks but the nature of climate modelling which is that each calculation needs the results of the previous calculations in order to proceed. If programmed to use more than one core, this would mean several cores sitting idle much of the time. Therefore running many tasks at once is more efficient for the project.

Es ist nicht so sehr die schlampige Programmierung, die dieses Projekt davon abhält, Mehrkernaufgaben zu erledigen, sondern die Art der Klimamodellierung, dass jede Berechnung die Ergebnisse der vorherigen Berechnungen benötigt, um fortzufahren. Wenn programmiert, um mehr als einen Kern zu verwenden, würde dies bedeuten, dass mehrere Kerne die meiste Zeit im Leerlauf sitzen. Daher ist es für das Projekt effizienter, viele Aufgaben gleichzeitig auszuführen.
ID: 62675 · Report as offensive     Reply Quote
mikey

Send message
Joined: 18 Nov 18
Posts: 21
Credit: 5,437,788
RAC: 3,377
Message 62688 - Posted: 8 Sep 2020, 1:12:45 UTC - in response to Message 62675.  

It is not so much sloppy programming that stops this project doing multi-core tasks but the nature of climate modelling which is that each calculation needs the results of the previous calculations in order to proceed. If programmed to use more than one core, this would mean several cores sitting idle much of the time. Therefore running many tasks at once is more efficient for the project.

Es ist nicht so sehr die schlampige Programmierung, die dieses Projekt davon abhält, Mehrkernaufgaben zu erledigen, sondern die Art der Klimamodellierung, dass jede Berechnung die Ergebnisse der vorherigen Berechnungen benötigt, um fortzufahren. Wenn programmiert, um mehr als einen Kern zu verwenden, würde dies bedeuten, dass mehrere Kerne die meiste Zeit im Leerlauf sitzen. Daher ist es für das Projekt effizienter, viele Aufgaben gleichzeitig auszuführen.


So you want REALLY fast cpu cores not a bazillion cpu cores? BTW Einstein cpu workunits work the same way, as in no multi-threading them either.
ID: 62688 · Report as offensive     Reply Quote
Les Bayliss
Volunteer moderator

Send message
Joined: 5 Sep 04
Posts: 7629
Credit: 24,240,330
RAC: 0
Message 62689 - Posted: 8 Sep 2020, 2:44:35 UTC

There's just no super urgency in getting models run.
There's also tens of thousands of computers waiting for work, and only 2-3 thousand work units at a time.

And nothing in site for the forseeable future.
ID: 62689 · Report as offensive     Reply Quote

Questions and Answers : Wish list : One task for all processor cores / threads

©2024 climateprediction.net