AI

pokusa schrieb:
Im Prinzip ja, im Detail habe ich mir das aber noch nicht durchgelesen..

https://research.google/blog/distil...h-less-training-data-and-smaller-model-sizes/
Zum Vergrößern anklicken....
achso, dann hast du dich vllt. verschrieben, weil du meintest, "die haben das ans laufen gebracht". dein verlinkter artikel ist ja auch von 2023

hier ist auch bspw. ein hands-on artikel von 2023:
https://pytorch.org/tutorials/beginner/knowledge_distillation_tutorial.html

das ist schon recht alt und gibt es in zig formen. ein plumper weg für "knowledge distillation" ist z.b., dass du ein großes model trainierst, z.b. um benotungen von lehrern zu imitieren (input: irgendwelche aufsätze, output/zielgröße: noten von 1 bis 6). dann kannst du die vorhersagen für die validierungsdatensätze nehmen und die als zielgröße für ein kleineres model zum lernen nehmen. das model imitiert dann quasi die verteilung des größeren "teacher-models". das wird dann in der regel performanter sein als ein training auf den original-zielgrößen.

das kann man auch mit verteilungen machen. man kann das auch mixen ("original" labels und "pseudo" labels), da sind der fantasie keine grenzen gesetzt. es werden ja auch viele open source modelle auf outputs (u.a.) von closed source models trainiert. wenn man dann klug filtert und die daten orchestriert kann man sehr nah an die performance vom origin model kommen. oder man mixt outputs verschiedene modele und übertrifft jedes einzelne.

eigtl. total spannend. man kann sogar manchmal mit dem gleichen model in mehreren runden eine bessere performance erzielen. also beispielsweise trainierst du ein model auf den originalen labels. dann erstellst du pseudo labels und trainierst das gleiche model auf nem mix oder pseudo labels und es fällt dem model viel leichter zu konvergieren und es erreicht bessere optima

aber lange rede kurzer sinn, neu ist das nicht, da gibt es zu jeder form schon zig paper oder haben die jetzt eine relevante neuerung dabei eingeführt?
 
eiskalt2023 schrieb:
aber lange rede kurzer sinn, neu ist das nicht, da gibt es zu jeder form schon zig paper oder haben die jetzt eine relevante neuerung dabei eingeführt?
Zum Vergrößern anklicken....

soweit ich das verstanden habe sind die anderen AI Unternehmen noch nicht in der Lage dazu Modelle auf diese Art und Weise zu trainieren

das Prinzip an sich gibt es ja schon seit 2006 glaub ich
 
MrAeko schrieb:
https://github.com/MoonshotAI/Kimi-k1.5

Hoffe PokerMilli liest net mit.

@eiskalt2023 Mynung?
Zum Vergrößern anklicken....
ich lese die ganzen paper/technical reports in 1-2 wochen. ich habe aktuell sehr viel zu tun auf der arbeit und arbeite nebenbei an nem wettbewerb, ich schaff das einfach net gerade. ich möchte dann auch in ruhe das deepseek paper lesen.

ich bin mittlerweile den ganzen benchmarks ggü. aber doch ein bisschen skeptisch. grundsätzlich ist es natürlich der richtige ansatz, performance von modellen mit hilfe objektiver validierungsdatensätze zu messen. ich habe aber das gefühl, die werden häufig darauf overfitted. ich finde z.b. nach wie vor claude im alltag (vor allen dingen für coding) mit abstand am besten. ich fand bspw. auch das o1 reasoning model von openai für den alltag schlechter als das "normale" gpt-4 obwohl das mittlerweile in den benchmarks recht abgeschlagen ist. human preference, faktische richtigkeit in verschiedenen disziplin etc. - das ist halt irgendwie alles komplex zu operationalisieren und zusammenzubringen. ich denke, es sind auch noch hausaufgaben bezüglich der ganzen benchmarks zu machen...
 
Großer Fan der qwen modelle:
To view this content we will need your consent to set third party cookies.
For more detailed information, see our cookies page.
 
To view this content we will need your consent to set third party cookies.
For more detailed information, see our cookies page.
 
PokerMillionär schrieb:
https://www.zeit.de/digital/interne...rize-artificial-intelligence-deepmind-english
Zum Vergrößern anklicken....

Hassabis ist 1 Guter und verkörpert im Gegensatz zum VC-Showman Altman eher die AI-Forscher Persona. Er hat Prinzipien und denkt überwiegend wissenschaftlich-akademisch, fast schon philosophisch. Das TIME Porträt über ihn war dahingehend sehr aufschlussreich. Wenn ich mich recht entsinne hatte bzw. hat er auch gar nicht so Bock auf diese Tech-Welt und hat sich von Google auch ziemlich starke Zusagen machen lassen dass sie seine Arbeit nicht skrupellos einsetzen werden.

https://time.com/6246119/demis-hassabis-deepmind-interview/

By 2013, when DeepMind was three years old, Google came knocking. A team of Google executives flew to London in a private jet, and Hassabis wowed them by showing them a prototype AI his team had taught to play the computer game Breakout. DeepMind’s signature technique behind the algorithm, reinforcement learning, was something Google wasn’t doing at the time. It was inspired by how the human brain learns, an understanding Hassabis had developed during his time as a neuroscientist. The AI would play the game millions of times, and was rewarded every time it scored some points. Through a process of points-based reinforcement, it would learn the optimum strategy. Hassabis and his colleagues fervently believed in training AI in game environments, and the dividends of the approach impressed the Google executives. “I loved them immediately,” says Alan Eustace, a former senior vice president at Google who led the scouting trip.

Hassabis’ focus on the dangers of AI was evident from his first conversation with Eustace. “He was thoughtful enough to understand that the technology had long-term societal implications, and he wanted to understand those before the technology was invented, not after the technology was deployed,” Eustace says. “It’s like chess. What’s the endgame? How is it going to develop, not just two steps ahead, but 20 steps ahead?”

Eustace assured Hassabis that Google shared those concerns, and that DeepMind’s interests were aligned with its own. Google’s mission, Eustace said, was to index all of humanity’s knowledge, make it accessible, and ultimately raise the IQ of the world. “I think that resonated,” he says. The following year, Google acquired DeepMind for some $500 million. Hassabis turned down a bigger offer from Facebook. One reason, he says, was that, unlike Facebook, Google was “very happy to accept” DeepMind’s ethical red lines “as part of the acquisition.” (There were reports at the time that Google agreed to set up an independent ethics board to ensure these lines were not crossed.) The founders of the fledgling AI lab also reasoned that the megacorporation’s deep pockets would allow them access to talent and computing power that they otherwise couldn’t afford.
Zum Vergrößern anklicken....

Obs am Ende auch so kam weiß man natürlich nicht. Aber halte ihn für integer.
 
Zuletzt bearbeitet:
To view this content we will need your consent to set third party cookies.
For more detailed information, see our cookies page.
 
pokusa schrieb:
Wo ist eigentlich das KI Projekt der EU?
Zum Vergrößern anklicken....
Das französische Unternehmen Mistral entwickelt große Sprachmodelle – steht damit also in direkter Konkurrenz zu US-Unternehmen wie OpenAI oder Anthropic. Mit Le Chat bieten die Franzosen seit geraumer Zeit auch eine eigene Alternative zu ChatGPT und Claude an.


In der öffentlichen Wahrnehmung hat Le Chat indes längst nicht den Stellenwert, den etwa ChatGPT oder seit kurzem das chinesische Deepseek einnehmen. Das könnte sich jetzt ändern, denn Le Chat gibt es ab sofort nicht nur im Web, sondern auch als Smartphone-App für iOS und Android.
Zum Vergrößern anklicken....

Hier.
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Zurück
Oben Unten